[請益] .htaccess 擋搜尋引擎爬蟲

作者: arp (兩棲挖土工人)   2015-08-14 10:03:31
各位高手, 有個問題想跟大家請教,
目前有個需求我有一個web site 綁了兩組domain,
但是我只有其中一組domain想開放給各大搜尋引擎爬,
請問我是否能夠透過.htacces去做處理?
ex. web site: xxx.xxx.xxxap-southeast-1.compute.amazonaws.com
a.arptest.com (CNAME) xxx.xxx.xxxap-southeast-1.compute.amazonaws.com
(a.arptest.com 這組domain 可被搜尋引擎SEO)
b.arptest.com (CNAME) xxx.xxx.xxxap-southeast-1.compute.amazonaws.com
(b.arptest.com 這組domain 不想在網路上被搜尋引擎爬到)
作者: MangoTW (不在線上)   2015-08-14 11:50:00
robot.txt?
作者: dlikeayu (太陽拳vs野球拳)   2015-08-14 15:47:00
google geoip white list然後用limit request coonect 模組擋加記log最後再裝爬log 應用去做最後判斷要不要加到iptables這樣可以擋兩層 加省記憶體
作者: hareion08 (巨蟹)   2015-08-15 23:42:00
聽說是防君子不防小人

Links booklink

Contact Us: admin [ a t ] ucptt.com