目前我只知道 robots.txt的作用就是允許or禁止某一個搜尋引擎找到網站資料!
目前看了一些網站教學還是有點茫然~
茫然地點有：
1.不知道有哪些狀況會想把自己的網站對某個搜尋引擎給封閉?
2.以下是blogspot預設的robots.txt數值
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://自己網站/sitemap.xml
第一段看起來是允許Mediapartners-Google搜尋的意思，既然允許為何還要添加這一段?
3.同上，第二段的第一個agent的意思應該是(開放所有尋引擎)，但下面不允許、允許
都有放上 / ，怎麼看起來是一個不允許、一個又允許了呢?
以上是我的疑問，謝謝!