很多建站新手對robots.txt文件的重要作用不是很清楚，利用這篇文章普及一下WordPress站點robots.txt文件編寫知識。
Robots協議（也稱為爬蟲協議、機器人協議等）的全稱是“網絡爬蟲排除標準”（Robots Exclusion Protocol），網站通過Robots協議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。
搜索引擎機器人訪問網站時，首先會尋找站點根目錄有沒有 robots.txt文件，如果有這個文件就根據文件的內容確定收錄范圍，如果沒有就按默認訪問以及收錄所有頁面。另外，當搜索蜘蛛發現不存在robots.txt文件時，會產生一個404錯誤日志在服務器上，從而增加服務器的負擔，因此為站點添加一個robots.txt文件還是很重要的。
知道Robots協議的作用后，下面具體說一下WordPress站點如何編寫robots.txt文件。
WordPress站點默認在瀏覽器中輸入：http://你的域名/robots.txt，會顯示如下內容：
- User-agent:?*
- Disallow:?/wp-admin/
- Disallow:?/wp-includes/
這是由WordPress自動生成的，意思是告訴搜索引擎不要抓取后臺程序文件。
但這是遠遠不夠的，比較完整的WordPress站點robots.txt文件內容如下：
- User-agent:?*
- Disallow:?/wp-admin/
- Disallow:?/wp-content/
- Disallow:?/wp-includes/
- Disallow:?/*/comment-page-*
- Disallow:?/*?replytocom=*
- Disallow:?/category/*/page/
- Disallow:?/tag/*/page/
- Disallow:?/*/trackback
- Disallow:?/feed
- Disallow:?/*/feed
- Disallow:?/comments/feed
- Disallow:?/?s=*
- Disallow:?/*/?s=*\
- Disallow:?/*?*
- Disallow:?/attachment/
使用方法：新建一個名稱為robots.txt文本文件，將上面的內容放進去，然后上傳到網站根目錄即可。
下面分別解釋一下各項的作用：
1、Disallow: /wp-admin/、Disallow: /wp-content/和Disallow: /wp-includes/
用于告訴搜索引擎不要抓取后臺程序文件頁面。
2、Disallow: /*/comment-page-*和Disallow: /*?replytocom=*
禁止搜索引擎抓取評論分頁等相關鏈接。
3、Disallow: /category/*/page/和Disallow: /tag/*/page/
禁止搜索引擎抓取收錄分類和標簽的分頁。
4、Disallow: /*/trackback
禁止搜索引擎抓取收錄trackback等垃圾信息
5、Disallow: /feed、Disallow: /*/feed和Disallow: /comments/feed
禁止搜索引擎抓取收錄feed鏈接，feed只用于訂閱本站，與搜索引擎無關。
6、Disallow: /?s=*和Disallow: /*/?s=*\
禁止搜索引擎抓取站內搜索結果
7、Disallow: /*?*
禁止搜索抓取動態頁面
8、Disallow: /attachment/
禁止搜索引擎抓取附件頁面，比如毫無意義的圖片附件頁面。
上面只是些基本的寫法，當然還有很多，不過夠用了。
評論