如果是懂行的站長應(yīng)該是不會放過任何一個網(wǎng)站的細(xì)節(jié)的，尤其是在網(wǎng)站巔峰的時候就看誰的網(wǎng)站做的細(xì)致。比如我們很多人的網(wǎng)站 robots.txt 是不會設(shè)置的，也不知道文件在哪里。對于 WordPress 網(wǎng)站程序來說他會自動設(shè)置 robots.txt，但是默認(rèn)的文件不夠完美，這里我們一般都是自己親自設(shè)置。

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /*/comment-page-*
Disallow: /*?replytocom=*
Disallow: /category/*/page/
Disallow: /tag/*/page/
Disallow: /*/trackback
Disallow: /feed
Disallow: /*/feed
Disallow: /comments/feed
Disallow: /?s=*
Disallow: /*/?s=*\
Disallow: /attachment/
Sitemap: http://bjj.org.cn/wp-sitemap.xml

這個 robots.txt 文件是比較通用且適合我們站點的。這里我們也簡單的解釋一下：

下面分別解釋一下各項代碼的作用給大家方便理解：

1、Disallow: /wp-admin/、Disallow: /wp-content/和Disallow: /wp-includes/

用于告訴搜索引擎不要抓取后臺程序文件頁面。

2、Disallow: /*/comment-page-*和Disallow: /*?replytocom=*

禁止搜索引擎抓取評論分頁等相關(guān)鏈接。

3、Disallow: /category/*/page/和Disallow: /tag/*/page/

禁止搜索引擎抓取收錄分類和標(biāo)簽的分頁。

4、Disallow: /*/trackback

禁止搜索引擎抓取收錄trackback等垃圾信息

5、Disallow: /feed、Disallow: /*/feed和Disallow: /comments/feed

禁止搜索引擎抓取收錄feed鏈接，feed只用于訂閱本站，與搜索引擎無關(guān)。

6、Disallow: /?s=*和Disallow: /*/?s=*\

禁止搜索引擎抓取站內(nèi)搜索結(jié)果

7、Disallow: /attachment/

禁止搜索引擎抓取附件頁面，比如毫無意義的圖片附件頁面。