如果是懂行的站長(zhǎng)應(yīng)該是不會(huì)放過(guò)任何一個(gè)網(wǎng)站的細(xì)節(jié)的，尤其是在網(wǎng)站巔峰的時(shí)候就看誰(shuí)的網(wǎng)站做的細(xì)致。比如我們很多人的網(wǎng)站 robots.txt 是不會(huì)設(shè)置的，也不知道文件在哪里。對(duì)于 WordPress 網(wǎng)站程序來(lái)說(shuō)他會(huì)自動(dòng)設(shè)置 robots.txt，但是默認(rèn)的文件不夠完美，這里我們一般都是自己親自設(shè)置。

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /*/comment-page-*
Disallow: /*?replytocom=*
Disallow: /category/*/page/
Disallow: /tag/*/page/
Disallow: /*/trackback
Disallow: /feed
Disallow: /*/feed
Disallow: /comments/feed
Disallow: /?s=*
Disallow: /*/?s=*\
Disallow: /attachment/
Sitemap: http://bjj.org.cn/wp-sitemap.xml

這個(gè) robots.txt 文件是比較通用且適合我們站點(diǎn)的。這里我們也簡(jiǎn)單的解釋一下：

下面分別解釋一下各項(xiàng)代碼的作用給大家方便理解：

1、Disallow: /wp-admin/、Disallow: /wp-content/和Disallow: /wp-includes/

用于告訴搜索引擎不要抓取后臺(tái)程序文件頁(yè)面。

2、Disallow: /*/comment-page-*和Disallow: /*?replytocom=*

禁止搜索引擎抓取評(píng)論分頁(yè)等相關(guān)鏈接。

3、Disallow: /category/*/page/和Disallow: /tag/*/page/

禁止搜索引擎抓取收錄分類和標(biāo)簽的分頁(yè)。

4、Disallow: /*/trackback

禁止搜索引擎抓取收錄trackback等垃圾信息

5、Disallow: /feed、Disallow: /*/feed和Disallow: /comments/feed

禁止搜索引擎抓取收錄feed鏈接，feed只用于訂閱本站，與搜索引擎無(wú)關(guān)。

6、Disallow: /?s=*和Disallow: /*/?s=*\

禁止搜索引擎抓取站內(nèi)搜索結(jié)果

7、Disallow: /attachment/

禁止搜索引擎抓取附件頁(yè)面，比如毫無(wú)意義的圖片附件頁(yè)面。