如果我們是希望運(yùn)營網(wǎng)站的話，你應(yīng)該是需要有一個(gè)可以查看網(wǎng)站蜘蛛爬行抓取狀態(tài)的工具。當(dāng)然，我們可以通過百度站長(zhǎng)工具后臺(tái)進(jìn)行查看抓取數(shù)據(jù)，但是這個(gè)數(shù)據(jù)信息不夠具體化，而且只能看到百度蜘蛛的抓取數(shù)據(jù)，如果我們也需要查看谷歌、搜狗、360等等其他搜索引擎的蜘蛛抓取信息呢？

這里，我可以借助 wordpress蜘蛛記錄插件來看WordPress網(wǎng)站的蜘蛛信息，如果我們有需要可以選擇。這里麥子有整理比較常見的3個(gè)插件。

SpiderDisplay

麥子推薦這款 SpiderDisplay 搜索引擎蜘蛛痕跡記錄插件。

這里我們安裝好插件之后，可以等待蜘蛛抓取爬蟲，然后可以看到根據(jù)天數(shù)記錄和刪除記錄。我們可以看到抓取次數(shù)，以及詳細(xì)的抓取情況。

這個(gè)插件功能看似不多，而且也不美觀，但是我們實(shí)際需要的功能是滿足我們看到抓取的頁面目錄以及可以看到抓取的搜索引擎蜘蛛。

插件下載：夸克網(wǎng)盤

無插件實(shí)現(xiàn)

function get_naps_bot(){
$useragent = strtolower($_SERVER['HTTP_USER_AGENT']);
if (strpos($useragent, 'googlebot') !== false){
return 'Googlebot';
}
if (strpos($useragent, 'msnbot') !== false){
return 'MSNbot';
}
if (strpos($useragent, 'slurp') !== false){
return 'Yahoobot';
}
if (strpos($useragent, 'baiduspider') !== false){
return 'Baiduspider';
}
if (strpos($useragent, 'sohu-search') !== false){
return 'Sohubot';
}
if (strpos($useragent, 'lycos') !== false){
return 'Lycos';
}
if (strpos($useragent, 'robozilla') !== false){
return 'Robozilla';
}
return false;
}
function nowtime(){
date_default_timezone_set('Asia/Shanghai');
$date=date("Y-m-d.G:i:s");
return $date;
}
$searchbot = get_naps_bot();
if ($searchbot) {
$tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']);
$url=$_SERVER['HTTP_REFERER'];
$file="robotslogs.txt";
$time=nowtime();
$data=fopen($file,"a");
$PR="$_SERVER[REQUEST_URI]";
fwrite($data,"Time:$time robot:$searchbot URL:$tlc_thispage\n page:$PR\r\n");
fclose($data);
}

我們將代碼插入到當(dāng)前的主題 Functions.php 文件中。然后我們需要在網(wǎng)站根目錄創(chuàng)建一個(gè)文件：

robotslogs.txt

且需要給予寫入權(quán)限。

Spider Analyser

Spider Analyser 這款是來自閃電博的蜘蛛爬行抓取插件，有付費(fèi)PRO版本，免費(fèi)版本對(duì)于一般用戶是夠用的。Spider Analyser是一款用于跟蹤WordPress網(wǎng)站各種搜索引擎蜘蛛爬行日志，并進(jìn)行詳細(xì)的蜘蛛爬行數(shù)據(jù)統(tǒng)計(jì)、蜘蛛行為分析、蜘蛛爬取分析及偽蜘蛛攔截等。

這樣，我們可以從上面的WordPress蜘蛛記錄插件中選擇一個(gè)適合自己的。