寫部落格也有一段時間了,為什麼搜尋引擎遲遲不收錄你的頁面呢?或收錄狀況不理想?想知道每天都有哪些蜘蛛“拜訪”你的網站嗎?作為一名WordPress 使用者,有必要知道每天都有哪些蜘蛛爬行過你的網站,以便於瞭解各搜尋引擎蜘蛛爬行頻率,對網站進行針對性的 SEO 優化。

其實很簡單,只要添加以下代碼,然後再調用代碼就OK了,是不是很方便呢?那就開始行動吧。

之前我也找過幾個蜘蛛爬行記錄工具PHP版,結果都不盡人意。而且這些PHP程式大多要進行安裝,還要將蜘蛛爬行記錄添加到MYSQL中,未免太麻煩。那就尋找一個簡易的蜘蛛爬行記錄器吧~

1.首先,在wordpress主題根目錄建立一個robots.php檔,寫入以下內容:

    <?php
    function get_naps_bot()
    {
    $useragent = strtolower($_SERVER[\'HTTP_USER_AGENT\']);
    if (strpos($useragent, \’googlebot\’) !== false){
    return \’Googlebot\’;
    }
    if (strpos($useragent, \’msnbot\’) !== false){
    return \’MSNbot\’;
    }
    if (strpos($useragent, \’slurp\’) !== false){
    return \’Yahoobot\’;
    }
    if (strpos($useragent, \’baiduspider\’) !== false){
    return \’Baiduspider\’;
    }
    if (strpos($useragent, \’sohu-search\’) !== false){
    return \’Sohubot\’;
    }
    if (strpos($useragent, \’lycos\’) !== false){
    return \’Lycos\’;
    }
    if (strpos($useragent, \’robozilla\’) !== false){
    return \’Robozilla\’;
    }
    return false;
    }
    function nowtime(){
    $date=gmdate(\”Y-n-j H:i:s\”,time()+8*3600);
    return $date;
    }
    $searchbot = get_naps_bot();
    if ($searchbot) {
    $tlc_thispage = addslashes($_SERVER[\'HTTP_USER_AGENT\']);
    $url=$_SERVER[\'HTTP_REFERER\'];
    $file=\”robotslogs.txt\”;
    $time=nowtime();
    $data=fopen($file,\”a\”);
    fwrite($data,\”Time:$time robot:$searchbot URL:$tlc_thispage\\n\”);
    fclose($data);
    }
    ?>

將其上傳於你的主題目錄內。

2.在Footer.php或header.php的適當位置添加以下代碼調用robots.php。

    <?php include(\’robots.php\’) ?>

程式原理:通過對蜘蛛識別字(如Baiduspider、Googlebot)的判斷,記錄蜘蛛爬行時間,並生成日誌檔robotslogs.txt於根目錄。

程式缺點:無法記錄蜘蛛爬行的頁面,功能較為簡單。



相關文章