搜索引擎用來爬行和訪問頁面的程序被稱為蜘蛛,也叫爬蟲。蜘蛛其實就是搜索引擎的手下,搜索引擎命令它到互聯網上瀏覽網頁,從而得到互聯網的所有數據,然後把這些數據存到搜索引擎自己的資料庫中。

那麼搜索引擎的爬蟲蜘蛛喜歡爬什麼樣的網站過網頁呢?

A.域名使用時間長的網站

B.權重高(PR值高)的網站;

C.沒有被投訴過的網站或網頁;

D.沒有病毒的網站或網頁;

H.URL地址簡單的網頁;

G.源文件結構簡單清晰的網頁;


搜索引擎爬蟲蜘蛛喜歡爬的網站核心就是用戶需求很大,特別熱、特別火,大致可以歸為幾類

  1. 時效性很強的頁面,今天銀價多少,今天石油價格,今天有效,過了幾天用處就不大了,關注的人群很多,需求很大,這類頁面蜘蛛特別喜歡。

  2. 熱點事件頁面,前一段時間馬蓉王寶強事件,當年的艷照門事件,奧運會相關新聞,

  3. 具有公信力的網站或頁面,比如政府類網站發布的信息,像最近廣州租售同權此類事件。

  4. 以上僅是個人觀點。


推薦閱讀:
相关文章