影響搜索引擎蜘蛛抓取網站內容的因素

網站收錄良好與否跟蜘蛛爬行頻繁次數、抓取頁面有關是眾所周知的，但是對于蜘蛛抓取了哪些頁面我們不知道，那么我們只能依靠蜘蛛爬行過的訪問日志進行分析了。從日志中我們可以分析出很多的數據，那么今天筆者主要給大家講解一下影響蜘蛛抓取的因素和爬行時間，不要小看這個日志，它可以幫助你知道網站對于蜘蛛來說，是不是意味著友好的狀態，蜘蛛喜不喜歡自己的站，如果爬行量大的話，那么就可以簡單的得出網站很合蜘蛛的胃口，如果蜘蛛幾天都不來的話，那么就要檢查一下，是不是網站沒有蜘蛛喜歡的“食物”了，下面就說說影響抓取的有關要點：

一：是否有網站地圖

網站地圖對于蜘蛛來說就是一幅爬行路線圖，當蜘蛛擁有了這張路線圖的時候，那么在網站上爬行就不會那么的吃力，而且也不會有隨時會轉到頭暈的感覺。網站地圖是專門給蜘蛛用的，目的就是減少蜘蛛爬行時間，加快蜘蛛爬行速度，畢竟，如果你的網站不配地圖的話，就像自己去一個陌生的地方，沒有地圖，就要靠盲目的找了，這要花的時間多了多少，筆者不知道。所以，同樣的道理，網站地圖對于蜘蛛來說也一樣的重要，省什么都不要省了地圖，他是戰前的準備、戰中的方向、戰后的總結。

二：是否設置404頁面

很多的網站對于這個根本不在意，其實按筆者的實戰心得來說，這個對于一個存在死鏈的網站有著很重要的意義，因為他可以幫網站告訴蜘蛛，當它爬到死角的時候，給他一條出來返生之道，404頁面就是為了避免蜘蛛走進死胡同出不來而準備的，誰敢保證自己的網站不會有死鏈的出現，死鏈對于一個網站的影響是很重要的，如果網站的死鏈過多，而又缺少404頁面，那么用站長工具查詢分析的時候，你會發現，很多的頁面都抓取錯誤，這一方面說明，網站對蜘蛛的友好度不夠，讓蜘蛛產生排斥的心理。所以，404頁面一定要給網站來上一個，反正又不占多大的空間，為什么不搞上呢?

三：是否導出鏈接過多

一個網站過多的導出鏈接，對于網站的權重集中有很大的影 響，對于蜘蛛的逗留時間有很大的催促作用，因為當蜘蛛爬行你的網站的時候，一般都是由頭爬到尾的，那么蜘蛛爬行有時候是按廣度爬行法，有時按深度排行法，當它按廣度排行法的時候，剛好爬到尾部而還沒進入內頁，你就給他來一條導出鏈接，那么蜘蛛也會按照其導出鏈接出去的，這樣就是你經常看到的蜘蛛來了，但是沒收錄任何頁面的原因了。所以，網站不要設置過多的導出鏈接，他給你的網站沒有任何的利益。

四：是否導入鏈接過少

相對導出鏈接，那么導入鏈接就是越多越好了。導入鏈接要遵從兩個原則：廣泛度與質量。先有質才有量，所以，咱們建設導入鏈接的時候，要先注重導入鏈接的質，然后再追求量。如果你顛倒過來的話，那么不但不能讓網站對搜索引摯友好，而且還會讓網站在搜索引摯眼里減分。因為你追求量的時候，通常都會把質忘了，造成了擁有過多的垃圾鏈、無效鏈接。所以，導入鏈接最講究的是質與廣，只有兩者很好的結合在一起，才能讓網站排名權重刷刷的往上漲。