什么是百度蜘蛛?
百度蜘蛛,英文名是“baiduspider”是百度搜索引擎用以抓取互聯(lián)網(wǎng)上數(shù)以億計的網(wǎng)頁的自動程序。
百度蜘蛛的作用是訪問互聯(lián)網(wǎng)上的html網(wǎng)頁,建立索引數(shù)據(jù)庫,使用戶能在百度搜索引擎中搜索到您網(wǎng)站的網(wǎng)頁。
百度蜘蛛是一個程序,夜以繼日得在互聯(lián)網(wǎng)上找尋新的URL,接著抓取URL上的內(nèi)容,返回到百度的網(wǎng)頁暫存數(shù)據(jù)庫。
百度用來抓取網(wǎng)頁內(nèi)容的程序,叫做Baiduspider,抓取其他內(nèi)容的蜘蛛,則是新的名字:
產(chǎn)品名稱 對應(yīng)user-agent
網(wǎng)頁搜索 Baiduspider
無線搜索 Baiduspider-mobile
圖片搜索 Baiduspider-image
視頻搜索 Baiduspider-video
新聞搜索 Baiduspider-news
百度搜藏 Baiduspider-favo
百度聯(lián)盟 Baiduspider-cpro