網(wǎng)站搭建
如何設(shè)置robots來(lái)避免蜘蛛黑洞
發(fā)布時(shí)間：2021/7/24 17:13:29 點(diǎn)擊：
對(duì)于百度搜索引擎來(lái)說(shuō)，蜘蛛黑洞是指網(wǎng)站以極低的成本創(chuàng)建大量參數(shù)過(guò)多、內(nèi)容相同但具體參數(shù)不同的動(dòng)態(tài)URL。它就像一個(gè)無(wú)限的圓形“黑洞”困住了蜘蛛。Baiduspider浪費(fèi)了大量的資源，抓取了無(wú)效的web頁(yè)面。
例如，許多網(wǎng)站都有篩選功能。通過(guò)篩選功能生成的網(wǎng)頁(yè)往往被搜索引擎捕獲，其中很大一部分具有較低的檢索價(jià)值，如“以500-1000的價(jià)格出租房屋”。首先，網(wǎng)站（包括現(xiàn)實(shí)中的）基本上沒(méi)有相關(guān)資源。其次，站內(nèi)用戶和搜索引擎用戶沒(méi)有這種檢索習(xí)慣。這類網(wǎng)頁(yè)是由搜索引擎進(jìn)行抓取的，只能占用網(wǎng)站寶貴的抓取配額。那么如何避免這種情況呢？
robots.txt的文件用法中有一個(gè)規(guī)則：disallow:/*？*，也就是說(shuō)，禁止搜索引擎訪問(wèn)網(wǎng)站中的所有動(dòng)態(tài)頁(yè)面。這樣，網(wǎng)站優(yōu)先顯示高質(zhì)量頁(yè)面，屏蔽低質(zhì)量頁(yè)面，為Baiduspider提供了更加友好的網(wǎng)站結(jié)構(gòu)，避免了黑洞的形成。
