網(wǎng)站頻繁出現(xiàn)304狀態(tài)碼及抓取蜘蛛次數(shù)較少的原因

閱讀 ?·? 發(fā)布日期 2021-08-11 15:50 ?·? admin

經(jīng)常會(huì)碰到站長(zhǎng)們?cè)V苦蜘蛛抓取回來(lái)碼老是304狀況,且抓取的次數(shù)越來(lái)越少的問(wèn)題。查找引擎為了本身的用戶(hù)體會(huì),會(huì)想盡辦法來(lái)進(jìn)步檢索調(diào)用率、準(zhǔn)確性、新鮮度,這將導(dǎo)致引擎不得不把首要的精力放在具有優(yōu)質(zhì)內(nèi)容源的網(wǎng)站上。惟其如此,查找成果的質(zhì)量才干愈加契合查找者的體會(huì)。

 
    由此咱們聯(lián)想到:查找引擎爬蟲(chóng)會(huì)愈加喜愛(ài)內(nèi)容源更新頻頻的網(wǎng)站。經(jīng)過(guò)特定時(shí)間內(nèi)對(duì)網(wǎng)站抓取回來(lái)的狀況碼來(lái)調(diào)理對(duì)該網(wǎng)站的抓取頻頻。若網(wǎng)站在必定時(shí)間內(nèi)一向處于[304:沒(méi)有改變]的狀況,那么引擎爬蟲(chóng)可能會(huì)降低對(duì)網(wǎng)站的抓取次數(shù)。相反,若網(wǎng)站改變的頻率十分之快,每次抓取都能獲取新版本,那么日積月累,爬蟲(chóng)的回訪率也會(huì)進(jìn)步。
 
    無(wú)論是抓取少仍是304,這都是一種現(xiàn)象,并不是問(wèn)題的原因,假設(shè)網(wǎng)站回來(lái)的都是200,就能達(dá)到進(jìn)步排名帶來(lái)流量的意圖么?相比之下更應(yīng)該思考發(fā)生304的原因是什么?改304對(duì)網(wǎng)站方針能夠有什么樣的作用?不能忽視整體的方針而側(cè)重過(guò)程的細(xì)節(jié),為了200而去處理304。
 
    304狀況是怎么發(fā)生?
 
    服務(wù)器為了進(jìn)步網(wǎng)站拜訪速度,對(duì)之前拜訪的部分頁(yè)面制定緩存機(jī)制,當(dāng)客戶(hù)端在此對(duì)這些頁(yè)面進(jìn)行懇求,服務(wù)器會(huì)根據(jù)緩存內(nèi)容判別頁(yè)面與之前是否相同,若相同便直接回來(lái)304,此刻客戶(hù)端調(diào)用緩存內(nèi)容,不用進(jìn)行二次下載,能夠說(shuō)304從某種角度起到了削減服務(wù)器帶寬并進(jìn)步蜘蛛匍匐效率的作用。
 
    304狀況發(fā)生原因?
 
    1、頁(yè)面更新周期長(zhǎng)或不更新
 
    2、純靜態(tài)頁(yè)面或強(qiáng)制生成靜態(tài)html
 
    304狀況處理思路?
 
    1、先對(duì)發(fā)生304頁(yè)面進(jìn)行細(xì)分,到底是哪類(lèi)頁(yè)面回來(lái)了304?這些頁(yè)面是否應(yīng)該回來(lái)304?
 
    2、這些頁(yè)面生成的方法是怎樣的?是否有更新機(jī)制?更新機(jī)制是否契合蜘蛛對(duì)網(wǎng)站的抓取頻率?
 
    3、頁(yè)面更新區(qū)域的方位是否合理?是否坐落該頁(yè)面首要內(nèi)容的承載區(qū)域?
 
    咱們論壇的 @李亮堂 同學(xué)也對(duì)此情況做了剖析:
 
    304狀況碼呈現(xiàn)過(guò)多會(huì)造成以下問(wèn)題:
 
    1、網(wǎng)站快照中止
 
    2、錄入削減
 
    3、權(quán)重下降
 
    那么怎么削減304回來(lái)碼呢?
 
    據(jù)我所知,首要內(nèi)容更新方面要投合百度蜘蛛,剖析日志,把蜘蛛到訪的時(shí)間記錄下來(lái),能夠大致得出蜘蛛到訪的頻率,然后以此為根據(jù),更新文章:必定是原創(chuàng)+轉(zhuǎn)載,不能純收集。轉(zhuǎn)載也需求新的優(yōu)質(zhì)資源。讓蜘蛛這個(gè)點(diǎn)過(guò)來(lái)能有吃的。然后回來(lái)更多 200 正常碼。
 
    其次呢,增加個(gè)互動(dòng)版塊,現(xiàn)在大網(wǎng)站基本已經(jīng)都做了這方面,比方談?wù)摗⒘粞缘?,大網(wǎng)站更新起來(lái)改變可能會(huì)很小,但是有了這些互動(dòng),用戶(hù)會(huì)在上面發(fā)些內(nèi)容,網(wǎng)站會(huì)有許多新的東西。如seowhy,就會(huì)把新回復(fù)以及問(wèn)題放在重要方位。
 
    結(jié)束
 
    本期咱們側(cè)重評(píng)論了關(guān)于頻頻回來(lái) 304 狀況以及抓取次數(shù)較少的問(wèn)題,意圖是為了讓網(wǎng)站充沛的被抓取。除了以上達(dá)人剖析的原因外,小編覺(jué)得引擎蜘蛛相同也會(huì)參閱網(wǎng)站歸納權(quán)重,對(duì)于權(quán)重高的網(wǎng)站抓取頻率會(huì)很頻頻,比方 Google 可能會(huì)參閱 PR 值來(lái)決議網(wǎng)站的抓取頻率。