? ? ? ?這把這種情況叫做“抓取異?!保瑢?duì)于大量?jī)?nèi)容無(wú)法正常抓取的網(wǎng)站,搜索引擎會(huì)認(rèn)為網(wǎng)站存在用戶體驗(yàn)上的缺陷,并會(huì)降低對(duì)網(wǎng)站的評(píng)價(jià)。使網(wǎng)站在抓取、索引、排序上都會(huì)受到一定程度的負(fù)面影響,最終影響網(wǎng)站從百度獲取流量。那么導(dǎo)致百度蜘蛛不能爬行網(wǎng)站的原因有哪些呢?下面百恒網(wǎng)絡(luò)就來(lái)和大家介紹一下。
? ? ? ?一、服務(wù)器連接異常
? ? ? ?服務(wù)器連接異常有兩種情況:一種是站點(diǎn)不穩(wěn)定,蜘蛛嘗試連接網(wǎng)站的服務(wù)器時(shí)出現(xiàn)暫時(shí)無(wú)法連接的情況;另一種是蜘蛛一直無(wú)法連接網(wǎng)站的服務(wù)器。
? ? ? ?造成服務(wù)器連接異常的原因通常是網(wǎng)站服務(wù)器過(guò)大,超負(fù)荷運(yùn)轉(zhuǎn),也有可能是網(wǎng)站運(yùn)行不正常。這時(shí)應(yīng)檢查網(wǎng)站的Web服務(wù)器是否安裝且正常運(yùn)行,并使用瀏覽器檢查主要頁(yè)面能否正常訪間。網(wǎng)站和主機(jī)還可能會(huì)阻止蜘蛛的訪問(wèn),這時(shí)需要檢查網(wǎng)站和主機(jī)的防火墻。
? ? ? ?二、網(wǎng)絡(luò)運(yùn)營(yíng)商異常
? ? ? ?國(guó)內(nèi)的網(wǎng)絡(luò)運(yùn)營(yíng)商主要有電信和聯(lián)通。如果蜘蛛無(wú)法通過(guò)電信或聯(lián)通的網(wǎng)絡(luò)訪問(wèn)網(wǎng)站,則需要與網(wǎng)絡(luò)運(yùn)營(yíng)商聯(lián)系,購(gòu)買擁有雙線服務(wù)的空間,或者購(gòu)買CDN服務(wù)。
? ? ? ?三、DNS異常
? ? ? ?當(dāng)蜘蛛無(wú)法解析網(wǎng)站的IP地址時(shí)會(huì)出現(xiàn)DNS異常,這可能是網(wǎng)站IP錯(cuò)誤或者域名服務(wù)商把蜘蛛封禁所致??梢允褂肳HOIS或者h(yuǎn)ost查詢網(wǎng)站的IP地址是否正確且可解析,如果不正確或無(wú)法解析,應(yīng)與域名注冊(cè)商聯(lián)系,更新IP地址。
? ? ? ?四、IP封禁
? ? ? ?IP封禁是指限制網(wǎng)絡(luò)的出口IP地址,禁止該IP段的使用者進(jìn)行內(nèi)容訪問(wèn),這里特指封禁蜘蛛的IP地址。當(dāng)網(wǎng)站不希望蜘蛛訪問(wèn)時(shí),才需要進(jìn)行該設(shè)置。如果希望蜘蛛訪問(wèn)網(wǎng)站,應(yīng)檢查相關(guān)設(shè)置中是否誤添加了蜘蛛的IP地址。也有可能是網(wǎng)站所在的空間服務(wù)商封禁了百度的IP地址,這時(shí)需要聯(lián)系服務(wù)商更改設(shè)置。?
? ? ? ?五、死鏈
? ? ? ?頁(yè)面已經(jīng)無(wú)效,無(wú)法對(duì)用戶提供任何有價(jià)值信息的頁(yè)面就是死鏈,包括協(xié)議死鏈和內(nèi)容死鏈兩種形式。協(xié)議死鏈,即頁(yè)面的Tcp/http協(xié)議狀態(tài)明確表示的死鏈,常見(jiàn)的有404,402、502狀態(tài)等。內(nèi)容死鏈,即服務(wù)器返回狀態(tài)是正常的,但內(nèi)容已經(jīng)變更為不存在、已刪除或需要權(quán)限等與原內(nèi)容無(wú)關(guān)的信息頁(yè)面的死鏈。
? ? ? ?對(duì)于死鏈,百恒網(wǎng)絡(luò)建議使用協(xié)議死鏈,并通過(guò)站長(zhǎng)平臺(tái)一死鏈工具提交,以便百度更快地發(fā)現(xiàn)死鏈,減少死鏈對(duì)用戶及搜索引擎造成的負(fù)面影響。