搜索引擎“蜘蛛”是什麽意思?
答:uspider會根據服務器的負載能力自動調整訪問密度。連續訪問壹段時間後,蜘蛛會暫停壹段時間,防止增加服務器的訪問壓力。所以壹般情況下不會對妳網站的服務器造成過大的壓力。
2.為什麽蜘蛛壹直爬我的網站?
答:蜘蛛會繼續抓取您網站上新生成或不斷更新的頁面。此外,還可以查看網站訪問日誌中蜘蛛的訪問是否正常,防止有人惡意冒充蜘蛛頻繁抓取妳的網站。
3.我不希望我的網站被蜘蛛訪問。我該怎麽辦?
答:蜘蛛遵守互聯網機器人協議。您可以使用robots.txt文件來完全禁止spider訪問您的網站,或者禁止spider訪問您網站上的某些文件。
4.為什麽我的網站已經加了robots.txt,在百度還是能搜到?
回答:因為更新搜索引擎的索引數據庫需要時間。雖然蜘蛛已經停止訪問妳網站上的頁面,但是可能需要兩到四周的時間來清除百度搜索引擎數據庫中已經建立的頁面的索引信息。此外,請檢查您的機器人是否配置正確。
5.我希望我的網站內容被百度索引,但我不想保存快照。我該怎麽辦?
答:蜘蛛遵守互聯網元機器人協議。可以通過網頁meta的設置,讓百度顯示只索引網頁,而不在搜索結果中顯示網頁的快照。
和機器人的更新壹樣,搜索引擎索引數據庫的更新也是需要時間的,所以雖然妳在網頁中通過meta禁止了百度在搜索結果中顯示該網頁的快照,但是如果已經在百度搜索引擎數據庫中建立了網頁索引信息,可能需要兩到四周的時間才能在線生效。
6.6要多久。Baiduspider又爬我的網頁了?
答:百度搜索引擎每周更新壹次,網頁根據重要程度不同,更新率也不同。頻率在幾天到壹月之間,Baiduspider會重新訪問和更新壹個網頁。
7.7導致的帶寬擁塞。Baiduspider爬行?
答:baiduspider的正常抓取不會阻塞妳網站的帶寬,可能是有人冒充百度蜘蛛惡意抓取造成的。如果您發現壹個名為Baiduspider的代理抓取並導致帶寬擁塞,請盡快聯系我們。您可以將信息反饋給百度網頁投訴中心,如果您能在此時提供您網站的訪問日誌,將更有利於我們的分析。