對于搜索引擎的網(wǎng)絡爬蟲而言，工作的核心便是效率，“效率是做好工作的靈魂”。網(wǎng)站的抓取效率，往往是影響網(wǎng)站收錄的重要節(jié)點。所以對于大型網(wǎng)站來說，爬蟲對網(wǎng)站的抓取效率，便是網(wǎng)站收錄的“靈魂”，針對網(wǎng)站自身存在的可用性問題，做出調(diào)整，整合重復的網(wǎng)站、定時監(jiān)測網(wǎng)站狀態(tài)等，通過方方面面的細節(jié)，提高抓取效率，能讓收錄更簡單。

網(wǎng)站頁面影響爬蟲初印象

首因相應，你聽說過沒？例如一個人在初次見面時，如果能夠給人留下好印象，那么人們會更愿意和他接近。而網(wǎng)站亦不例外，網(wǎng)站的頁面布局影響著爬蟲的初印象。如果Google在抓取網(wǎng)站時候，所花費大多數(shù)時間抓到的皆是不合適被編入索引的網(wǎng)頁，那么爬蟲便會認為你的網(wǎng)站是缺乏抓取價值的，到時候不僅丟了收錄，還拜拜浪費了抓取預算，得不償失啊。而管理好網(wǎng)站的頁面，不僅能夠在爬蟲面前塑造良好的網(wǎng)站形象，而且還能大大提高網(wǎng)站抓取效率：

• 將那些擁有多個“身份證號”訪問的網(wǎng)頁整合處理，將網(wǎng)站抓取的重點放在重要的網(wǎng)頁，避免因為抓取過多的重復頁面而影響爬蟲抓取的效率，影響網(wǎng)站收錄；
• 盡管你想要將網(wǎng)站的內(nèi)容都分享給用戶，但是在網(wǎng)站收錄方面還是要管好自己的“分享欲”，那些你并不想要被展示在搜索結果頁面的網(wǎng)站，利用robots.txt文件來屏蔽Googlebot抓??；
• 對于那些永久移除的網(wǎng)頁返回404/410錯誤狀態(tài)碼，盡管谷歌會抓取任何能夠發(fā)現(xiàn)的網(wǎng)址，然而404頁面會通知谷歌：不需要再次抓取該網(wǎng)址了。但是，在取消了屏蔽之后的404頁面，仍然會被再次重新抓??；
• 網(wǎng)站中的那些返回軟404的網(wǎng)頁，要徹底將它拒之門外，否則谷歌仍然會繼續(xù)抓取，畢竟它并不是一個加載失敗的網(wǎng)頁，只是內(nèi)容少或者沒有內(nèi)容罷了，但這將會浪費你的抓取預算，影響爬蟲的抓取效率；
• 定時更新站點地圖，它的作用主要是讓谷歌全面讀取你的網(wǎng)站頁面，谷歌會定期對它進行抓取，所以那些你希望爬蟲抓取的網(wǎng)址要添加進來，節(jié)省爬蟲抓取的時間，提高抓取效率。

網(wǎng)站加載速度決定了爬蟲的工作效率

提高網(wǎng)站的加載速度，其實能夠讓Googlebot對你的網(wǎng)站另眼相看，抓取網(wǎng)站更多的頁面。網(wǎng)站的抓取其實也會受到網(wǎng)站整體大小和“絲滑程度”和帶寬的影響，如果服務器能夠更快地響應請求，也就意味著可以抓取網(wǎng)站上更多的網(wǎng)頁，畢竟頁面的加載速度變慢，也深深影響了爬蟲的工作效率。因為頁面的加載速度變慢，占用了抓取的時間，抓取的網(wǎng)頁也就變少了，但是若是頁面加載很快，Googlebot就大大提高了工作的效率，抓取的網(wǎng)頁數(shù)量也大幅增加。

網(wǎng)站抓取情況要做到心中有數(shù)

網(wǎng)站收錄的受到前提是爬蟲需要光顧你的網(wǎng)站并且抓取索引頁面，如此方能得到你心心念念的網(wǎng)站收錄繼而開展SEO工作。若是等到在看到SERP頁面上網(wǎng)站收錄情況寥寥無幾，才發(fā)出這樣的疑問：難道是爬蟲沒有抓取我的網(wǎng)頁嗎？這時再想起網(wǎng)站網(wǎng)站抓取收錄的問題是否為時尚晚了？在發(fā)布網(wǎng)站內(nèi)容時，多問問幾個問題：

• 首先，別將爬蟲拒之門外，Googlebot是否能夠正常訪問你的網(wǎng)站？
• 那些本應該被抓取的網(wǎng)頁有沒有在抓取過程中被遺漏？
• 查看網(wǎng)站更新的內(nèi)容被抓取的速度快慢與否？
• 當前爬蟲在網(wǎng)站中抓取的速度是否需要提高？

簡而言之

爬蟲的抓取效率看似一個不起眼的過程，實則卻對網(wǎng)站收錄造成影響。但是要切記了，如果想要屏蔽網(wǎng)站中不想要被抓取的網(wǎng)頁，盡量少用noindex標簽。雖然這樣確實是能夠避免了爬蟲抓取，但是前面還有一個步驟是，爬蟲仍然會給它發(fā)送請求，直到看到noindex標簽方才放棄抓取。這樣就大大影響了網(wǎng)站的抓取效率，并且阻礙了網(wǎng)站收錄的進程了。