每次使用谷歌搜索查詢答案時，看到搜索結(jié)果頁面，都會想起一個辛苦工作的工種：網(wǎng)絡爬蟲Googlebot。它們在龐大的網(wǎng)絡世界中穿梭，尋找更多未知的網(wǎng)頁內(nèi)容，將其編入索引庫。說實在，Googlebot只是谷歌編寫的一個用于自動抓取網(wǎng)頁內(nèi)容的程序，盡管這個說法可以有點破滅行外人的想象，但是更多關于Googlebot的幕后揭秘就更能解開它不為人知的一面。

索引蜘蛛？網(wǎng)絡爬蟲？機器人？

有了解過外貿(mào)建站的應該都對這幾個詞有所耳聞吧，其實這些俗稱意思都是一樣的，皆是指類似于Googlebot的網(wǎng)絡爬蟲。通過網(wǎng)站代碼鏈接抓取網(wǎng)頁，查找新的網(wǎng)頁內(nèi)容，并且根據(jù)一定的規(guī)則將其納入索引庫。每個搜索引擎都會有屬于自己的網(wǎng)絡爬蟲，正如谷歌有Googlebot，它能對網(wǎng)站中良好的結(jié)構(gòu)、網(wǎng)頁加載時間、優(yōu)質(zhì)內(nèi)容等方面，智能地識別收錄，以便于搜索引擎為用戶的查詢帶來更好的體驗。

Googlebot的幕后工作

其實對于很多大型的網(wǎng)站，Googlebot的平均訪問的頻率不會很高，每次不會高于幾秒，但是特殊情況例外，由于產(chǎn)生了延遲，在一段時間內(nèi)，頻率會稍微提高一些。你所不知道的是，Googlebot是能夠同時間、大范圍工作，在數(shù)千臺計算機中同時運行的，千臂狂人運作性能大大提高，還能隨著網(wǎng)絡規(guī)模的擴大而擴展工作的范圍。除此之外，谷歌為解決網(wǎng)絡帶寬問題，還專注于使用區(qū)域之間的Googlebot，大大地提高了網(wǎng)絡爬取的速度。

怎么針對Googlebot優(yōu)化外貿(mào)網(wǎng)站？

• Googlebot在抓取網(wǎng)頁時，一些包含有Ajax和JavaScript代碼的頁面，它們往往會覺得束手無策。所以，為了避免網(wǎng)頁抓取失敗，盡量使你的頁面內(nèi)容簡潔可見；
• 整合規(guī)范網(wǎng)站，使用規(guī)范的網(wǎng)址幫助Googlebot找到正確的網(wǎng)頁。對于大多數(shù)網(wǎng)站而言，同一個網(wǎng)頁擁有多個網(wǎng)址實屬正常，但是多個重復的頁面有時會混淆Googlebot，減慢了索引的速度，那你的抓取預算也就隨之降低了；
• 提交站點地圖，這一般時網(wǎng)站站長脫管在站點服務器上的文件，指引Googlebot前來索引網(wǎng)站包含的頁面，如此，網(wǎng)站被抓取的范圍就更加全面了；
• 網(wǎng)站內(nèi)鏈，通過網(wǎng)站內(nèi)部鏈接將網(wǎng)站頁面之間互相串聯(lián)起來，引導Googlebot順著網(wǎng)站內(nèi)鏈而爬取另外的網(wǎng)頁，如此緊密結(jié)合的網(wǎng)鏈接，對于抓取更加系統(tǒng)化。

結(jié)論

了解Googlebot的“臺前幕后”工作，對于你的SEO工作有位重要。Googlebot是谷歌網(wǎng)絡爬蟲的總稱，它不斷掃描網(wǎng)絡上的網(wǎng)頁，并將起納入谷歌的索引庫，旨在為用戶提供在SERP中更準確的查詢答案。