每次使用谷歌搜索查詢答案時(shí)，看到搜索結(jié)果頁(yè)面，都會(huì)想起一個(gè)辛苦工作的工種：網(wǎng)絡(luò)爬蟲(chóng)Googlebot。它們?cè)邶嫶蟮木W(wǎng)絡(luò)世界中穿梭，尋找更多未知的網(wǎng)頁(yè)內(nèi)容，將其編入索引庫(kù)。說(shuō)實(shí)在，Googlebot只是谷歌編寫(xiě)的一個(gè)用于自動(dòng)抓取網(wǎng)頁(yè)內(nèi)容的程序，盡管這個(gè)說(shuō)法可以有點(diǎn)破滅行外人的想象，但是更多關(guān)于Googlebot的幕后揭秘就更能解開(kāi)它不為人知的一面。

索引蜘蛛？網(wǎng)絡(luò)爬蟲(chóng)？機(jī)器人？

有了解過(guò)外貿(mào)建站的應(yīng)該都對(duì)這幾個(gè)詞有所耳聞吧，其實(shí)這些俗稱意思都是一樣的，皆是指類似于Googlebot的網(wǎng)絡(luò)爬蟲(chóng)。通過(guò)網(wǎng)站代碼鏈接抓取網(wǎng)頁(yè)，查找新的網(wǎng)頁(yè)內(nèi)容，并且根據(jù)一定的規(guī)則將其納入索引庫(kù)。每個(gè)搜索引擎都會(huì)有屬于自己的網(wǎng)絡(luò)爬蟲(chóng)，正如谷歌有Googlebot，它能對(duì)網(wǎng)站中良好的結(jié)構(gòu)、網(wǎng)頁(yè)加載時(shí)間、優(yōu)質(zhì)內(nèi)容等方面，智能地識(shí)別收錄，以便于搜索引擎為用戶的查詢帶來(lái)更好的體驗(yàn)。

Googlebot的幕后工作

其實(shí)對(duì)于很多大型的網(wǎng)站，Googlebot的平均訪問(wèn)的頻率不會(huì)很高，每次不會(huì)高于幾秒，但是特殊情況例外，由于產(chǎn)生了延遲，在一段時(shí)間內(nèi)，頻率會(huì)稍微提高一些。你所不知道的是，Googlebot是能夠同時(shí)間、大范圍工作，在數(shù)千臺(tái)計(jì)算機(jī)中同時(shí)運(yùn)行的，千臂狂人運(yùn)作性能大大提高，還能隨著網(wǎng)絡(luò)規(guī)模的擴(kuò)大而擴(kuò)展工作的范圍。除此之外，谷歌為解決網(wǎng)絡(luò)帶寬問(wèn)題，還專注于使用區(qū)域之間的Googlebot，大大地提高了網(wǎng)絡(luò)爬取的速度。

怎么針對(duì)Googlebot優(yōu)化外貿(mào)網(wǎng)站？

• Googlebot在抓取網(wǎng)頁(yè)時(shí)，一些包含有Ajax和JavaScript代碼的頁(yè)面，它們往往會(huì)覺(jué)得束手無(wú)策。所以，為了避免網(wǎng)頁(yè)抓取失敗，盡量使你的頁(yè)面內(nèi)容簡(jiǎn)潔可見(jiàn)；
• 整合規(guī)范網(wǎng)站，使用規(guī)范的網(wǎng)址幫助Googlebot找到正確的網(wǎng)頁(yè)。對(duì)于大多數(shù)網(wǎng)站而言，同一個(gè)網(wǎng)頁(yè)擁有多個(gè)網(wǎng)址實(shí)屬正常，但是多個(gè)重復(fù)的頁(yè)面有時(shí)會(huì)混淆Googlebot，減慢了索引的速度，那你的抓取預(yù)算也就隨之降低了；
• 提交站點(diǎn)地圖，這一般時(shí)網(wǎng)站站長(zhǎng)脫管在站點(diǎn)服務(wù)器上的文件，指引Googlebot前來(lái)索引網(wǎng)站包含的頁(yè)面，如此，網(wǎng)站被抓取的范圍就更加全面了；
• 網(wǎng)站內(nèi)鏈，通過(guò)網(wǎng)站內(nèi)部鏈接將網(wǎng)站頁(yè)面之間互相串聯(lián)起來(lái)，引導(dǎo)Googlebot順著網(wǎng)站內(nèi)鏈而爬取另外的網(wǎng)頁(yè)，如此緊密結(jié)合的網(wǎng)鏈接，對(duì)于抓取更加系統(tǒng)化。

結(jié)論

了解Googlebot的“臺(tái)前幕后”工作，對(duì)于你的SEO工作有位重要。Googlebot是谷歌網(wǎng)絡(luò)爬蟲(chóng)的總稱，它不斷掃描網(wǎng)絡(luò)上的網(wǎng)頁(yè)，并將起納入谷歌的索引庫(kù)，旨在為用戶提供在SERP中更準(zhǔn)確的查詢答案。