搜索引擎的爬蟲也會(huì)迷路嗎？

答案是肯定的，于是我們就需要在網(wǎng)站上用到站點(diǎn)地圖給它指路了。淺白來(lái)講，站點(diǎn)地圖就相當(dāng)于是一個(gè)網(wǎng)站容器，包含著網(wǎng)站的所有鏈接。因?yàn)橛械木W(wǎng)站規(guī)模很大，連接層次較深，進(jìn)來(lái)索引網(wǎng)站的爬蟲就非常容易“找不著北”，導(dǎo)致網(wǎng)站內(nèi)容難以被完整爬取，以致于在搜索引擎儲(chǔ)存庫(kù)里顯示的站點(diǎn)“缺胳膊少腿”。站點(diǎn)地圖則在這個(gè)旅途擔(dān)任著“啟明星”的存在，方便爬蟲順著你提供的“北”來(lái)爬取網(wǎng)站頁(yè)面內(nèi)容。機(jī)器人在這個(gè)時(shí)候順藤摸瓜，對(duì)整個(gè)站點(diǎn)架構(gòu)了如指掌，還能向搜索引擎的用戶主動(dòng)推送你的營(yíng)銷內(nèi)容。站點(diǎn)地圖，是當(dāng)之無(wú)愧的網(wǎng)站索引“啟明星”

“啟明星”的代碼格式要注意

其實(shí)，搜索引擎如谷歌對(duì)所有標(biāo)準(zhǔn)格式的站點(diǎn)地圖都會(huì)“察納雅言”，但是在站點(diǎn)地圖中擁有屬性是不被接納的。站點(diǎn)地圖的標(biāo)準(zhǔn)格式只包含：

• XML；
• RSS、mRSS和Atom1.0；
• 文本（只包含網(wǎng)頁(yè)地址）。

可是，無(wú)規(guī)矩不成方圓。雖說(shuō)谷歌對(duì)站點(diǎn)地圖號(hào)稱來(lái)者不拒，但其實(shí)也是有準(zhǔn)入門檻的。無(wú)論是哪種格式的站點(diǎn)地圖，在單個(gè)站點(diǎn)中，未壓縮的站點(diǎn)地圖的文件大小不可以大于50M，而且對(duì)其中包含的網(wǎng)址的數(shù)量也有明確規(guī)定，不可以超過(guò)50000個(gè)，否則就要讓你的站點(diǎn)地圖分家，各自獨(dú)立運(yùn)行。當(dāng)然，你可以另辟蹊徑去創(chuàng)建站點(diǎn)地圖索引文件，然后將這個(gè)索引的文件提交到搜索引擎，只是這就要多考驗(yàn)一次你的站點(diǎn)質(zhì)量和多一步申請(qǐng)收錄了。

索引的找“北”指南

• 提交網(wǎng)站地圖所在的網(wǎng)址，因?yàn)楣雀钑?huì)按照給出的站點(diǎn)地址來(lái)抓取你的網(wǎng)頁(yè)的；
• 將站點(diǎn)地圖發(fā)布在根目錄下，因?yàn)樗c別的文件向來(lái)是井水不犯河水，只影響這個(gè)目錄；
• 網(wǎng)址會(huì)話等臨時(shí)ID不能包含在站點(diǎn)地圖中，造成網(wǎng)站內(nèi)容的重復(fù)抓取那便就不妙了；
• 使用hreflang注解，告知谷歌網(wǎng)站的其他語(yǔ)言版本并非重復(fù)網(wǎng)址；
• 對(duì)站點(diǎn)地圖文件進(jìn)行UTF-8編碼，并對(duì)字符進(jìn)行適當(dāng)轉(zhuǎn)義；
• 在站點(diǎn)地圖中，為網(wǎng)址注釋PC版和移動(dòng)版，避免造成誤判重復(fù)。

創(chuàng)建適合你的網(wǎng)站地圖

創(chuàng)建站點(diǎn)地圖時(shí)，相當(dāng)于在為搜索引擎指明方向，告知它哪些網(wǎng)頁(yè)是你希望顯示在SERP中的，這也就正如我們之前在理性分析整合重復(fù)網(wǎng)址里說(shuō)的，如果不同的網(wǎng)址皆能訪問(wèn)你的相同的網(wǎng)頁(yè)，那么選擇最優(yōu)的網(wǎng)址加入到站點(diǎn)地圖中，效果往往比全部網(wǎng)站放進(jìn)去來(lái)得好。

利用CMS生成站點(diǎn)地圖，倘若你使用的CMS是WordPress或 Blogger 等，那么恭喜你，或許你可以省略創(chuàng)建站點(diǎn)地圖這一步驟，畢竟你的CMS可能非常有前瞻性地幫你提交站點(diǎn)地圖給搜索引擎了。

創(chuàng)建站點(diǎn)地圖，手動(dòng)or自動(dòng)？

如果你的網(wǎng)站規(guī)模很小，要?jiǎng)?chuàng)建的站點(diǎn)地圖包含的網(wǎng)址很少，那么你可以選擇不創(chuàng)建站點(diǎn)地圖或手動(dòng)創(chuàng)建站點(diǎn)地圖，也可以借助自動(dòng)生成站點(diǎn)地圖的軟件。但是如果要為大型網(wǎng)站創(chuàng)建站點(diǎn)地圖，那么不建議手動(dòng)創(chuàng)建。因?yàn)樵跒榇笮途W(wǎng)站創(chuàng)建站點(diǎn)地圖時(shí)，不僅僅要考慮如何創(chuàng)建，還要考慮怎么才能使它保持是最新的狀態(tài)，所以自動(dòng)生成便是上佳選擇。

提交站點(diǎn)地圖

在“初次見(jiàn)面”時(shí)，你的站點(diǎn)地圖會(huì)被“翻牌”，谷歌“蜘蛛”并不是在每次爬取網(wǎng)站時(shí)都會(huì)查看它。要是你的站點(diǎn)地圖有變動(dòng)的話，想讓它再次查看你修改過(guò)的成果，那么你可以使用ping功能通知爬蟲。你可以通過(guò)幾種方式來(lái)提交站點(diǎn)地圖：

• 利用站點(diǎn)地圖報(bào)告；
• 使用ping工具；
• 指定站點(diǎn)地圖路徑。