搜索引擎的爬蟲也會迷路嗎？

答案是肯定的，于是我們就需要在網(wǎng)站上用到站點(diǎn)地圖給它指路了。淺白來講，站點(diǎn)地圖就相當(dāng)于是一個網(wǎng)站容器，包含著網(wǎng)站的所有鏈接。因?yàn)橛械木W(wǎng)站規(guī)模很大，連接層次較深，進(jìn)來索引網(wǎng)站的爬蟲就非常容易“找不著北”，導(dǎo)致網(wǎng)站內(nèi)容難以被完整爬取，以致于在搜索引擎儲存庫里顯示的站點(diǎn)“缺胳膊少腿”。站點(diǎn)地圖則在這個旅途擔(dān)任著“啟明星”的存在，方便爬蟲順著你提供的“北”來爬取網(wǎng)站頁面內(nèi)容。機(jī)器人在這個時(shí)候順藤摸瓜，對整個站點(diǎn)架構(gòu)了如指掌，還能向搜索引擎的用戶主動推送你的營銷內(nèi)容。站點(diǎn)地圖，是當(dāng)之無愧的網(wǎng)站索引“啟明星”

“啟明星”的代碼格式要注意

其實(shí)，搜索引擎如谷歌對所有標(biāo)準(zhǔn)格式的站點(diǎn)地圖都會“察納雅言”，但是在站點(diǎn)地圖中擁有屬性是不被接納的。站點(diǎn)地圖的標(biāo)準(zhǔn)格式只包含：

• XML；
• RSS、mRSS和Atom1.0；
• 文本（只包含網(wǎng)頁地址）。

可是，無規(guī)矩不成方圓。雖說谷歌對站點(diǎn)地圖號稱來者不拒，但其實(shí)也是有準(zhǔn)入門檻的。無論是哪種格式的站點(diǎn)地圖，在單個站點(diǎn)中，未壓縮的站點(diǎn)地圖的文件大小不可以大于50M，而且對其中包含的網(wǎng)址的數(shù)量也有明確規(guī)定，不可以超過50000個，否則就要讓你的站點(diǎn)地圖分家，各自獨(dú)立運(yùn)行。當(dāng)然，你可以另辟蹊徑去創(chuàng)建站點(diǎn)地圖索引文件，然后將這個索引的文件提交到搜索引擎，只是這就要多考驗(yàn)一次你的站點(diǎn)質(zhì)量和多一步申請收錄了。

索引的找“北”指南

• 提交網(wǎng)站地圖所在的網(wǎng)址，因?yàn)楣雀钑凑战o出的站點(diǎn)地址來抓取你的網(wǎng)頁的；
• 將站點(diǎn)地圖發(fā)布在根目錄下，因?yàn)樗c別的文件向來是井水不犯河水，只影響這個目錄；
• 網(wǎng)址會話等臨時(shí)ID不能包含在站點(diǎn)地圖中，造成網(wǎng)站內(nèi)容的重復(fù)抓取那便就不妙了；
• 使用hreflang注解，告知谷歌網(wǎng)站的其他語言版本并非重復(fù)網(wǎng)址；
• 對站點(diǎn)地圖文件進(jìn)行UTF-8編碼，并對字符進(jìn)行適當(dāng)轉(zhuǎn)義；
• 在站點(diǎn)地圖中，為網(wǎng)址注釋PC版和移動版，避免造成誤判重復(fù)。

創(chuàng)建適合你的網(wǎng)站地圖

創(chuàng)建站點(diǎn)地圖時(shí)，相當(dāng)于在為搜索引擎指明方向，告知它哪些網(wǎng)頁是你希望顯示在SERP中的，這也就正如我們之前在理性分析整合重復(fù)網(wǎng)址里說的，如果不同的網(wǎng)址皆能訪問你的相同的網(wǎng)頁，那么選擇最優(yōu)的網(wǎng)址加入到站點(diǎn)地圖中，效果往往比全部網(wǎng)站放進(jìn)去來得好。

利用CMS生成站點(diǎn)地圖，倘若你使用的CMS是WordPress或 Blogger 等，那么恭喜你，或許你可以省略創(chuàng)建站點(diǎn)地圖這一步驟，畢竟你的CMS可能非常有前瞻性地幫你提交站點(diǎn)地圖給搜索引擎了。

創(chuàng)建站點(diǎn)地圖，手動or自動？

如果你的網(wǎng)站規(guī)模很小，要創(chuàng)建的站點(diǎn)地圖包含的網(wǎng)址很少，那么你可以選擇不創(chuàng)建站點(diǎn)地圖或手動創(chuàng)建站點(diǎn)地圖，也可以借助自動生成站點(diǎn)地圖的軟件。但是如果要為大型網(wǎng)站創(chuàng)建站點(diǎn)地圖，那么不建議手動創(chuàng)建。因?yàn)樵跒榇笮途W(wǎng)站創(chuàng)建站點(diǎn)地圖時(shí)，不僅僅要考慮如何創(chuàng)建，還要考慮怎么才能使它保持是最新的狀態(tài)，所以自動生成便是上佳選擇。

提交站點(diǎn)地圖

在“初次見面”時(shí)，你的站點(diǎn)地圖會被“翻牌”，谷歌“蜘蛛”并不是在每次爬取網(wǎng)站時(shí)都會查看它。要是你的站點(diǎn)地圖有變動的話，想讓它再次查看你修改過的成果，那么你可以使用ping功能通知爬蟲。你可以通過幾種方式來提交站點(diǎn)地圖：

• 利用站點(diǎn)地圖報(bào)告；
• 使用ping工具；
• 指定站點(diǎn)地圖路徑。