都說域名就是網(wǎng)站的“身份證”，只要有身份證號(hào)，就絕不會(huì)“查無此人”。但是，當(dāng)有一天，你發(fā)現(xiàn)你的某個(gè)網(wǎng)頁可以通過多個(gè)網(wǎng)址也就是多個(gè)“身份證號(hào)”都能訪問；又或者是你不同的網(wǎng)頁、但是頁面內(nèi)容類似的在共用同一個(gè)“身份證號(hào)”，例如有一些網(wǎng)頁既是移動(dòng)版又是PC版，那么谷歌此時(shí)就不會(huì)很“智能”地給你分辨那個(gè)是你的規(guī)范網(wǎng)址，這些網(wǎng)頁就會(huì)被通通歸類為同一個(gè)網(wǎng)頁的重復(fù)版本。

一般情況下，谷歌索引的工作原則是：選擇一個(gè)網(wǎng)址作為規(guī)范版本并抓取這個(gè)網(wǎng)址、優(yōu)先索引，而之后索引的其他的所有網(wǎng)址都當(dāng)作是重復(fù)網(wǎng)址。那這個(gè)工作機(jī)制隨之帶來的，便是降低這些網(wǎng)址的抓取頻率。如果你沒有明確告訴谷歌哪個(gè)網(wǎng)址是規(guī)范網(wǎng)址，那么谷歌將會(huì)隨機(jī)為你做出抉擇，或者是將這些網(wǎng)站均視為“抄襲者”。接下來一起看看因何要整合重復(fù)網(wǎng)址來規(guī)避這些不當(dāng)行為：

什么是規(guī)范網(wǎng)址？

在谷歌看來，網(wǎng)站中的一組重復(fù)網(wǎng)頁里最具代表性的網(wǎng)頁，它的網(wǎng)址便是規(guī)范的網(wǎng)址。舉個(gè)例子，在同一個(gè)網(wǎng)頁但是有多個(gè)訪問地址（website.com?blog=123和website.com/blogs/123），谷歌會(huì)隨機(jī)選擇其中的網(wǎng)址作為規(guī)范網(wǎng)址，規(guī)范網(wǎng)址所在的網(wǎng)域可以與相應(yīng)重復(fù)網(wǎng)頁的網(wǎng)域不同。

Googlebot如何將網(wǎng)站編入索引并選擇規(guī)范網(wǎng)址

當(dāng)某個(gè)網(wǎng)頁被Googlebot編入索引庫時(shí)，網(wǎng)站的主要內(nèi)容內(nèi)容是會(huì)被逐一“確認(rèn)過眼神”的，因此谷歌總能在后續(xù)的搜索服務(wù)中為用戶推送更加準(zhǔn)確的內(nèi)容。在同一個(gè)網(wǎng)站如果存在著多個(gè)內(nèi)容近乎相同的網(wǎng)頁，那么兩者中相對(duì)較完整和實(shí)用的網(wǎng)頁，將會(huì)占據(jù)優(yōu)勢(shì)而被標(biāo)記為規(guī)范網(wǎng)頁。谷歌為了減少對(duì)網(wǎng)站的抓取工作量，會(huì)經(jīng)常返回并只抓取規(guī)范網(wǎng)頁，而不是抓取重復(fù)網(wǎng)頁。

有很多的因素影響這谷歌選擇規(guī)范網(wǎng)頁，例如：

• 你的網(wǎng)頁是使用HTTP還是HTTPS
• 網(wǎng)頁質(zhì)量
• 站點(diǎn)地圖中是否存在著對(duì)應(yīng)的網(wǎng)址

從以上情況進(jìn)行啟示，或許你會(huì)知道怎么告知谷歌你更想要使用哪個(gè)網(wǎng)頁來作為規(guī)范網(wǎng)頁，然而，谷歌并不會(huì)完全按照常規(guī)“出牌”，索引程序仍然會(huì)因?yàn)槠渌脑蜻x擇別的網(wǎng)頁。

保留類似或重復(fù)網(wǎng)頁的合理原因

既然重復(fù)網(wǎng)址會(huì)影響谷歌的抓取，那么為什么還存在很多百思不得其故的原因，有一些搜索結(jié)果中顯示網(wǎng)上還保留著重復(fù)或類似的網(wǎng)頁？你的網(wǎng)站或許存在著一個(gè)或者多個(gè)不同網(wǎng)址指向同一個(gè)網(wǎng)頁，或者是內(nèi)容重復(fù)或相似的網(wǎng)頁存在在不同的網(wǎng)址，保持著“存在即合理”的觀點(diǎn)，探究個(gè)中緣由：

• 需要適應(yīng)不同的設(shè)備類型；
• 啟用搜索參數(shù)或者會(huì)話ID等需要?jiǎng)討B(tài)的網(wǎng)址；
• 同一篇博文同時(shí)存在于不同的板塊，博客系統(tǒng)會(huì)存在多個(gè)網(wǎng)址；
• 針對(duì)網(wǎng)站協(xié)議，服務(wù)器皆提供相同的內(nèi)容；
• 在相應(yīng)博客上提供的轉(zhuǎn)載內(nèi)容與其原網(wǎng)站內(nèi)容完全重復(fù)或部分重復(fù)。

選擇規(guī)范網(wǎng)址的原因

• 指定顯示在SERP的網(wǎng)址；
• 整合相似、重復(fù)的網(wǎng)頁的鏈接；
• 簡(jiǎn)化單個(gè)商品、主題的跟蹤指標(biāo)；
• 管理網(wǎng)站內(nèi)容，倘若被轉(zhuǎn)載，確保網(wǎng)址出現(xiàn)在搜索結(jié)果中；
• 避免重復(fù)抓取相同網(wǎng)頁。

寫在最后

很多時(shí)候，即使你明確指定了規(guī)范的網(wǎng)頁，將指定的網(wǎng)頁“告知”了谷歌，但是它也有可能出于各種原因（例如性能或者內(nèi)容等方面原因）而不聽“指揮”，而選擇其他的網(wǎng)頁作為規(guī)范網(wǎng)頁。所以，指定了規(guī)范的網(wǎng)頁，只是能使你的網(wǎng)頁能有備無患，相當(dāng)于提供了一個(gè)前提條件，倘若更上一層樓，依我看，還需在網(wǎng)站自身的性能、內(nèi)容優(yōu)化等入手。