說(shuō)到漫游器，是不是給你整不會(huì)了？

那換一種說(shuō)法？“重復(fù)自動(dòng)化任務(wù)”、 “網(wǎng)絡(luò)爬蟲(chóng)”、“搜索蜘蛛？”是不是就簡(jiǎn)單明了了？搜素引擎中的抓取工具一般也稱為是“漫游器”，也就是我們常說(shuō)的爬蟲(chóng)、蜘蛛……這也是谷歌用來(lái)處理網(wǎng)站內(nèi)容，將網(wǎng)頁(yè)內(nèi)容編進(jìn)索引庫(kù)過(guò)程中的重要工具。聽(tīng)到這，是不是就感覺(jué)異常熟悉了？在整合重復(fù)網(wǎng)址中，我們就提到過(guò)了，在谷歌，Googlebot便是屬于其中的一種漫游器，只是沒(méi)有點(diǎn)明個(gè)中關(guān)系罷了。

今天是一場(chǎng)坦白局，關(guān)于漫游器的各種問(wèn)題，你可以在下面查收到。

我的網(wǎng)站是否需要robots.txt文件？

未必一定需要。

Googlebot在訪問(wèn)網(wǎng)站時(shí)，率先會(huì)檢查網(wǎng)站根目錄下的robots.txt是否存在，然后第二順位，將會(huì)查看網(wǎng)站漫游器元標(biāo)記或者的HTTP的標(biāo)頭。即使你的網(wǎng)站缺少robots.txt文件，Googlebot一般也會(huì)照常抓取收錄的。

哪種方法可以阻止抓取？

視情況而定。

• 漫游器元標(biāo)記：要是某個(gè)頁(yè)面不完全不想被抓取索引，那么使用它，來(lái)達(dá)到你的目的吧?；蛘咭刂茊蝹€(gè)網(wǎng)頁(yè)在SERP上的顯示效果，那么也是同樣適用的；
• 使用HTTP標(biāo)頭，其實(shí)很漫游器元標(biāo)記的很類似，只不過(guò)，HTTP標(biāo)頭主要是控制內(nèi)容的顯示效果；
• robots.txt：要是你的網(wǎng)站某些內(nèi)容在抓取之后會(huì)影響到整體SEO或者服務(wù)器的情況，那么請(qǐng)使用robots.txt文件，例如某些內(nèi)容在抓取之后影響網(wǎng)站的權(quán)重，或者內(nèi)容在無(wú)限加載的日歷腳本等影響服務(wù)器請(qǐng)求；但是一些不公開(kāi)的內(nèi)容請(qǐng)不要使用它來(lái)屏蔽，如需要屏蔽的話，可以選擇服務(wù)器端的身份驗(yàn)證機(jī)制。

以上方法可以用來(lái)移除別人的網(wǎng)頁(yè)嗎？

這樣做是不可以的。

這些方法當(dāng)然要有網(wǎng)站的讀取權(quán)限，也就是只能適用于自身的網(wǎng)站，可以修改網(wǎng)站的代碼或者往網(wǎng)站添加文件來(lái)修改自己網(wǎng)站的內(nèi)容，但是卻不能用來(lái)移除別人的網(wǎng)頁(yè)。但是托管在你的網(wǎng)站上的網(wǎng)頁(yè)，你有權(quán)處理，可以使用一些手段將他們從谷歌搜索結(jié)果中移除。

如果robots.txt文件存在錯(cuò)誤，會(huì)怎么樣？

問(wèn)題不是很大。

網(wǎng)站的抓取工具一般是很智能的，通常不會(huì)受到一些小事干擾自身的工作，若是因?yàn)閞obots.txt中出現(xiàn)的小小錯(cuò)誤便罷工，那更是天方夜譚。對(duì)于這種情況，最壞的結(jié)果不過(guò)是忽視r(shí)obots.txt中的不正確的指令罷了。

怎么暫停對(duì)自己網(wǎng)站的抓取

將網(wǎng)站所有所有的網(wǎng)頁(yè)（包括robots.txt文件），返回5023HTTP狀態(tài)碼，暫時(shí)停止所有對(duì)網(wǎng)站的抓取，503狀態(tài)碼通常應(yīng)用在臨時(shí)情況下，一般是不進(jìn)行緩存的。系統(tǒng)會(huì)對(duì)你的網(wǎng)站再次發(fā)送請(qǐng)求，直至能再次訪問(wèn)robots.txt文件。（注意，最好不要改動(dòng)網(wǎng)站robots.txt文件來(lái)禁止爬蟲(chóng)抓取。）

更新后的robots.txt文件多久能重新起作用？

時(shí)間不確定。

一般說(shuō)來(lái)，谷歌對(duì)robots.txt的內(nèi)容緩存頂多是一天，但是想要推進(jìn)谷歌對(duì)你更新后的robots.txt文件起作用，那么可以將改好的robots.txt文件提交到谷歌，推進(jìn)進(jìn)程。然而，即使搜索引擎發(fā)現(xiàn)了更改過(guò)后的文件，但是由于抓取索引的復(fù)雜性，所以也未必能及時(shí)響應(yīng)更改，所以這個(gè)確切的時(shí)間很難說(shuō)。