robots.txt一般是在網(wǎng)站根目錄下能找到它的身影，它就相當(dāng)于是海上的燈塔，給網(wǎng)絡(luò)爬蟲(chóng)指引，網(wǎng)站中哪些內(nèi)容是可以索引的，哪些是不需要被爬取的，它都將一一告知。由于網(wǎng)站系統(tǒng)的規(guī)則，所以，robots.txt統(tǒng)一為小寫(xiě)。robots.txt只是約定俗成的一個(gè)協(xié)議而已，并不能算是一個(gè)正式的規(guī)范，其實(shí)網(wǎng)站的隱私內(nèi)容并不能被保證。欲知更多robots.tx如何助你的網(wǎng)站SEO做大做強(qiáng)，敬請(qǐng)往下看。

robots.txt文件規(guī)定了網(wǎng)絡(luò)爬蟲(chóng)在你的網(wǎng)站的活動(dòng)范圍，爬蟲(chóng)只能在你允許的區(qū)域內(nèi)自由活動(dòng)，允許被訪問(wèn)的網(wǎng)站網(wǎng)址，它們才可進(jìn)入。它是爬取屆的方圓，是公文般存在的尺度，此文件能夠避免你的網(wǎng)站收到過(guò)多的請(qǐng)求。但是，雖說(shuō)它規(guī)定了爬蟲(chóng)可以訪問(wèn)的網(wǎng)頁(yè)，但卻并非是能夠完全阻止谷歌抓取網(wǎng)頁(yè)的方法。

robots.txt用法

robots.txt文件掌握著流向網(wǎng)站的抓取工具流量的命門(mén)，往往影響著不同類型的文件：

• 如果你不想robots.txt爬取你的網(wǎng)站不重要的網(wǎng)頁(yè)和內(nèi)容相似的網(wǎng)頁(yè)，或者是爬蟲(chóng)影響到網(wǎng)站服務(wù)器的負(fù)荷，那么robots.txt可以替你有效管理爬蟲(chóng)的抓取，避免影響用戶體驗(yàn)，分散網(wǎng)站的權(quán)重；
• 可以使用robots.txt文件來(lái)管理爬蟲(chóng)，不讓它們抓取，阻止圖片、視頻等文件出現(xiàn)在SERP中；
• 如果你想讓網(wǎng)頁(yè)在加載過(guò)程中減負(fù)，那么可以利用robots.txt來(lái)屏蔽加載不重要的圖片、腳本等資源文件，但是爬蟲(chóng)也并非100%智能，如此一來(lái)，它就更難解讀網(wǎng)頁(yè)內(nèi)容，會(huì)影響網(wǎng)頁(yè)的爬取收錄。

robots.txt的“枷鎖”

• robots.txt并沒(méi)有得到所有的搜索引擎的認(rèn)可，一般而言，Googlebot和其他的網(wǎng)頁(yè)抓取工具是能夠遵循robots.txt文件的指揮的，但是其他的工具卻未必如此“聽(tīng)話”。所以，倘若你想要讓網(wǎng)頁(yè)上的一些內(nèi)容不被抓取顯示，建議使用另外的方法，更加快捷高效；
• 不同的工具識(shí)別robots.txt指令的方法不一樣，就像是我們各地都有不同的方言，但是同一句話，卻有著不一樣發(fā)音，所以每一種網(wǎng)頁(yè)抓取工具都對(duì)robots.txt指令的解讀不一樣，如果能夠好好解讀不同的解讀方法，那么將會(huì)避免很多因?yàn)闊o(wú)法理解而產(chǎn)生的誤解了；
• 有個(gè)別網(wǎng)頁(yè)被robots.txt屏蔽了，但是并不是萬(wàn)無(wú)一失，仍然有可能被編入索引的。盡管谷歌不會(huì)主動(dòng)去抓取被robots.txt的屏蔽的網(wǎng)頁(yè)內(nèi)容，但是如果有網(wǎng)站鏈接到了該網(wǎng)頁(yè)的話，那么谷歌還是會(huì)“順藤摸瓜”地抓取該網(wǎng)頁(yè)的。

總而言之

如果將網(wǎng)站比喻成自己經(jīng)營(yíng)的一家店鋪，那么robots.txt就像是“暫停營(yíng)業(yè)”或者是“歡迎光臨“的告示牌，意在告訴爬蟲(chóng)，哪些網(wǎng)頁(yè)是可以爬取索引，哪些是不能的。雖說(shuō)起著一個(gè)指示牌的作用，但是卻沒(méi)有辦法起到防御作用，只能發(fā)揮它的最大效用告誡爬蟲(chóng)罷了。今天的robots.txt知識(shí)掃盲就到這了，實(shí)踐出真知，欲知更多，不妨親自實(shí)踐。