robots.txt一般是在網(wǎng)站根目錄下能找到它的身影，它就相當(dāng)于是海上的燈塔，給網(wǎng)絡(luò)爬蟲指引，網(wǎng)站中哪些內(nèi)容是可以索引的，哪些是不需要被爬取的，它都將一一告知。由于網(wǎng)站系統(tǒng)的規(guī)則，所以，robots.txt統(tǒng)一為小寫。robots.txt只是約定俗成的一個協(xié)議而已，并不能算是一個正式的規(guī)范，其實網(wǎng)站的隱私內(nèi)容并不能被保證。欲知更多robots.tx如何助你的網(wǎng)站SEO做大做強(qiáng)，敬請往下看。

robots.txt文件規(guī)定了網(wǎng)絡(luò)爬蟲在你的網(wǎng)站的活動范圍，爬蟲只能在你允許的區(qū)域內(nèi)自由活動，允許被訪問的網(wǎng)站網(wǎng)址，它們才可進(jìn)入。它是爬取屆的方圓，是公文般存在的尺度，此文件能夠避免你的網(wǎng)站收到過多的請求。但是，雖說它規(guī)定了爬蟲可以訪問的網(wǎng)頁，但卻并非是能夠完全阻止谷歌抓取網(wǎng)頁的方法。

robots.txt用法

robots.txt文件掌握著流向網(wǎng)站的抓取工具流量的命門，往往影響著不同類型的文件：

• 如果你不想robots.txt爬取你的網(wǎng)站不重要的網(wǎng)頁和內(nèi)容相似的網(wǎng)頁，或者是爬蟲影響到網(wǎng)站服務(wù)器的負(fù)荷，那么robots.txt可以替你有效管理爬蟲的抓取，避免影響用戶體驗，分散網(wǎng)站的權(quán)重；
• 可以使用robots.txt文件來管理爬蟲，不讓它們抓取，阻止圖片、視頻等文件出現(xiàn)在SERP中；
• 如果你想讓網(wǎng)頁在加載過程中減負(fù)，那么可以利用robots.txt來屏蔽加載不重要的圖片、腳本等資源文件，但是爬蟲也并非100%智能，如此一來，它就更難解讀網(wǎng)頁內(nèi)容，會影響網(wǎng)頁的爬取收錄。

robots.txt的“枷鎖”

• robots.txt并沒有得到所有的搜索引擎的認(rèn)可，一般而言，Googlebot和其他的網(wǎng)頁抓取工具是能夠遵循robots.txt文件的指揮的，但是其他的工具卻未必如此“聽話”。所以，倘若你想要讓網(wǎng)頁上的一些內(nèi)容不被抓取顯示，建議使用另外的方法，更加快捷高效；
• 不同的工具識別robots.txt指令的方法不一樣，就像是我們各地都有不同的方言，但是同一句話，卻有著不一樣發(fā)音，所以每一種網(wǎng)頁抓取工具都對robots.txt指令的解讀不一樣，如果能夠好好解讀不同的解讀方法，那么將會避免很多因為無法理解而產(chǎn)生的誤解了；
• 有個別網(wǎng)頁被robots.txt屏蔽了，但是并不是萬無一失，仍然有可能被編入索引的。盡管谷歌不會主動去抓取被robots.txt的屏蔽的網(wǎng)頁內(nèi)容，但是如果有網(wǎng)站鏈接到了該網(wǎng)頁的話，那么谷歌還是會“順藤摸瓜”地抓取該網(wǎng)頁的。

總而言之

如果將網(wǎng)站比喻成自己經(jīng)營的一家店鋪，那么robots.txt就像是“暫停營業(yè)”或者是“歡迎光臨“的告示牌，意在告訴爬蟲，哪些網(wǎng)頁是可以爬取索引，哪些是不能的。雖說起著一個指示牌的作用，但是卻沒有辦法起到防御作用，只能發(fā)揮它的最大效用告誡爬蟲罷了。今天的robots.txt知識掃盲就到這了，實踐出真知，欲知更多，不妨親自實踐。