網(wǎng)站所設(shè)置的關(guān)鍵詞要想在SERP上獲取好的名詞，其首要前提是搜索引擎將其索引收錄在內(nèi)。網(wǎng)頁(yè)沒有收錄，猶如脫水的魚，最終也會(huì)因?yàn)闊o人問津而落得流量枯竭。沒有了收錄的網(wǎng)站，自然也就失去了網(wǎng)站在搜索引擎排名的機(jī)會(huì)了。所以，在網(wǎng)站優(yōu)化的時(shí)候，網(wǎng)站的收錄是推廣的首要前提、也是給網(wǎng)站帶來源源不斷流量的前提，當(dāng)你掌握了這些技巧，那網(wǎng)站收錄無需愁。

robots.txt抓取障礙要去除

注意了，要是你的網(wǎng)站在百度或者谷歌都沒有被收錄的話，很大的原因可能是因?yàn)?robots.txt 存在著一些阻礙，導(dǎo)致你和搜索引擎之間的溝通發(fā)生錯(cuò)亂，讓其誤解了你的意思。首先進(jìn)入你的 robots.txt 文件中去查看，是否有設(shè)置一些“攔路虎”，阻擋了網(wǎng)站與搜索引擎之間的聯(lián)系？如果僅僅是因?yàn)榫W(wǎng)站的某個(gè)網(wǎng)頁(yè)一直沒有被收錄，就要查看以下單個(gè)URL是否因?yàn)?robots.txt 沒有被搜索引擎收錄。

noindex標(biāo)簽設(shè)置要謹(jǐn)慎

確實(shí)，我們之前有教過大家，可以利用noindex標(biāo)簽阻止某個(gè)網(wǎng)頁(yè)，不被它展現(xiàn)在SERP上。然而這個(gè)noindex標(biāo)簽并不能被隨意濫用，很顯然，如果你的網(wǎng)頁(yè)一直被收錄不上，可以率先查看一下該頁(yè)面是否有被設(shè)置或者濫用noindex標(biāo)簽。因?yàn)?，此?biāo)簽就是用來告知搜索引擎，你并不想讓它收錄這個(gè)頁(yè)面，自然，搜索蜘蛛也不會(huì)“自討沒趣”，它是不會(huì)將其編入索引的。

站點(diǎn)地圖作用要重視

搜索引擎蜘蛛也是會(huì)在龐大的網(wǎng)站內(nèi)迷路的，站點(diǎn)地圖還能為網(wǎng)站的爬取做出一點(diǎn)輔助作用，通常我們?cè)O(shè)置站點(diǎn)地圖就是為了告訴爬蟲們：哪些網(wǎng)頁(yè)是重要的，哪些是不重要的。通常情況下，盡管你的網(wǎng)站頁(yè)面沒有被容納進(jìn)去站點(diǎn)地圖，爬蟲們還是能夠在你的網(wǎng)站中找到你的網(wǎng)頁(yè)。但是站點(diǎn)地圖也分為代碼式和頁(yè)面式，請(qǐng)注意，（我們說的是龐大的網(wǎng)站，不是普通的網(wǎng)站）龐大的網(wǎng)站要做齊全的xml網(wǎng)站地圖推送。

canonical標(biāo)簽使用要深思

誠(chéng)然，我們一般在使用到canonical標(biāo)簽來解決網(wǎng)址規(guī)范化的問題，告訴搜索引擎哪個(gè)網(wǎng)頁(yè)才是正確的版本。在很多情況下，網(wǎng)站頁(yè)面是沒有canonical標(biāo)簽的，這也就意味著，告訴搜索引擎這個(gè)頁(yè)面本來就是首選的網(wǎng)址版本，沒有其他的了，希望此頁(yè)面能夠被索引。如果canonical標(biāo)簽錯(cuò)誤使用了，那搜索引擎等分分鐘就會(huì)誤解你的意圖，網(wǎng)址版本收錄錯(cuò)誤，那就并不能甩鍋到爬蟲身上了。

網(wǎng)站孤島頁(yè)面要常檢查

所謂的孤島頁(yè)面就是那些網(wǎng)站中沒有其他內(nèi)部鏈接相連的頁(yè)面，搜索引擎?zhèn)冊(cè)谕ㄟ^抓取網(wǎng)站鏈接去發(fā)現(xiàn)新內(nèi)容時(shí)，那些完全與整個(gè)網(wǎng)站脫離軌道的孤島頁(yè)面，難以被網(wǎng)絡(luò)爬蟲們發(fā)現(xiàn)，訪客也難以找尋這些內(nèi)容。而這些孤島頁(yè)面盡管包含著很多的內(nèi)容，但是往往在SERP上的排名并不高，也難以獲得大量的用戶點(diǎn)擊；再加上這些低價(jià)值的孤島頁(yè)面會(huì)浪費(fèi)網(wǎng)站的抓取預(yù)算?？梢詮囊韵碌姆椒ㄈソ鉀Q這些孤島頁(yè)面的問題：

• 如果網(wǎng)站的孤島頁(yè)面很重要，在其他的網(wǎng)站頁(yè)面內(nèi)部鏈接起來；
• 如果該頁(yè)面可有可無，那將其刪掉或者移出站點(diǎn)地圖也無可厚非。