如何不讓搜索引擎抓取網(wǎng)站的隱私內(nèi)容

什么是robots協(xié)議？

1.robots.txt是什么？

有沒有想過，如果我們某個(gè)站點(diǎn)不讓百度和google收錄，那怎么辦？

搜索引擎已經(jīng)和我們達(dá)成一個(gè)約定，如果我們按約定那樣做了，它們就不會(huì)去收錄。這個(gè)寫約定的的文件命名為:robots.txt。robots.txt是一個(gè)最簡單的.txt文件，用以告訴搜索引擎哪些網(wǎng)頁可以收錄，哪些不允許收錄。

如果你的站點(diǎn)對(duì)所有搜索引擎公開，則不用做這個(gè)文件或者robots.txt為空就行。

2.Robots.txt文件怎么寫

robots.txt文件的格式：

User-agent：定義搜索引擎的類型

Disallow：定義禁止搜索引擎收錄的地址

Allow：定義允許搜索引擎收錄的地址

一般情況下，robots.txt里只寫著兩個(gè)函數(shù)：User-agent和Disallow，至少要有一個(gè)Disallow函數(shù)，如果都允許收錄，則寫:Disallow:，如果都不允許收錄，則寫:Disallow:/（注：只是差一個(gè)斜桿）。在文件中只寫出要屏蔽的蜘蛛就可以了，允許爬行的蜘蛛就不用寫出來了。并且，有幾個(gè)禁止，就得有幾個(gè)Disallow函數(shù)，要分行描述。

例1.禁止所有搜索引擎訪問網(wǎng)站的任何部分

User-agent:*（注：*是一個(gè)通配符，在這里指所有的搜索引擎種類）

Disallow:/

例2.禁止某個(gè)搜索引擎的訪問

User-agent:BadBot

Disallow:/

例3.允許某個(gè)搜索引擎的訪問

User-agent:Baiduspider

allow:/

例4.容許搜索引擎訪問特定目錄中的網(wǎng)頁

User-agent:

Allow：/目錄1/目錄2（容許訪問目錄2中的網(wǎng)頁）

Allow：/目錄3/目錄4（容許訪問目錄4中的網(wǎng)頁）

Allow：/目錄5/目錄6（容許訪問目錄6中的網(wǎng)頁）

Disallow：/目錄1/

Disallow：/目錄3/

Disallow：/目錄5/

特別提示：robots里面內(nèi)容的大小寫不可更改，Disallow后面的冒號(hào)必須為英文狀態(tài)的。

3.Robots.txt文件應(yīng)放在哪里？

robots.txt文件必須放在網(wǎng)站的根目錄下，必須命名為：robots.txt，都是小寫，robot后面加"s"。放在子目錄的robots.txt文件搜索引擎不能爬取到，所以不會(huì)起任何作用。

例子：

http://www.cncn.com/robots.txt

有效

http://www.cncn.com/bbs/robots.txt

無效

4.生效時(shí)間

robots.txt文件一般生效時(shí)間為7-15天，即1-2周。如果新網(wǎng)站源碼中包含robots.txt文件，那樣蜘蛛進(jìn)行爬行時(shí)就會(huì)生效，如果是后來添加的，那樣蜘蛛需要對(duì)數(shù)據(jù)進(jìn)行更新，時(shí)間一般在7-15天。

5.關(guān)于robots.txt一般站長需要注意以下幾點(diǎn)：

1.）網(wǎng)站上經(jīng)常存在這種情況：不同的鏈接指向相似的網(wǎng)頁內(nèi)容。這不符合SEO上講的“網(wǎng)頁內(nèi)容互異性原則”。采用robots.txt文件可以屏蔽掉次要的鏈接。

2.）網(wǎng)站改版或URL重寫優(yōu)化時(shí)原來不符合搜索引擎友好的鏈接需要全部屏蔽掉。采用robots.txt文件刪除舊的鏈接符合搜索引擎友好。

3.）一些沒有關(guān)鍵詞的頁面，比如站內(nèi)的搜索結(jié)果頁面屏蔽掉更好

4.）網(wǎng)站中的腳本程序、樣式表等文件即使被蜘蛛收錄，也不會(huì)增加網(wǎng)站的收錄率，還只會(huì)占用服務(wù)器存儲(chǔ)空間。因此必須在robots.txt文件里設(shè)置不要讓搜索蜘蛛索引腳本程序、樣式表等文件。

5.）搜索蜘蛛抓取網(wǎng)頁太浪費(fèi)服務(wù)器資源，在robots.txt文件中設(shè)置所有的搜索蜘蛛都不能抓取全部的網(wǎng)頁。如果這樣的話，會(huì)導(dǎo)致整個(gè)網(wǎng)站不能被搜索引擎收錄。

SEO:搜索引擎一直不收錄網(wǎng)站怎么辦?

按照夫唯老師以下十個(gè)方法能夠讓網(wǎng)站快速收錄：

1.保持規(guī)律更新

2.保持原創(chuàng)度和內(nèi)容長度

3.站上添加最新發(fā)布模塊/最新更新模塊

4.已收錄頁面錨文本給未收錄頁面

5.綁定熊掌號(hào)（針對(duì)百度）

6.主動(dòng)推送

7.sitemap提交

8.未收錄頁面的鏈接展示在首頁一段時(shí)間

9.站外給未收錄頁面引蜘蛛

10.抓取診斷（針對(duì)百度）

SEO禁止抓取太泛是什么意思

主要意思是：網(wǎng)站關(guān)鍵詞設(shè)置不要太寬泛。

成熟的搜索引擎網(wǎng)站都沒有固定的搜索算法與規(guī)則，確認(rèn)的網(wǎng)站關(guān)鍵詞一定是和你的站點(diǎn)高度有關(guān)的,況且網(wǎng)站關(guān)鍵詞的搜索頻率要高。如果關(guān)鍵詞設(shè)置過于寬泛，搜索引擎無法判斷該站點(diǎn)的有效信息到底是指什么，那么網(wǎng)站權(quán)重不會(huì)高，嚴(yán)重的還會(huì)被搜索引擎判定為作弊，對(duì)該站點(diǎn)做出降權(quán)的懲罰動(dòng)作