永久免费看黄网站入口|精品一区二区在线观看|夜夜躁狠狠躁日日躁视频|国产又粗又黄又爽又硬的|亚洲综合一区二区三区不卡|亚洲最新无码中文字幕久久|色老头一区二区三区在线观看|亚洲欧美在线综合一区二区三区

您的位置:首頁 > 公司介紹
公司介紹

安平縣坤佰金屬絲網(wǎng)制品有限公司

2018-05-19 03:45:39作者:無名來源：admin0次閱讀

網(wǎng)站基礎(chǔ)優(yōu)化有很多，其中robots協(xié)議就是其中之一，今天就來談?wù)劙俣?strong>robots協(xié)議解析，關(guān)于robots協(xié)議寫法的相關(guān)問題。寫好robots協(xié)議文件有助于我們的網(wǎng)站更快的收錄及保護(hù)好網(wǎng)站。
?
一、什么是robots協(xié)議？
?
它是給于網(wǎng)站與蜘蛛之間的一種協(xié)議文件，所以其也可以稱之為爬蟲協(xié)議或者機(jī)器人協(xié)議。而百度站長平臺給出的官方叫法是“網(wǎng)絡(luò)爬蟲排除標(biāo)準(zhǔn)”，通過這個文件網(wǎng)站管理員可以規(guī)定蜘蛛來到網(wǎng)哪里可以爬取，哪里不能爬取。

robots協(xié)議
?
二、robots協(xié)議的意義
?
整個網(wǎng)站是由網(wǎng)站內(nèi)容，程序，數(shù)據(jù)庫信息等等相關(guān)的組合在一起搭建起來的，而網(wǎng)站里面的東西不是什么都需打百度蛛蛛爬取收錄的，有的東西不能讓其收錄，如網(wǎng)站后臺地址、登錄信息，網(wǎng)站模板文件等等，這些東東西如果被蜘蛛爬收錄了，不僅會降低網(wǎng)站排名的收錄頁面得分，還會泄露網(wǎng)站重要信息。
?
為了避免這一情況的出現(xiàn)，robots協(xié)議就在中間起到了重要的作用。
?
三、robots協(xié)議文件的格式及寫法
?
User-agent:
?
該項(xiàng)的值用于描述搜索引擎robot的名字，在"robots.txt"文件中，如果有多條User-agent記錄說明有多個robot會受到該協(xié)議的限制，對該文件來說，至少要有一條User-agent記錄。
?
如果該項(xiàng)的值設(shè)為*，則該協(xié)議對任何機(jī)器人均有效，在"robots.txt"文件中，"User-agent：*"這樣的記錄只能有一條。
?
一般都是用"User-agent：*"，允許所有引擎蜘蛛到網(wǎng)站收錄頁面。
?
Disallow :
?
該項(xiàng)的值用于描述不希望被訪問到的一個URL，這個URL可以是一條完整的路徑，也可以是部分的，任何以Disallow開頭的URL均不會被robot訪問到。

robots協(xié)議寫法舉例
?
例如：
?
"Disallow: /help"
對/help.html和/help/index.html都不允許搜索引擎訪問，
?
而"Disallow:/help/"
則允許robot訪問/help.html，而不能訪問/help/index.html。
?
任何一條Disallow記錄為空，說明該網(wǎng)站的所有部分都允許被訪問，在"robots.txt"文件中，至少要有一Disallow記錄。
?
如果"robots.txt"是一個空文件，則對于所有的搜索引擎robot，該網(wǎng)站都是開放的。
?
四、robots.txt文件放在哪里?
?
robots協(xié)議應(yīng)該放在網(wǎng)站根目錄下面，當(dāng)蜘蛛來了網(wǎng)站時第一時間是查看robots文件協(xié)議，然后會根據(jù)這個文件的協(xié)議規(guī)則來對網(wǎng)站內(nèi)容進(jìn)行爬取及收錄頁面。
?
關(guān)于robots寫法具體可以查看《robots協(xié)議規(guī)則大全》

聲明: 本文由( admin )原創(chuàng)編譯，轉(zhuǎn)載請保留鏈接: robots協(xié)議

相關(guān)文章

編輯：admin 關(guān)鍵詞：robots協(xié)議

網(wǎng)友評論

公司介紹

行業(yè)：互聯(lián)網(wǎng) 品牌：公司介紹
，
取自"腹中有墨，不愿沉淪"之意。
我一直有一顆90后浪漫主義者的心
夢里尋她千百度，驀然回首，那人卻在燈火闌珊處。
愛好互聯(lián)網(wǎng)，寫自傳、現(xiàn)代詩詞等。
公司專注電子商務(wù)、公司介紹優(yōu)化、公司介紹服務(wù)、公司介紹顧問、微營銷、淘寶運(yùn)營、網(wǎng)站運(yùn)營、網(wǎng)絡(luò)營銷、網(wǎng)絡(luò)推廣、微信公眾號、營銷系統(tǒng)研發(fā)和培訓(xùn)；公司致力于幫助草根網(wǎng)絡(luò)創(chuàng)業(yè)者打造最好的網(wǎng)絡(luò)營銷系統(tǒng)！ 用思維改變命運(yùn)！

歡迎大家咨詢。公司介紹
咨詢飛機(jī)； yizhilaoshu

最新文章

圖文聚集

熱門排行