永久免费看黄网站入口|精品一区二区在线观看|夜夜躁狠狠躁日日躁视频|国产又粗又黄又爽又硬的|亚洲综合一区二区三区不卡|亚洲最新无码中文字幕久久|色老头一区二区三区在线观看|亚洲欧美在线综合一区二区三区

您的位置:首頁 > 經(jīng)營范圍
經(jīng)營范圍

安平縣坤佰金屬絲網(wǎng)制品有限公司

2016-10-04 13:28:00作者:無名來源：admin0次閱讀

一、什么是 robots ？
?
robots是站點與spider溝通的重要渠道，站點通過robots文件聲明該網(wǎng)站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄特定的部分。
?
二、robots 格式定義
?
User-agent：用于描述搜索引擎robot的名字。
?
Disallow：用于描述不希望被訪問的一組URL，這個值可以是一條完整的路徑，也可以是路徑的非空前綴。
?
Allow：用于描述希望被訪問的一組URL，與Disallow項相似，這個值可以是一條完整的路徑，也可以是路徑的前綴。
?
三、特殊通配符
?
"*" ? ?匹配0或多個任意字符
"$" ? 匹配行結(jié)束符。
"?" ? 匹配動態(tài)路徑
?
四、使用方法
?
?在本地建立一個 robots.txt 文本文件，把需要設(shè)置的 robot 協(xié)議寫進文本中，然后再把此 robots.txt 文本文件上傳至網(wǎng)站空間根目錄下。
?
五、常用設(shè)置蛛蛛
?
?百度蜘蛛：Baiduspider
谷歌機器人： ?Googlebot
?360好搜： 360spider
?SOSO蜘蛛：Sosospider
有道蜘蛛：YoudaoBot
必應(yīng)蜘蛛：bingbot
?
六、robots的用法舉例
?
1.屏蔽所有搜索引擎
?
User-agent: *?
?Disallow: /
?
注意：英文冒號后面緊接著必須是一個英文格式的“空格”。
?
2.屏蔽百度蛛蛛，允許其它蛛蛛
?
User-agent: Baiduspider
Disallow: / ?
?
User-agent: *
?
3.屏蔽一個文件夾
?
User-agent: *
Disallow: /data/
?
4.屏蔽一個文件夾，但允許訪問此文件夾中的某個文件
?
User-agent: *
Disallow: /data/
Allow: /data/abc.php
?
5.屏蔽文件夾時后面帶 "/" 與不帶 "/" 的區(qū)別
?
例如 "Disallow:/data" ?是禁止robot訪問/data.html、/dataxxx.html、/data/xxx.html，
而 "Disallow:/data/"則禁止robot訪問/data/xxx.html、/data/xxx/ ，而允許訪問/data.html、/dataxxx.html文件。
PS：Allow 是一樣的道理。
?
6.屏蔽動態(tài)路徑
?
User-agent: *
Disallow: /*?*
?
7.指定蛛蛛爬取路徑以 .html 結(jié)尾，后面所有路徑都不再抓取
?
User-agent: *
Disallow: /*.html$
?
8.分別定義百度蛛蛛，和谷歌蛛蛛
?
User-agent: Baiduspider
Disallow: ?/data/
?
User-agent: Googlebot
Disallow: /template/
?
如我網(wǎng)站的 robots 協(xié)議：

聲明: 本文由( admin )原創(chuàng)編譯，轉(zhuǎn)載請保留鏈接: 做工廠代加工優(yōu)化必知robots協(xié)議規(guī)則大全

相關(guān)文章

網(wǎng)友評論

公司介紹

行業(yè)：互聯(lián)網(wǎng) 品牌：公司介紹
，
取自"腹中有墨，不愿沉淪"之意。
我一直有一顆90后浪漫主義者的心
夢里尋她千百度，驀然回首，那人卻在燈火闌珊處。
愛好互聯(lián)網(wǎng)，寫自傳、現(xiàn)代詩詞等。
公司專注電子商務(wù)、公司介紹優(yōu)化、公司介紹服務(wù)、公司介紹顧問、微營銷、淘寶運營、網(wǎng)站運營、網(wǎng)絡(luò)營銷、網(wǎng)絡(luò)推廣、微信公眾號、營銷系統(tǒng)研發(fā)和培訓(xùn)；公司致力于幫助草根網(wǎng)絡(luò)創(chuàng)業(yè)者打造最好的網(wǎng)絡(luò)營銷系統(tǒng)！ 用思維改變命運！

歡迎大家咨詢。公司介紹
咨詢飛機； yizhilaoshu

最新文章

圖文聚集

熱門排行