MORE
了解詳細內容
當前位置:首頁 > 新聞觀點 > 建站知識 >

網站建設中robots文件的編寫方式說明

文章來源:廊坊網絡公司 | 本文作者:小編 | 發布時間:2016-11-16 13:21:33 | Tag標簽:網站建設知識
11

16 2016

Robots.txt文件是網站與搜索引擎之間的一種協議,當搜索引擎來抓取你網站的時候,首先會看你網站根目錄的Robots文件,搜索引擎會根據你寫的這個協議來抓取你的網站內容,當然抓取的頁面都是由你寫的Robots來確定的。搜索引擎使用spider程序來訪問網站里面的內容,但是你的Robots文件可以告訴它那個頁面可以訪問,那個頁面不可以訪問,有些人認為網站當然容許抓取訪問了,錯,一些網站后臺隱私文件、js、死鏈這些都是需要屏蔽的。
了解下Robots常見的規則:
1、User-agent指令: 此指令定義了此指令下面的內容對哪些蜘蛛有效。默認所有蜘蛛都允許抓取,如果此指令指定了特定的蜘蛛,那么此指令下跟的內容就對特定蜘蛛有效。
2、Disallow指令: 指禁止搜索引擎抓取的路徑?,也就是說此指令定義了禁止蜘蛛抓取哪些內容
3、Allow指令: ?允許搜索引擎收錄的地址,此指令定義了允許蜘蛛抓些哪些內容,如果是某些內容允許,其它全部拒絕,則可以用這個指令,大多數網站只用到禁止指令。
User-agent的用法示例
此指令是用來定義蜘蛛名的:常見的蜘蛛名包括:Baiduspider、Googlebot、MSNBot、Baiduspider-image、YoudaoBot、Sogou web spider、Sogou inst spider、Sogou spider2、Sogou blog、Sogou News Spider、Sogou Orion spider、Sosospider、PangusoSpider、JikeSpider、yisouspider、EasouSpider。
Disallow的用法示例
1、禁止整站被抓取:
Disallow: /
2、禁止根目錄下的woniuseo目錄抓取:
Disallow: /woniuseo/
3、禁止根目錄下的woniuseo目錄下的單個頁面woniuseo.html被抓取:
Disallow:/woniuseo/woniuseo.html
4、禁止全站含有?的頁面被抓取:
Disallow:  /*?*
5、禁止全站含有woniuseo的頁面被抓取:
Disallow:  /*woniuseo*
6、禁止全站后綴為.aspx的頁面被抓取:
Disallow:  /*.aspx$
7、禁止全站后綴為.jpg的文件被抓取:
Disallow:/*.jpb$
Allow的用法示例
1、允許所有頁面被抓取:
Allow: /
2、允許woniuseo的目錄被抓取:
Allow: /woniuseo/
3、允許抓取.html的頁面:
Allow: /*.html$
4、允許抓取.jpg的圖片:
Allow: /*.jpg$
相關內容
網站導航:首 頁 | 關于我們 | 服務項目 | 新聞觀點 | 客戶案例 | 解決方案 | 聯系我們
澳洲幸运10开奖历史 wow60级法师怎么赚钱 手机软件有没有可以赚钱的6 刷卡机是怎么赚钱方法 在微信里卖小饰品赚钱吗 手机流量 赚钱软件哪个好 赚钱游戏梦幻地下城 虎牙直播是如何赚钱 小区大门口门市超市赚钱吗 农村学手机维修赚钱吗 男生在农村学习什么技术开店赚钱 阿里度能赚钱么 投资模具厂赚钱吗 西班牙做什么最赚钱? 法师单刷祖格鳄鱼有多赚钱 有没有类似叮咚的赚钱平台 加盟精品店最赚钱