MORE
了解詳細內容
當前位置:首頁 > 新聞觀點 > 建站知識 >

robots文件在網站中起到了什么作用

文章來源:暢想網絡 | 本文作者:小編 | 發布時間:2016-04-05 10:50:48 | Tag標簽:網站建設知識
04

05 2016

搜索引擎使用spider程序自動范文互聯網上的網頁并獲取網頁信息。Spider在訪問一個網站時,會首頁檢查該網站的根域名下是否有一個叫robots.txt的純文本,這個文件用于指定spider在您網站上的抓取范圍。您可以在您的網站上創建一個robots.txt,在文件中聲明改網站中哪些目錄不讓搜索引擎收錄。(robots.txt文件應該放置在網站根目錄下。)
 
1、 Robots的用法
 
User-agent:定義進制搜索引擎名字,比如說:百度(Baiduspider)、谷歌(Googlebot)、360(360Spider)等。*號代表全部搜索引擎
 
Disallow:不允許收錄
 
Allow:允許收錄
 
案例:
 
User-agent: * (聲明禁止所有的搜索引擎抓取以下內容)
 
Disallow:/blog/(禁止網站blog欄目下所有的頁面。比如說:/blog/123.html)
 
Disallow:/api(比如說:/apifsdfds/123.html也會被屏蔽。)
 
Allow:/blog/12/(一般情況下不需要寫Allow的,而我們在禁止的目錄下面,我們需要讓搜索引擎收錄,那么我們就可以使用Allow,比如說我們前面禁止了blog欄目下所有的頁面,同時我們想/12/欄目下被收錄,這個時候我們就需要通過Allow來允許搜索引擎的收錄。)
 
Disallow:*?*(只要你的路徑里面帶有問號的路徑,那么這條路徑將會被屏蔽。)
 
Disallow:/*.php$(意思是以.php結尾的路徑全部屏蔽掉。)
 
如何使用Robots提升排名
 
一、屏蔽死鏈接
 
許多時候,我們網站會產生死鏈接,比如說:網站改版、文章刪除等,都很有可能會導致網站出現404頁面,那么這個時候我們就需要通過robots來屏蔽這些死鏈接。查看死鏈的方法有以下兩種:
 
1、)通過網站日志查詢。
 
我們可以通過下載網站日志來查看我們的404頁面(網站日志可以向空間商要,空間商會提供下載通道),我們用txt打開網站日志,通過搜索“404”,如果你網站有404頁面,并且被訪問到了,那么這個時候就會被網站日志給記錄。
 
2、)百度站長平臺查詢
 
我們首先需要驗證百度站長平臺(如何驗證就不說了,最基本的。)驗證以后,我們通過百度站長工具的死鏈工具,可以清楚的看到,我們網站有哪些死鏈接。
 
二、屏蔽無價值的頁面
 
許多網站都有一些沒有價值的頁面,比如說seo指導中心的用戶個人中心頁面,這個個人中心頁面不會對網站產生價值,在百度上面的展現也不會給網站帶來權重。因此我們需要利用robots來屏蔽這樣的頁面。又比如說:一個企業網站的聯系我們頁面,這種頁面不會給網站帶來權重,用戶也不會去搜索“聯系我們”來找他想要的產品。因此我們需要把這種頁面同時屏蔽。
 
三、屏蔽重復路徑
 
當你網站出現重復路徑的時候,百度將會對我們的網站進行直接降分,比如說:一個網站做了偽靜態,同時他的動態頁面也可以訪問,這個時候就會出現重復路徑。因此我們需要通過robots屏蔽這些重復路徑。
相關內容
網站導航:首 頁 | 關于我們 | 服務項目 | 新聞觀點 | 客戶案例 | 解決方案 | 聯系我們
澳洲幸运10开奖历史 那些手机游戏能赚钱的 怎么投稿到360网页赚钱 开劳务公司非常赚钱了 锤子 不为赚钱 只为交朋友 双子女会赚钱吗 大城市送外卖赚钱么 魔兽怎么挂机赚钱快 颜瓷怎么赚钱 摄像头行业赚钱不 苹果有什么锁屏软件可以赚钱的软件下载 怎样倍投能赚钱 热血盛大传奇如何挂机赚钱 梦幻西游新区一医生4天宫赚钱吗 养殖竹鼠能不能赚钱 汽车销售赚钱吗天涯 家庭养十只狗赚钱吗