二十二世纪古墓奇兵爱慕影院

小梁建站專注重慶中小企業網站建設SEO優化,讓您網站更具價值!

當前位置:首頁 > SEO基礎 > 如何正確建立robots.txt純文本文件?手把手教你制作robots.txt站點協議文件

如何正確建立robots.txt純文本文件?手把手教你制作robots.txt站點協議文件

時間:2018-04-01 14:47 來源:重慶網站制作公司(www.l2qz.net) 作者:重慶網站建設公司

 
今天碰到一個seo新手,他問我什么是“robots.txt純文本文件?”本來這是一個非常簡單的問題,網上的網友也給他做了很多回答,但他就是理解不到“robots.txt站點協議文件”要表達的正確含義,于是我通過舉例說明:這個文件要所表達的就是你平時要去網吧上網,網管要給你限制的一些條件(年齡要達到18歲,而且要有自己的身份證),滿足這些條件才可以上網,而我們網站上就要制作這樣的文件規則,來限定搜索引擎蜘蛛訪問網站的一些限制條件,而在我們網站根目錄制定了這樣的站點協議文件,對搜索引擎蜘蛛訪問網站的規則條件才生效。如果不知道建立robots.txt純文本文件?,就看看下面具體的制作方法:

robots.txt純文本文件怎么做?
 
robots.txt純文本文件由記錄組成,記錄之間以空行分開。
 
格式:<域>:<可選空格><域值><可選空格>
 
注意:記錄之間應以空行分開。
 
 
如何正確書寫robots.txt純文本文件?
 
 
User-agent:指定規則適用于哪個蜘蛛(如:如百度是Baiduspider,谷歌是Googlebot或是其他搜索引擎)
 
Allow:允許抓取什么URL路徑
 
Disallow:不允許抓取什么URL路徑
 
通配符*代表所有搜索引擎
 
結束符$:表示以前面字符結束的u
 
注意:允許或禁止的目錄或文件必須分開寫,每個一行
 
robots.txt純文本文件制作方法:
 
(1) 禁止所有搜索引擎抓取任何頁面
 
User-agent: *
 
Disallow: /
 
(2)允許所有的搜索引擎訪問網站的任何部分
 
User-agent: *
 
Disallow:
 
(3)僅禁止Googlebot訪問您的網站
 
User-agent: Googlebot
 
Disallow: /
 
也可換為其他搜索引擎
 
(4) 僅允許Googlebot訪問您的網站
 
User-agent: Googlebot
 
Disallow:
 
也可換為其他搜索引擎
 
(5)禁止spider訪問特定目錄
 
User-agent: *
 
Disallow: /cgi-bin/
 
Disallow: /tmp/
 
注意事項:1)目錄要分別寫。2)請注意最后要帶斜杠。3)帶斜杠與不帶斜杠的區別。
 
(6)允許訪問特定目錄中的部分url:如:不抓取/ab/目錄下的其他目錄和文件,但允許抓取其中/cd/目錄下的內容
 
User-agent: *
 
Disallow: /ab/
 
Allow: /ab/cd/
 
注:允許收錄優先級要高于禁止收錄。
 
(7) 禁止訪問網站中所有的動態頁面
 
User-agent: *
 
Disallow: /*?*
 
(8)禁止搜索引擎抓取網站上所有圖片
 
User-agent: *
 
Disallow: /*.jpg$
 
Disallow: /*.jpeg$
 
Disallow: /*.gif$
 
Disallow: /*.png$
 
Disallow: /*.bmp$
 
(9)允許抓取以.htm為后綴的URL
 
User-agent: *
 
Allow: .htm$
 
(10)禁止抓取所有htm文件
 
User-agent: *
 
Disallow: /*.htm
 
六、robots.txt純文本文件幾種特殊情況
 
被robots文件禁止抓取的URL還是可能被索引并出現在搜索結果中。只要有導入鏈接指向這個URL,就會被搜索引擎搜索引擎識別出來有這個URL的存在,雖然不會抓取頁面內容,但是索引庫中會有這個URL的頁面信息存在。通常以下面四種情況呈現出來。
 
(1)只顯示URL,沒有標題和描述
 
(2)顯示開放目錄或雅虎等重要目錄收錄的標題和描述
 
(3)導入鏈接的錨文字顯示為標題和描述
 
(4)搜索引擎從其他地方獲得的信息顯示為標題和描述
 
其實很多情況呢,要具體分析,只有掌握了robots文件基本語法,才能合理正確的設置robots.txt純文本文件。
 
 
 

版權聲明:本文:如何正確建立robots.txt純文本文件?手把手教你制作robots.txt站點協議文件 由重慶網站制作公司(www.l2qz.net)原創內容,如需要轉載請注明原文網址:重慶網站建設公司http://www.l2qz.net/

 
喜歡看,就分享到:

圍觀: 9999次 | 責任編輯:重慶網站建設公司

回到頂部
二十二世纪古墓奇兵爱慕影院 丛林快讯电子游艺 期货交易结算相关规定 巴拉多利德大罗训练 尼克斯vs奇才 看吉林十一选五走势 灰熊vs雷霆季后赛 主播玩的主机游戏 守望先锋辅助瞄准 黄金农场APP下载 ag真人规律 十或更好100手电子游艺 北京赛车规律公式论坛