Loading AI tools
一种用于控制搜索引擎或者其爬虫程序对页面访问控制的建议性规范标准文件 来自维基百科,自由的百科全书
robots.txt(統一小寫)是一種存放於網站根目錄下的ASCII編碼的文本文件,它通常告訴網絡搜索引擎的漫遊器(又稱網絡蜘蛛),此網站中的哪些內容是不應被搜索引擎的漫遊器獲取的,哪些是可以被漫遊器獲取的。因為一些系統中的URL是大小寫敏感的,所以robots.txt的文件名應統一為小寫。robots.txt應放置於網站的根目錄下。如果想單獨定義搜索引擎的漫遊器訪問子目錄時的行為,那麼可以將自定的設置合併到根目錄下的robots.txt,或者使用robots元數據(Metadata)。
robots.txt協議並不是一個規範,而只是約定俗成的,所以並不能保證網站的隱私。注意robots.txt是用字符串比較來確定是否獲取URL,所以目錄末尾有與沒有斜槓「/」表示的是不同的URL。robots.txt允許使用類似「Disallow: *.gif」這樣的通配符[1][2]。
其他的影響搜索引擎的行為的方法包括使用robots元數據:
<meta name="robots" content="noindex,nofollow" />
這個協議也不是一個規範,而只是約定俗成的,有些搜索引擎會遵守這一規範,有些則不然。通常搜索引擎會識別這個元數據,不索引這個頁面,以及這個頁面的連出頁面。
允許所有的機器人:
User-agent: *
Disallow:
另一寫法
User-agent: *
Allow:/
僅允許特定的機器人:(name_spider用真實名字代替)
User-agent: name_spider
Allow:
攔截所有的機器人:
User-agent: *
Disallow: /
禁止所有機器人訪問特定目錄:
User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /tmp/
Disallow: /private/
僅禁止壞爬蟲訪問特定目錄(BadBot用真實的名字代替):
User-agent: BadBot
Disallow: /private/
禁止所有機器人訪問特定文件類型[2]:
User-agent: *
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Sitemap
指令被幾大搜索引擎支持(包括Google、Yahoo、Bing和Ask),指定了網站Sitemaps文件的位置。Sitemaps文件包含了網站頁面所在的URL的一個列表。Sitemap
指令並不受User-agent
指令的限制,所以它可以放在robots.txt文件中的任意位置。[3]
唯一要注意的就是要使用網站地圖指令,<sitemap_location>,並將URL的「location」值換成網站地圖的地址,例如,下面就是一個網站地圖指令的例子:
Sitemap: <http://www.example.com/sitemap.xml>
如何編寫Sitemaps文件,請參考sitemaps.org(頁面存檔備份,存於網際網路檔案館)(英文)上的說明。
幾大抓取工具支持Crawl-delay
參數,設置為多少秒,以等待同服務器之間連續請求:[4][5]
User-agent: *
Crawl-delay: 10
雖然robots.txt是最為廣泛接受的方法,但也可以與robots META標籤一起使用。robots META標籤主要是針對一個獨立的頁面設定,與其他的META標籤(如使用的語言、頁面的描述、關鍵詞等)一樣,robots META標籤也是放在頁面的HEAD標籤中,專門用來告訴搜索引擎robots如何抓取該頁的內容。
<head>
<meta name="robots" content="noindex,nofollow" />
</head>
Seamless Wikipedia browsing. On steroids.
Every time you click a link to Wikipedia, Wiktionary or Wikiquote in your browser's search results, it will show the modern Wikiwand interface.
Wikiwand extension is a five stars, simple, with minimum permission required to keep your browsing private, safe and transparent.