2008年9月12日星期五

robot.txt

正确的文件名应该是robots.txt，而不是robot.txt

robots.txt 文件对抓取网络的搜索引擎漫游器（称为漫游器）进行限制。这些漫游器是自动的，在它们访问网页前会查看是否存在限制其访问特定网页的 robots.txt 文件。如果你想保护网站上的某些内容不被搜索引擎收入的话，robots.txt是一个简单有效的工具。这里简单介绍一下怎么使用它。

如何放置robots.txt文件

obots.txt（统一小写）是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的漫游器（又称网络蜘蛛），此网站中的哪些内容是不能被搜索引擎的漫游器获取的，哪些是可以被（漫游器）获取的。因为一些系统中的URL是大小写敏感的，所以robots.txt的文件名应统一为小写。robots.txt应放置于网站的根目录下。如果想单独定义搜索引擎的漫游器访问子目录时的行为，那么可以将自定的设置合并到根目录下的robots.txt，或者使用robots元数据。

Robots.txt协议并不是一个规范，而只是约定俗成的，所以并不能保证网站的隐私。注意Robots.txt是用字符串比较来确定是否获取URL，所以目录末尾有和没有斜杠“/”这两种表示是不同的URL，也不能用"Disallow: *.gif"这样的通配符。

这里举一个robots.txt的例子:

User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~name/
发帖者 时间：

没有评论:

发表评论

订阅： 博文评论 (Atom)

免责声明

1、本人是文盲，以上内容文字均不认识，也看不懂是什么意思（包括但不限于对所以上之内容的识别、阅读、理解、分析、记忆等）；

2、本人过去、现在以及将来都不认识本文中提及当事人，且自古以来与该相对人无利益关系；

3、本人昨天、今天以及明天都没有或者不准备去本文所述地点。本文表述之事与本人无关。

4、本人在此发文（包括但不限于汉字、拼音、拉丁字母、斯拉夫字母、日语假名、阿拉伯字母、单词、句子、图片、影像、录音、以及前述之各种任意组合等等）均为随意敲击键盘所出，用于检验本人电脑键盘录入、屏幕显示的机械、光电性能，并不代表本人局部或全部同意、支持或者反对文中观点。如需要详查请直接与键盘发明者及生产厂商法人代表联系；

5、人生有风险，上网需谨慎。本文不暗示、鼓励、支持或映射读者作出生活方式、工作态度、婚姻交友、股票债券买卖、子女教育的积极或消极判断。未成年人请在监护人陪同下阅读本文。无完全民事行为能力者，请立即关闭网页，并用20％高锰酸钾＋75％乙醇对键盘、硬盘、电压插座、显示器、鼠标、cpu进行灌溉消毒；

6、如本人留言违反国家有关法律，请网络管理员及时删除本文，本人保留继续发文的权利；

7、因删贴不及时所产生的任何法律（包括宪法、加法、减法、乘法、除法、剑法、拳法、脚法、指法、民法、刑法、书法、公检法、基本法、劳动法、婚姻法、输入法、没办法、国际法、今日说法、吸星大法及文中涉及或可能涉及以及未涉及之法，各地治安管理条例）纠纷或责任本人概不负责；

8、本人谢绝任何跨省（包括但不限于跨国、跨洲、跨星球、跨星系）追捕行为。确因不抓不足以平民愤，或不抓就领不到薪水养家户口的公职人员，建议携带工作证、身份证、结婚证/离婚证、独生子女证、健康证、暂住证、毕业证、边防证、县以上政府机关出具的介绍信温情操作。抓捕按照以下排序倒序：作者、原作者以及网络管理员以及网络运行商、电信运营商、电力供应商、电脑生产销售商；

9、如回复内容导致回复者或第三方、第四方、第N次方怀孕，本人愿配合做亲子鉴定。