学习了一下robots.txt

作者：东东 发布于：2010-7-2 0:09 Friday 分类：学习

原来一直不了解robots.txt的什么东西，现在终于有机会了解一下了。注：本文全部来源于网络。

百度百科的解释：

robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。Robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如 果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。 robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。 语法：最简单的 robots.txt 文件使用两条规则：1、 User-Agent: 适用下列规则的漫游器 　2、Disallow: 要拦截的网页。

阅读全文>>

标签: 学习 robots.txt 百度百科

评论(0) 引用(0) 浏览(1241)

Powered by emlog | Copyright © 2010-2011 dongdong.im Some Rights Reserved. | www.beipianle.org www.beipianla.org | 手机浏览 | 图床 sitemap