在网站建设与运营中，robots.txt是一个重要文件，每个网站都应设置正确的robots.txt文件。
搜索引擎在抓取网站文件前，会先查看网站robots.txt文件的设置，以此了解网站允许其抓取的范围，包括具体的文件和目录。那么，该如何配置robots.txt文件呢？
下面来看一个例子：
```
# robots.txt file start
# Exclude Files From All Robots:
User-agent: *
Disallow: /admin_login/
Disallow: /admin/
Disallow: /admin.htm
Disallow:/admin.aspx
# End robots.txt file
```
其中，带有#号的内容为注释，方便阅读。User - agent代表搜索引擎的蜘蛛，此处使用*号，表示该设置对所有蜘蛛均有效。Disallow表示不允许抓取，其后的目录或文件，即为禁止抓取的范围。
编辑好该文件后，需将其保存在网站的根目录下（当然，也可根据需求进行调整），搜索引擎便会读取该文件。
若网站没有robots.txt文件，在网站访问日志文件中，会看到蜘蛛访问robots.txt文件失败的记录。
现在，就动手设置你的robots.txt文件吧！