新宝6注册《Q3249-1383》搜索引擎收录网站页面是需要通过蜘蛛访问网站，并对页面内容进行抓取。想要详细了解，新宝6注册 就需要知道什么是robots文件。

　　一、 什么是robots文件

　　搜索引擎蜘蛛到网站访问的第一个文件就是robots.txt。请注意，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。

　　为什么要屏蔽不希望被收录的内容那?因为，新宝6下载 蜘蛛带到一个网站的资源是有限的。

　　如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。为了避免站长在设置robots文件时出现错误，新宝6代理 现做简要说明，帮助站长正确设置robots。

　　二、 robots文件可包含哪些命令

robots文件

　　1、User-agent:该项的值用于描述搜索引擎robot的名字。例如：

　　User-agent: Baiduspider 允许baidu蜘蛛访问

　　User-agent: * 允许所有蜘蛛访问

　　2、Disallow:该项的值用于描述不希望被访问的一组URL。

　　例如：Disallow: /admin/意思是禁止访问admin目录。

　　3、Allow:该项的值用于描述希望被访问的一组URL，意思与Disallow正好相反。

　　4、Sitemap:网站管理员通知蜘蛛他们网站上有哪些可供抓取的网页。