新宝6代理《Q3249-1383》Robots 协议是蜘蛛拜访网站的开关，决议蜘蛛能够抓取哪些内容，新宝6招商 不能够抓取哪些内容。卓趣科技quhr.cn从网站办理者的视点，咱们经过 robots 的书写，能够决议让蜘蛛抓取哪些文件，而不抓取哪些文件，然后更有利于网站的优化。
目录：
1.robots协议剖析、书写规矩和书写办法
2.robots协议是什么？它有什么用？
常识扩展：Nofollow 与 Disallow 的差异
1.robots协议剖析、新宝6注册 书写规矩和书写办法
Robots 是指网站与搜索引擎之间的协议1.Robots 是存放在网站根目录
3.robots.txt 文件名改的是不行修2.Robots.txt 是放在网站根目录4.Robots 也是百度蜘蛛抓取站点优先级最高的
2、robots 方式及界说：User-agent: Baiduspider （界说一切的百度蜘蛛）Disallow: /User-agent： 界说一切的蜘蛛Baiduspider： 百度蜘蛛Googlebot： 谷歌机器人MSNBot： msn 机器Baiduspider-image：百度图片Disallow: 界说那些文件能够抓取，那些文件不能够抓取
比方说下面这个是 discuz 论坛的都是不答应蜘蛛抓取User-agent: *Disallow: /api/Disallow: /data/Disallow: /source/Disallow: /install/Disallow: /template/Disallow: /config/Disallow: /uc_client/Disallow: /uc_server/Disallow: /static/Disallow: /admin.phpDisallow: /search.phpDisallow: /member.phpDisallow: /api.phpDisallow: /misc.phpDisallow: /connect.phpDisallow: /forum.php?mod=redirect*Disallow: /forum.php?mod=post*Disallow: /home.php?mod=spacecp*Disallow: /userapp.php?mod=app&*Disallow: /*?mod=misc*Disallow: /*?mod=attachment*Disallow: /*mobile=yes*
//不想站点文件被抓取情况下，那么依照这个格局后边添加自己所需求的文件即可
当然，也能够用通配符*制止某一类页面被抓取。Allow:答应
//答应搜索引擎搜抓取文件格局
小结：网站优化有必要要有 robots，robots 格局差异巨细的，差异巨细写格局为：Disallow 首字母有必要是大写的，在本地新建记事本修改时需求留意的是不要写成”disallow” 要点最初是大写字母 D
2. robots协议是什么？它有什么用？
Robots 是站点与 spider 交流的重要途径，站点经过 robots 文件声明该网站中不想被搜索引擎录入的部分或许指定搜索引擎只录入特定的部分。请留意，仅当您的网站包括不期望被搜索引擎录入的内容时，才需求运用 robots.txt 文件。关于站长而言，出于对 SEO 的要求，经过需求经过书写 robots 协议来约束蜘蛛抓取某些不参加排名或不利于排名的文件。在某些情况下，假如不约束蜘蛛抓取特定的文件，有或许导致网站保密信息的走漏。曾经有一个高校网站由于没有设置好 robots 协议，导致学生信息被蜘蛛抓取而发布到网上。假如是商业性网站，会员信息被揭露被网站结果是十分严峻的。由于咱们站长在办理网站的过程中，要留意 robots 协议的书写。
3.常识扩展：Nofollow 与 Disallow 的差异
Robots 是站点与 spider 交流的关口，蜘蛛在拜访网站之前，首先要找到 robots.txt 协议，经过阅览 robots 决议抓取哪些内容，不抓取哪些内容。当然，这个协议需求搜索引擎各方恪守才行，新宝6代理 不然写得再好的 robots.txt 也是白瞎。
disallow 彻底制止某个页面被抓取，也就是不会被录入和传递权重。而 nofollow 是某个链接的特点，一个页面假如有多个链接导入，只需有一个没有带 nofollow，那么它仍然会被传递权重。不过一般咱们所看到的 robots 里边都是 disallow，假如咱们要制止百度抓取，那么就 user-agent：baiduspider 这样，
假如制止谷歌抓取，那么就 user-agent：googlebot。而假如要制止所以搜索引擎抓取 User-agent：* Disallow：/当然，一般网站内容咱们都期望抓取，这样能够经过文字标题的长尾关键词引进许多流量。而录入关于网站排名来讲，现在没有什么有力的依据阐明这一点。比方淘宝，百度就只录入了一个主页，可是流量和排名我们能够自己看看。而假如你的网站内容是遭到版权维护，某些产品介绍，或许是新闻类，可是在其他网站转载过来的，那么即便录入了，假如重复页面太多，对自己的站点仍然欠好，所以也能够制止抓取。