robots.txt文件可以减少WordPress网站不希望被搜索引擎收录的文章，对网站优化起着非常好的效果。不过，如果设置错误，可能会导致收录索引异常，从而严重影响网站流量。

robots.txt是什么意思

robots.txt，是指包含robots协议规则的指令的TXT文件，一般放置于网站根目录下，以此来告知搜索引擎蜘蛛网站的抓取规则，主要作用为禁止搜索引擎蜘蛛抓取某些内容。

详细的教程参见《robots协议文件》。

WordPress robots优化

因为WordPress主题不同，URL链接结构不同，所以，robots优化所需的指令也略有不同。

User-agent: * 这里的*代表的所有的搜索引擎种类，*是一个通配符

Disallow: /feed/ 这里定义是禁止爬寻feed

Disallow: /*/feed 这里定义是禁止爬寻文章或栏目feed

Disallow: /trackback/ 这里定义是禁止爬寻trackback目录下面的目录

Disallow: /wp-admin/ 这里定义是禁止爬寻wp-admin目录下面的目录

Disallow: /wp-content/ 这里定义是禁止爬寻wp-content目录下面的目录

Disallow: /wp-includes/ 这里定义是禁止爬寻wp-includes目录下面的目录

Disallow: /xmlrpc.php 这里定义是禁止爬寻xmlrpc.php文件

Disallow: /wp- 这里定义是禁止爬寻wp-目录下面的内容

Allow: /wp-content/uploads/ 这里定义是禁止爬寻admin目录下面的目录

Sitemap: http://www.cuowu.com/sitemap.xml 这里定义是禁止爬寻admin目录下面的目录

将以上内容另存到文本文档里，命名为robots.txt上传到服务器的网站根目录下。与此同时，上面的协议应该增加上允许抓取WordPress的主题文件。

Allow: /wp-content/themes/cuowu/     这里的cuowu为本站的主题，换成你们的主题文件夹名字即可。

其他常见不想被收录的WordPress页面：

• 分页页面被收录：URL中包含page；
• feed和attachment等页面被收录：url中包含feed和attachment；
• 其他页面：如URL中包含 /?r=  。

robots指令如下：

Disallow: /?r=*

Disallow: /page

Disallow: /*/page

Disallow: /attachment

Disallow: /*/attachment

解除网站robots被误封

错误君再次提醒大家，如果发现收录异常或关键词排名大量下降，那可能就是robots设置错误，则需要站长平台进行robots更新。

1）先进行抓取测试

查看是否是robots设置问题。

2）抓取有问题

抓取问题，一般则证明robots设置有问题，那么就修改下robots文件，然后进行robots更新。

随机文章