错误博客( cuowu.com )发布于 2019-06-13 13:06:23

WordPress robots优化

robots.txt文件可以减少WordPress网站不希望被搜索引擎收录的文章,对网站优化起着非常好的效果。不过,如果设置错误,可能会导致收录索引异常,从而严重影响网站流量。

robots.txt是什么意思

robots.txt,是指包含robots协议规则的指令的TXT文件,一般放置于网站根目录下,以此来告知搜索引擎蜘蛛网站的抓取规则,主要作用为禁止搜索引擎蜘蛛抓取某些内容。

详细的教程参见《robots协议文件》。

WordPress robots优化

因为WordPress主题不同,URL链接结构不同,所以,robots优化所需的指令也略有不同。

User-agent: * 这里的*代表的所有的搜索引擎种类,*是一个通配符

Disallow: /feed/ 这里定义是禁止爬寻feed

Disallow: /*/feed 这里定义是禁止爬寻文章或栏目feed

Disallow: /trackback/ 这里定义是禁止爬寻trackback目录下面的目录

Disallow: /wp-admin/ 这里定义是禁止爬寻wp-admin目录下面的目录

Disallow: /wp-content/ 这里定义是禁止爬寻wp-content目录下面的目录

Disallow: /wp-includes/ 这里定义是禁止爬寻wp-includes目录下面的目录

Disallow: /xmlrpc.php 这里定义是禁止爬寻xmlrpc.php文件

Disallow: /wp- 这里定义是禁止爬寻wp-目录下面的内容

Allow: /wp-content/uploads/ 这里定义是禁止爬寻admin目录下面的目录

Sitemap: http://www.cuowu.com/sitemap.xml 这里定义是禁止爬寻admin目录下面的目录

将以上内容另存到文本文档里,命名为robots.txt上传到服务器的网站根目录下。与此同时,上面的协议应该增加上允许抓取WordPress的主题文件。

Allow: /wp-content/themes/cuowu/     这里的cuowu为本站的主题,换成你们的主题文件夹名字即可。

其他常见不想被收录的WordPress页面:

  • 分页页面被收录:URL中包含page;
  • feed和attachment等页面被收录:url中包含feed和attachment;
  • 其他页面:如URL中包含 /?r=  。

robots指令如下:

Disallow: /?r=*

Disallow: /page

Disallow: /*/page

Disallow: /attachment

Disallow: /*/attachment

解除网站robots被误封

错误君再次提醒大家,如果发现收录异常或关键词排名大量下降,那可能就是robots设置错误,则需要站长平台进行robots更新。

1)先进行抓取测试

查看是否是robots设置问题。

诊断百度蜘蛛是否正常抓取

2)抓取有问题

抓取问题,一般则证明robots设置有问题,那么就修改下robots文件,然后进行robots更新。

站长后台更新robots


2020年错误博客亲测项目系列

错误教程( cuowu.com )专注网推培训、SEO培训和网赚培训,微信/电话:13722793092

关注微信公众号:第一时间获得错误博客最新教程,让我们一起成长!

公众号二维码