错误博客( cuowu.com )发布于 2019-06-13 13:06:23
WordPress robots优化
robots.txt文件可以减少WordPress网站不希望被搜索引擎收录的文章,对网站优化起着非常好的效果。不过,如果设置错误,可能会导致收录索引异常,从而严重影响网站流量。
robots.txt是什么意思
robots.txt,是指包含robots协议规则的指令的TXT文件,一般放置于网站根目录下,以此来告知搜索引擎蜘蛛网站的抓取规则,主要作用为禁止搜索引擎蜘蛛抓取某些内容。
详细的教程参见《robots协议文件》。
WordPress robots优化
因为WordPress主题不同,URL链接结构不同,所以,robots优化所需的指令也略有不同。
User-agent: * 这里的*代表的所有的搜索引擎种类,*是一个通配符
Disallow: /feed/ 这里定义是禁止爬寻feed
Disallow: /*/feed 这里定义是禁止爬寻文章或栏目feed
Disallow: /trackback/ 这里定义是禁止爬寻trackback目录下面的目录
Disallow: /wp-admin/ 这里定义是禁止爬寻wp-admin目录下面的目录
Disallow: /wp-content/ 这里定义是禁止爬寻wp-content目录下面的目录
Disallow: /wp-includes/ 这里定义是禁止爬寻wp-includes目录下面的目录
Disallow: /xmlrpc.php 这里定义是禁止爬寻xmlrpc.php文件
Disallow: /wp- 这里定义是禁止爬寻wp-目录下面的内容
Allow: /wp-content/uploads/ 这里定义是禁止爬寻admin目录下面的目录
Sitemap: http://www.cuowu.com/sitemap.xml 这里定义是禁止爬寻admin目录下面的目录
将以上内容另存到文本文档里,命名为robots.txt上传到服务器的网站根目录下。与此同时,上面的协议应该增加上允许抓取WordPress的主题文件。
Allow: /wp-content/themes/cuowu/ 这里的cuowu为本站的主题,换成你们的主题文件夹名字即可。
其他常见不想被收录的WordPress页面:
- 分页页面被收录:URL中包含page;
- feed和attachment等页面被收录:url中包含feed和attachment;
- 其他页面:如URL中包含 /?r= 。
robots指令如下:
Disallow: /?r=*
Disallow: /page
Disallow: /*/page
Disallow: /attachment
Disallow: /*/attachment
解除网站robots被误封
错误君再次提醒大家,如果发现收录异常或关键词排名大量下降,那可能就是robots设置错误,则需要站长平台进行robots更新。
1)先进行抓取测试
查看是否是robots设置问题。
2)抓取有问题
抓取问题,一般则证明robots设置有问题,那么就修改下robots文件,然后进行robots更新。
2020年错误博客亲测项目系列
- 亲测看新闻视频赚钱项目 - 长期稳定
- 亲测币圈项目 - 零撸暴利

发表评论