错误博客( cuowu.com )发布于 2019-06-03 23:37:23

Robots协议

本文为360站长平台的Robots协议教程。

Robots协议简介

感谢您使用360搜索。为了实现对网站更好的收录,我们在此公布360搜索对Robots协议的支持和扩展说明,以便站长们了解,实现对网站内容更高效、智能的收录。

360搜索对Robots协议的支持

360搜索支持Robots协议的主要命令,以下为具体说明:

1. user-agent

360搜索各产品的爬虫user-agent为:

– 网页搜索 360Spider

– 图片搜索 360Spider-Image

– 视频搜索 360Spider-Video

2. Allow

站长可通过Allow命令指定建议收录的文件、目录 。

3. Disallow

站长可通过Disallow命令指定不建议收录的文件、目录。

360搜索对Robots协议的扩展

360搜索根据站长们的反馈,会陆续推出扩展的Robots协议命令。这些命令将能帮助站长们提高和360搜索爬虫沟通的效率,减少站长们维护Robots协议文件的技术成本。

360搜索首个扩展命令是:indexpage,站长们可以使用此命令告知360搜索哪些网页经常更新。360搜索会根据站长的指示以及自己的算法,智能调整爬虫抓取频率,实现对您网站新内容的更高频率抓取。

在命令中可以使用*、$等通配符。

示例:

使用通配符的

Indexpage: http://bbs.360safe.com/forum-*-1.html$

Indexpage: http://ent.sina.com.cn/*/roll.html

不用通配符的:

Indexpage: http://roll.tech.sina.com.cn/internet_all/index.shtml

Indexpage: http://roll.tech.sina.com.cn/it/index.shtml

Indexpage: http://roll.tech.sina.com.cn/tele/index.shtml

Indexpage: http://roll.tech.sina.com.cn/discovery/index.shtml

Indexpage: http://roll.tech.sina.com.cn/elec/index.shtml

对Robots协议的善意使用

Robots协议是一个搜索引擎和网站之间的善意协议,我们鼓励站长们也以善意的方式使用这一协议,尽量提供准确的信息,除非有充足理由,不使用Robots协议屏蔽某些特定搜索引擎爬虫。

360搜索愿和站长们一起,共建一个更健康、公平、透明的搜索引擎生态系统。

原文地址:http://www.so.com/help/help_3_2.html

相关阅读:关于robots.txt的二三事

【Robots简介】

robots.txt是一个协议,是搜索引擎访问网站时第一个要查看的文件,它存在的目的是告诉搜索引擎哪些页面能被抓取,哪些页面不能被抓取。

当spider访问一个站点时,会首先检查该站点根目录下是否存在robots.txt,如果存在,spider会按照文件中的内容来确定访问的范围;如果该文件不存在,所有的spider将能够访问网站上所有没有被口令保护的页面。

【具体介绍】

1、User-agent用于描述搜索引擎robot的名字。

在\robots.txt\文件中,如果有多条User-agent记录说明有多个robot会受到\robots.txt\的限制,对该文件来说,至少要有一条User-agent记录。如果该项的值设为*,则对任何robot均有效,在\robots.txt\文件中,\User-agent:*\这样的记录只能有一条。

360搜索支持user-agent命令,包括使用通配符的user-agent命令。

2、Disallow命令指定不建议收录的文件、目录。

Disallow值可以是一条完整的路径,也可以是路径的非空前缀,以Disallow项的值开头的URL不会被 robot访问。

3、Allow命令指定建议收录的文件、目录。

Allow值用于描述希望被访问的一组URL,它的值也可以是一条完整的路径,也可以是路径的前缀,以Allow项的值开头的URL 是允许robot访问的。

User-agent: * 这里的*代表所有的搜索引擎种类,*是一个通配符,*也可以替换成其他的蜘蛛名称,例如:Googlebot、yisouspider,表示屏蔽特定搜索引擎的蜘蛛

Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录

Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录

Disallow: /ABC/ 这里定义是禁止爬寻ABC目录下面的目录

Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以\.htm\为后缀的URL(包含子目录)。

Disallow: /*?* 禁止访问网站中所有包含问号(?) 的网址

Disallow: /.jpg$ 禁止抓取网页所有的.jpg格式的图片

Disallow:/ab/adc.html 禁止爬取ab文件夹下面的adc.html文件。

Allow: /cgi-bin/ 这里定义是允许爬寻cgi-bin目录下面的目录

Allow: /tmp 这里定义是允许爬寻tmp的整个目录

Allow: .htm$ 仅允许访问以\.htm\为后缀的URL。

Allow: .gif$ 允许抓取网页和gif格式图片

Sitemap: 网站地图,告诉爬虫这个页面是网站地图

【注意事项】

1、robots文件往往放置于根目录下;

2、当您的网站包含有不希望被搜索引擎收录的内容时,才需要使用robots.txt文件;

3、360搜索会对这样形式的robots进行全匹配url处理,所以在写robots的时候一定要小心,最好写尽量精确的url通配,不建议做泛匹配

User-agent: *

Disallow: *#*

或者

User-agent: *

Disallow: #

360搜索会把#认为是全部匹配,从而不抓取全部的url

类似的,如写成:Disallow: #.html,则会不抓取所有以html为后缀的url

【常见问题】

Robots相关的常见问题主要是因错误书写robots导致的网站不被360搜索引擎收录。所以建议站长,当网站出现不收录时,首先检查一下robtos文件是否正确。

Robots协议是一个搜索引擎和网站之间的善意协议,我们鼓励站长们也能善意使用这一协议,除非有充足合理的理由,否则我们一般都不建议使用Robots协议屏蔽360搜索及其他搜索引擎的蜘蛛。

其他任何不清楚的,还可以访问咱们的robots百科词条:

https://baike.so.com/doc/5339174-7435147.html

或参考360搜索针对robots的FAQ:

http://www.so.com/help/help_3_2.html

相关阅读原文地址:https://bbs.360.cn/thread-15062960-1-1.html


2020年错误博客亲测项目系列

错误教程( cuowu.com )专注网推培训、SEO培训、抖音培训和网赚培训,微信/电话:13722793092

关注微信公众号:第一时间获得错误博客最新教程,让我们一起成长!

公众号二维码