当前位置:首页>站长教程>“robots文件”常见问题解析

“robots文件”常见问题解析

一、了解robots文件

 

1、Q:什么是robots文件?

A:robots文件用于指定spider在网站上的抓取范围,在文件中可以声明网站中不想被搜索引擎抓取或指定被抓取的资源

文章源自站长圈 - https://www.zhanquan.net/758.html

 

2、Q:.txt文件怎么写?

文件包含一条或更多的记录,这些记录通过空行分开(以CR,CR/NL, or NL作为结束符),每一条记录的格式如下所示:

文章源自站长圈 - https://www.zhanquan.net/758.html

  

文章源自站长圈 - https://www.zhanquan.net/758.html
":"

在该文件中可以使用#进行注解,具体使用方法和UNIX中的惯例一样。该文件中的记录通常以一行或多行User-agent开始,后面加上若干Disallow和Allow行,详细情况如下:

文章源自站长圈 - https://www.zhanquan.net/758.html

User-agent:该项的值用于描述搜索引擎robot的名字。

文章源自站长圈 - https://www.zhanquan.net/758.html

Disallow:该项的值用于描述不希望被访问的一组URL,这个值可以是一条完整的路径,也可以是路径的非空前缀,以Disallow项的值开头的URL不会被 robot访问。

文章源自站长圈 - https://www.zhanquan.net/758.html

Allow:该项的值用于描述希望被访问的一组URL,与Disallow项相似,这个值可以是一条完整的路径,也可以是路径的前缀,以Allow项的值开头的URL 是允许robot访问的。

文章源自站长圈 - https://www.zhanquan.net/758.html

如果"/robots.txt"不存在或者为空文件,则对于所有的搜索引擎robot,该网站都是开放的。

文章源自站长圈 - https://www.zhanquan.net/758.html

说明:百度会严格遵守robots的相关协议,请注意区分您不想被抓取或收录的目录的大小写,百度会对robots中所写的文件和您不想被抓取和收录的目录做精确匹配,否则robots协议无法生效。

文章源自站长圈 - https://www.zhanquan.net/758.html

robots.txt文件举例:

文章源自站长圈 - https://www.zhanquan.net/758.html

“robots文件”常见问题解析插图

文章源自站长圈 - https://www.zhanquan.net/758.html

“robots文件”常见问题解析插图1

文章源自站长圈 - https://www.zhanquan.net/758.html

3、Q:robots.txt文件放在哪里?

Arobots.txt文件应该放置在网站根目录下网站对应robots文件的URL:

文章源自站长圈 - https://www.zhanquan.net/758.html

“robots文件”常见问题解析插图2

文章源自站长圈 - https://www.zhanquan.net/758.html

详情可参考《什么是robots文件》

文章源自站长圈 - https://www.zhanquan.net/758.html
 
 

二、如何使用【Robots】工具

 

1、Q:【Robots】工具的作用?

A:站长可以通过搜索资源平台【Robots】工具创建、校验、更新robots.txt文件,或查看网站robots.txt文件是否成功生效的情况。

文章源自站长圈 - https://www.zhanquan.net/758.html

 

2、Q:使用【Robots】工具的注意事项?

A:【Robots】工具目前支持48k的文件内容检测。同时请保证网站的robots.txt文件不要过大,目录最长不超过250个字符。

文章源自站长圈 - https://www.zhanquan.net/758.html

robots文件更新和提交后,百度蜘蛛不是立即调整停止/开放抓取,搜索引擎需要逐渐完成robots.txt的更新。

文章源自站长圈 - https://www.zhanquan.net/758.html

 

3、Q:robots.txt中设置了禁止百度收录网站的内容,为何还出现在百度搜索结果中?

A:可能存在以下问题:

文章源自站长圈 - https://www.zhanquan.net/758.html

(1)robots文件不能够有效访问。站长可以在资源平台-【Robots】工具查看robots文件访问情况

文章源自站长圈 - https://www.zhanquan.net/758.html

(2)文件暂未生效。robots文件在结果中生效一般需要1-2周可以关注

文章源自站长圈 - https://www.zhanquan.net/758.html

 

文章源自站长圈 - https://www.zhanquan.net/758.html

4、【Robots】工具校验提示解读

“robots文件”常见问题解析插图3

文章源自站长圈 - https://www.zhanquan.net/758.html

A:可能出现以下情况:

文章源自站长圈 - https://www.zhanquan.net/758.html

显示错误码404,robots文件可能无法被访问

文章源自站长圈 - https://www.zhanquan.net/758.html

显示错误码301,robots文件可能存在跳转。

文章源自站长圈 - https://www.zhanquan.net/758.html

显示错误码500,robots页面访问失败。

文章源自站长圈 - https://www.zhanquan.net/758.html

以上情况时,建议自查robots文件情况针对性优化后,重新提交校验。

文章源自站长圈 - https://www.zhanquan.net/758.html

 

5Q:robots文件误封禁,如何处理?

A:(1)修改robots文件,封禁改为允许

文章源自站长圈 - https://www.zhanquan.net/758.html

(2)搜索资源平台检测并更新robots文件,若显示抓取失败可以多尝试点击几次,触发蜘蛛抓取站点。

文章源自站长圈 - https://www.zhanquan.net/758.html

(3)关注【抓取频次】数据情况可以适当调整抓取频次

文章源自站长圈 - https://www.zhanquan.net/758.html

4可以使用【链接提交主动提交相关资源链接

文章源自站长圈 - https://www.zhanquan.net/758.html
文章源自站长圈 - https://www.zhanquan.net/758.html
文章链接:https://www.zhanquan.net/758.html
文章标题:“robots文件”常见问题解析
文章版权:站长圈 所发布的内容,部分为原创文章,转载请注明来源,网络转载文章如有侵权请联系我们!
本文最后更新发布于2022年11月22日 21时43分12秒,某些文章具有时效性,若有错误或已失效,请在下方留言或联系:2869756757@qq.com
声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。
站长教程网站

网站被黑常见问题解析

2022-11-22 20:54:29

站长教程网站

如何给网站起名并快速通过网站备案审核

2022-11-26 16:47:48

个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索