当前位置:首页>seo>robots.txt:如何让搜索引擎不要抓取没用的页面

robots.txt:如何让搜索引擎不要抓取没用的页面

robots.txt:如何让搜索引擎不要抓取没用的页面插图

| 什么是robots文件?

Robots是站点与spider沟通的重要渠道,是网站与搜索引擎爬虫之间的协议,告知哪些可抓取哪些不允许。


| 为什么要做robots文件?

网站上总有一些页面是禁止蜘蛛抓取的。例如:搜索页面、筛选页面、后台登录地址等。


| 如何制作 robots文件?

编写robots.txt文件并上传到网站根目录。

| 制作 robots.txt注意事项

所有搜索引擎则用星号表示

Allow(允许)和Disallow(不允许)优先级

至少屏蔽一个,可以屏蔽:搜索结果页面/404页面

记得将sitemap放到Robots文件中

可以陆续放入更多,而不是一次性决定所有

网站后台地址/图片地址/下载文件地址/错误链接

本文的视频课程地址:https://ke.seowhy.com/play/9492.html

阅读本文的人还可以阅读:

什么是robots文件?设置搜索robots协议的后果

robots.txt文件用法举例,百度官方资料截图版

robots.txt概念和10条注意事项

Robots.txt 文件应放在哪里?

如何使用Robots避免蜘蛛黑洞?

原文地址:https://www.seowhy.com/a/1980.html

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。
seoseo教程

友情链接交换规则

2023-1-10 12:02:17

seoseo教程

栏目页面标题优化

2023-1-10 12:02:19

个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索