必应搜索宣布即将升级bingbot爬虫,有桌面和移动两个版本

bingbot是大家熟知的搜索引擎的爬虫,近期必应官方宣布,将在 2022 年秋季之前停止使用旧版本bingbot。取而代之的将是采用新版浏览器网页渲染引擎的新爬虫,分为桌面和移动两个版本。

必应搜索旧版爬虫:

"Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"

注:旧版本不区分桌面和移动设备。

必应搜索桌面版爬虫(新):

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36

必应搜索移动版爬虫(新):

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

新版的bingbot爬虫定期将网页渲染引擎更新到最新的 Microsoft Edge 稳定版本,在上面的字符串中,“ W.X.Y.Z ”将替换为正在使用的最新 Microsoft Edge 版本,例如:“100.0.4896.127”。 

这也就意味着,如果网页不兼容 Microsoft Edge 的话,可能不会被必应搜索收录。

新版本切换后,如果发现网站未被正常收录或已收录网页出现大幅减少等问题,可以与必应的官方团队联系并反馈。

此次必应更新爬虫,对于站长来说,无需做任何修改。也没必要更新robots.txt,因为新版本在 robots.txt 中依然沿用bingbot名称,并遵守相关规则。

截止到发文,站长帮暂未监测到新版的必应爬虫,依然是旧版爬虫在爬网。可能新版爬虫还未正式放出。

原文地址:https://www.zhanzhangb.com/3247.html

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。
资讯

2020 年 DDoS 攻击数突破 1000 万,创历史新高

2024-1-23 0:44:38

资讯

Google称AI写作的内容违反了网站管理员指南

2024-1-23 0:44:40

个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索