Google推出了一个名为GoogleOther的新爬虫
这个爬虫类似于 Googlebot,但它将被 Google 团队内部使用,用于爬取公共网络上的信息。
Google 推出了 GoogleOther,这是一个全新的网络爬虫。
GoogleOther 将被 Google 的各个团队内部使用,用于爬取公共网络上的信息,Gary Illyes 在 LinkedIn 上表示。
它遵循与主要的 Googlebot 爬虫相同的指令和协议,并将为主要的 Googlebot 爬虫释放一些资源。
GoogleOther 已经被 Google 添加到其爬虫文档中:
“通用爬虫可能会被各种产品团队用于从网站中获取公开可访问的内容。例如,它可以用于内部研究和开发的一次性爬取。GoogleOther 爬虫始终遵守其用户代理令牌和全局用户代理(*)的 robots.txt 规则,并使用与 Googlebot 相同的 IP 范围。”
Google 爬虫(用户代理)概述
用户代理 (User Agent):用户代理标记和完整的用户代理字符串非常简单,只是“GoogleOther”。
但是经过爬虫识别网站监控,还有其它的 User-Agent,例如这样:Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.6099.224 Mobile Safari/537.36 (compatible; GoogleOther)
为什么有了新的爬虫?
这个新的爬虫最终将减轻 Googlebot 的一些负担,Illyes 解释道:
“随着我们优化 Googlebot 的爬取方式和内容,我们想要确保的一件事是,Googlebot 的爬取工作仅在内部用于构建搜索使用的索引。为此,我们添加了一个新的爬虫——GoogleOther,将替代 Googlebot 的其他工作,如研发爬取,以释放一些爬取能力供 Googlebot 使用。”
Google 将其用于内部目的。 这是否意味着它正在用于 Bard(一种未知的用途)?目前尚不清楚。
是否应该阻止 GoogleOther? 如果尝试阻止这个新的爬虫会发生什么尚不清楚。但我怀疑你应该密切关注它,如果它对你的服务器造成了太大的压力,你可以决定是否允许或拒绝该新 Googlebot 访问你的站点。
为什么我们关心。 许多人在他们的网站和日志文件中检查爬取活动和爬虫活动。当你看到这个新的 GoogleOther 爬虫时,不要感到惊慌。它是一个真正的 Googlebot。
-
谷歌今年将彻底终结Cookie 互联网广告行业最大变革!
据多家媒体报道,谷歌计划到今年年底,禁止所有Chrome浏览器用户的第三方Cookie,有媒体评论道这将是互联网广告行业有史以来最大的变化之一。从美国东部时间本周四开始,谷歌将对1%的Chrome浏览
-
Google因在收集位置数据方面误导澳大利亚用户而被罚款6000万美元
据英国《卫报》报道,Google已经同意支付6000万美元的罚款,这是在与澳大利亚竞争监督机构就收集个人位置数据误导用户的长期法庭斗争中产生的。去年4月,澳大利亚联邦法院发现Google违反了消费者法
-
ChromeOS更新将引入原生PDF编辑器 为Photos带来电影编辑器
ChromeOS 在即将到来的更新,引入了内置的 PDF 编辑器功能,并为 Google Photos 带来了全新的电影编辑器等等。在教育和企业领域有很多场景都涉及到对 PDF 文件的编辑,Googl
关注公众号:拾黑(shiheibook)了解更多
友情链接:
关注数据与安全,洞悉企业级服务市场:https://www.ijiandao.com/
安全、绿色软件下载就上极速下载站:https://www.yaorank.com/