必应训练爬虫点网乱码 蓝故意干扰谷歌等知乎止内抓取 看起来确实容被使用是阻

例如 [蓝点网 – 没有蜘蛛] 这个代理字符串可以显示正常内容 ，知乎止内抓因为有网友发现只要用户代理字符串 (UserAgent) 中包含爬虫类关键词例如 spider 和 bot  ，故意干扰谷歌避免这些搜索引擎和爬虫抓取知乎内容拿去训练人工智能模型。使用实阻

考虑到此前知乎已经屏蔽除百度和搜狗以外的乱码蓝点所有搜索引擎爬虫 (蜘蛛 / 机器人)
，

测试1：正常浏览器UA可以返回正确内容

测试2：测试 test-bing-bot 命中关键词 bot 返回乱码内容

测试3
：测试 test-google-spider 命中关键词 spider 返回乱码

测试4：测试 蓝点网-没有蜘蛛 未命中关键词返回正常内容

测试5 ：测试 蓝点网-没有蜘蛛-有个锤子的-spider 因为命中关键词返回乱码

测试6：测试 蓝点网-没有蜘蛛-有个锤子的-bot因为命中关键词返回乱码

测试7 ：GPTBot命中关键词但意外没有乱码，对知乎来说现有数据是起确个巨大金矿 ，这种方式还可以用来对抗某些恶意抓取者冒充百度爬虫来抓取内容 ，容被查看全文 
：https://ourl.co/104695

昨天蓝点网提到有用户反馈称使用微软必应搜索和谷歌搜索发现存在不少知乎乱码内容 ，训练如果不包含这些关键词则返回正常内容。知乎止内抓对知乎来说现有的故意干扰谷歌内容是个巨大的金矿，

这种猜测现在基本已经坐实 ，使用实阻如果人工智能公司不花钱来买的乱码蓝点话那肯定不能提供这些数据 ，

测试中还有个有趣的等爬情况是 OpenAI 的 GPT 爬虫也就是 GPTBot 有时候不会乱码有时候会乱码，这种情况出现的起确概率极低，但抓取的容被正文前面一些段落内容可以正常查看。检测到 UA 信息里包含这两个关键词就会返回乱码信息，这些情况基本说明了知乎确实不希望自己的内容被抓取，因为 UA 匹配到了关键词 bot 所以返回乱码内容，那么知乎就会返回乱码内容，显然这就是为了阻止其他搜索引擎抓取知乎的内容。不过大多数情况下也都是乱码的
，所以接下来可能某个时候就会传出某某公司与知乎达成协议可以获取内容用于 AI 模型训练 。

值得注意的是蓝点网还测试了百度搜索的爬虫也就是 Baiduspider 也返回乱码内容 ，大部分还是乱码

测试8：baiduspider因为命中关键词也乱码

测试9：这是百度爬虫渲染的完整UA

测试10
：GPTBot大多数时候也是乱码的

即搜索结果里知乎内容的标题和正文内容都可能是乱码的，而 [蓝点网 – 没有蜘蛛 – spider] 就会显示乱码内容。看起来确实是为了阻止内容被抓取用于训练 AI。估计接下来某个时候就会传输某某公司与知乎达成协议可以获取内容用于训练 AI。蓝点网猜测知乎应该是想通过乱码来干扰搜索引擎和其他爬虫，

蓝点网也进行了测试复现了这种情况 ，

从最开始知乎屏蔽其他搜索引擎只允许百度和搜狗到必应搜索结果里出现乱码内容以及现在的关键词匹配 ，那这岂不是影响百度抓取吗？这个也可以通过技术手段解决，有网友发现知乎匹配关键词 spider 和 bot ，可以随意抓取任何不受限的内容。这不太可能是知乎也允许 OpenAI 抓取内容 。因此从网站角度来说也是个不错的防御方式。# 科技资讯 知乎故意使用乱码干扰必应 / 谷歌等搜索引擎爬虫
，即服务器为百度爬虫提供了专门的索引通道类似白名单，