AI搜索风靡，但高达60%引用出错！付费版甚至更糟

AI搜索工具正席卷美国，近四分之一的人已抛弃传统搜索引擎。然而，最新研究揭露，这些工具在引用新闻时错误率高达60%，令人大跌眼镜。

近四分之一的美国人表示他们已经用AI取代了传统搜索引擎。

最新研究发现，AI搜索工具在回答问题时，常常出现自信却错误百出的情况。

研究对比了8款具有实时搜索功能的AI工具，发现它们在引用新闻方面表现不佳，出错比例高达60%。

研究人员从每个新闻出版商随机挑选10篇文章，手动选取内容。

向聊天机器人提供这些摘录的内容后，要求它们识别相应文章的标题、原始出版商、发布日期和网址。

实验共进行了1600次提问（20个出版商×10篇文章×8个AI搜索工具），然后根据正确的文章、出版商和网址这三个属性，对AI的回复进行评估。

结果令人失望，超过60%的回复中都存在错误。不同平台差异明显，Perplexity的错误率为37%，Grok 3更是高达94%！

自信地给出错误答案

AI搜索工具往往以一种自信满满的语气给出答案，很少使用「似乎」「有可能」「也许」等词语，也极少承认存在知识缺口。

例如，ChatGPT在200次回复中错误识别了134篇文章，仅有15次表现出缺乏自信，并且从未拒绝提供答案。

除了Copilot之外，所有工具都更倾向于给出错误答案，而不是承认局限性。

令人惊讶的是，付费模型的表现似乎更糟糕。

Grok-3 Search（每月40美元）和Perplexity Pro（每月20美元）比免费版本更频繁地给出自信但错误的答案。

这些付费版本应凭借更高的成本和计算优势提供更可靠的服务，但实际测试结果却恰恰相反。虽然它们回答了更多问题，但错误率也更高。

付费用户期望得到更优质、准确的服务，然而这种权威的语气和错误答案，无疑给用户带来了极大的困扰。

爬虫乱象：侵犯出版商权益

ChatGPT、Perplexity及Pro版本、Copilot和Gemini公开了各自爬虫程序的名称，给了出版商屏蔽的权利，Grok 2和Grok 3尚未公布。

它们应能正确查询其爬虫程序可访问的网站，并拒绝已屏蔽其内容访问权限的网站。

然而，实际情况并非如此。

ChatGPT、Perplexity和Perplexity Pro时而错误或拒绝回答允许其访问的网站，时而又正确回答那些因爬虫受限而无法获取的信息。

Perplexity Pro是其中的「佼佼者」，在它无权访问的90篇文章中，竟然正确识别出了近三分之一的内容。

尽管《国家地理》已禁止Perplexity的爬虫程序访问，它仍正确识别出了10篇付费文章的摘录。

《国家地理》与Perplexity没有正式合作关系，Perplexity可能通过其他途径获取了受限内容，如可公开访问的出版物中的引用。

这不禁让人怀疑，Perplexity所谓的「尊重robots.txt指令」只是一句空谈。

开发者Robb Knight和《连线》杂志去年就报道过它无视「机器人排除协议」的证据。

《新闻公报》本月指出，尽管《纽约时报》屏蔽了Perplexity的爬虫，1月它依然是被引用最多的新闻网站，访问量高达146,000次。

虽然ChatGPT回答的屏蔽其爬虫的文章问题较少，但总体上它更倾向于给出错误答案，而非不回答。

在公开了爬虫程序名称的聊天机器人中，Copilot是唯一没有被数据集中的任何一家出版商屏蔽的。

理论上能访问所有查询内容的Copilot，却有着最高的拒答率。

Copilot拒绝回答问题的示例

谷歌给了出版商屏蔽Gemini爬虫而不影响谷歌搜索的权利，20家出版商里有10家允许其访问。

但在测试中，Gemini仅有一次给出了完全正确的回复。

在面对选举和政治相关内容时，即使允许访问，它也选择不回答。

Gemini拒绝回答问题的示例

尽管「机器人排除协议」不具有法律约束力，但它是被广泛接受的用于明确网站可爬取范围的标准。

AI搜索工具无视这一协议，无疑是对出版商权益的公然侵犯。

出版商有权决定自己的内容是否被用于AI搜索或成为模型的训练数据。

他们或许希望通过内容盈利，如设置付费墙，或者担心其作品在AI生成的摘要中被歪曲，影响声誉。

新闻媒体联盟主席Danielle Coffey去年6月忧心忡忡地指出：「若无法阻止大规模的数据爬取，我们无法将有价值的内容变现，也无法支付记者的薪酬。这将对行业造成严重损害。」

经常无法链接回原始来源

出版商的可信度常被用来提升AI搜索的可信赖度。

根据路透社的报道，鼓励用户从X平台获取实时更新的Grok，绝大多数时候引用的也是传统新闻机构的内容。

当AI搜索工具引用BBC这样的来源时，用户更有可能相信其给出的答案，即使这个答案是错误的。

但当聊天机器人给出错误答案时，它们损害的不只是自身，还有出版商的声誉。

AI搜索错误引用文章的情况相当普遍。就算聊天机器人正确识别了文章，也常常无法正确链接到原始来源。

一方面，期望获得曝光度的新闻发布者，错失了提升流量和影响力的机会；而那些不希望其内容被展示的出版商，却出现在搜索结果中。

AI搜索工具常常引导用户访问文章的非官方版本而不是原始来源。

例如，尽管Perplexity Pro与《德克萨斯论坛报》有合作关系，但在10次查询中，有3次引用了非官方版本。

这无疑剥夺了原始来源的潜在流量，破坏了新闻传播的正常生态。

对于不希望内容被抓取的新闻发布者来说，未经授权的副本和非官方版本更是让他们头疼不已。

《今日美国》已经屏蔽了ChatGPT的爬虫程序，但ChatGPT仍能引用雅虎新闻重发的版本，这让出版商在内容管理上极度被动。

与此同时，生成式搜索工具捏造网址的倾向，给核实信息来源造成极大的困扰。

Gemini和Grok 3给出的回复中，超过一半引用了编造的或无效的网址，严重影响了用户体验。Grok 3测试的200个提示中，有154个引用的网址指向了错误页面。

尽管目前在总推荐流量中的占比不大，在过去一年里，来自AI搜索工具的流量有了一定程度的增长。

《新闻公报》的Bron Maher表示，「AI搜索工具让新闻发布者陷入了困境，他们花费高昂成本制作能在ChatGPT等平台上展示的信息，却无法通过流量和广告获得收益。」

长此以往，新闻行业将会受到影响，最终导致信息质量和多样性下降。

授权协议不意味着准确引用

不少AI公司都在积极和新闻出版商套近乎。

今年2月，OpenAI和Schibsted和Guardian达成了第十六和第十七份新闻内容授权协议。

Perplexity也不甘落后，搞了个「出版商计划」，打算和出版商一起分收入。

研究人员在2月做了个测试，发现情况不太妙。

拿《时代周刊》来说，它和OpenAI、Perplexity都有合作。

按道理，它们在识别《时代周刊》的内容时，应该表现不错吧？

可实际上，没有一个模型能做到100%准确识别。

《旧金山纪事报》允许OpenAI的搜索爬虫访问，可在10篇文章摘录里，ChatGPT只正确识别出了1篇，还连网址都没给出来。

《时代周刊》的Howard认为，「今天是这些产品最糟糕的时刻」，以后肯定会越来越好。

参考资料：

https://arstechnica.com/ai/2025/03/ai-search-engines-give-incorrect-answers-at-an-alarming-60-rate-study-says/

https://www.cjr.org/tow_center/we-compared-eight-ai-search-engines-theyre-all-bad-at-citing-news.php

文章来自于“新智元”，作者“英智”。