ChatGPT已经对 Google 搜索构成威胁,但 ChatGPT 搜索本应锁定胜利,并成为Perplexity AI的答案。但根据哥伦比亚托数字新闻中心最新发布的一项研究,ChatGPT 搜索在为用户的查询提供准确答案方面遇到了困难。
研究人员从三个类别中分别选择了 20 个出版物:与 OpenAI 合作在ChatGPT 搜索结果中使用其内容的出版物、参与针对 OpenAI 诉讼的出版物以及允许或阻止 ChatGPT 爬虫的非附属出版商。
研究人员写道:“我们从每个出版商那里挑选了 10 篇文章并提取了具体的引述。” “选择这些引文是因为,当输入到 Google 或 Bing 等搜索引擎时,它们可以可靠地在前三个结果中返回源文章。然后我们评估了 ChatGPT 的新搜索工具是否准确地识别了每条引言的原始来源。”
其中 40 条引文摘自当前使用 OpenAI 且不允许其内容被抄袭的出版物。但这并没有阻止 ChatGPT Search 自信地幻想出一个答案。
研究发现:“尽管 ChatGPT 只承认无法准确响应查询,但总共有 153 次返回了部分或完全错误的响应。” “只有在这七个输出中,聊天机器人才使用限定词和短语,例如‘似乎’、‘有可能’或‘可能’,或者诸如‘我找不到确切的文章’之类的陈述。”
ChatGPT Search 对说真话的傲慢态度不仅会损害其自身声誉,还会损害其引用的出版商的声誉。在研究期间的一项测试中,人工智能将《时代》杂志的一篇报道误认为是《奥兰多哨兵报》撰写的。在另一篇文章中,人工智能没有直接链接到《纽约时报》的一篇文章,而是链接到批量复制该新闻文章的第三方网站。
毫不奇怪,OpenAI 认为该研究的结果是由于哥伦比亚大学的测试错误造成的。
OpenAI 在辩护中对《 哥伦比亚新闻评论》表示:“如果没有 Tow 中心隐瞒的数据和方法,就很难解决错误归因问题,而这项研究代表了对我们产品的非典型测试。”
该公司承诺“不断增强搜索结果”。