ChatGPT已对谷歌搜索构成了显著威胁，而ChatGPT搜索本应进一步巩固其在这一领域的胜利，同时也被视为Perplexity AI的有力竞争对手。然而，根据哥伦比亚大学Tow数字新闻中心最近发布的一项研究，ChatGPT搜索在为用户提供准确答案方面却遇到了困难。
在这项研究中，研究人员从三个不同的类别中各选取了20篇出版物：一类是与OpenAI合作并在ChatGPT搜索结果中使用其内容的出版物；另一类是涉及对OpenAI诉讼的出版物；还有一类是允许或阻止ChatGPT爬虫访问的无关出版商。研究人员从每家出版商中精心挑选了10篇文章，并提取了特定的引文。这些引文之所以被选中，是因为当它们被输入到谷歌或必应等搜索引擎中时，能够可靠地在前三个搜索结果中返回源文章。随后，研究人员评估了ChatGPT的新搜索工具是否准确地识别了这些引文的原始来源。
值得注意的是，其中有40条引言来自目前正在使用OpenAI的出版物，这些出版物明确禁止其内容被抓取。然而，这并未阻止ChatGPT搜索自信地生成答案，尽管这些答案可能并不准确。
研究发现：“总体而言，ChatGPT在153次查询中返回了部分或完全错误的答案，而它仅承认无法准确回答查询七次。”更令人担忧的是，只有在这七次输出中，ChatGPT才使用了诸如“似乎”、“有可能”或“可能”等限定词和短语，或者做出了“我找不到确切的文章”之类的陈述。在其他情况下，ChatGPT都表现得过于自信，即使答案不准确也毫不含糊。
ChatGPT搜索这种对真实性的漫不经心态度，不仅会损害其自身的声誉，还会对其引用的出版商的声誉造成负面影响。在研究期间的一项测试中，人工智能错误地将《时代》杂志的一篇报道归为了《奥兰多哨兵报》所写。在另一项测试中，ChatGPT搜索并没有直接链接到《纽约时报》的文章，而是链接到了一个完全复制了该新闻文章的第三方网站。
面对这些研究结果，OpenAI并不认同，他们辩称这是由于哥伦比亚大学的测试方法存在错误所导致的。OpenAI在回应《哥伦比亚新闻评论》时表示：“如果没有托尔中心隐瞒的数据和方法，错误归因问题就很难解决。这项研究是对我们产品的一次非典型测试。”尽管如此，该公司还是承诺将不断努力增强搜索结果的准确性和可靠性。