Perplexity、ChatGPT Search、秘塔 AI 搜索横评:答案都像真的,证据却不是一回事

三款 AI 搜索面对同一个问题,都给出了结构完整、语气确定的答案。

第一款附上十几条链接,看起来资料最丰富;第二款把前因后果讲得最顺,几乎可以直接复制进报告;第三款则整理成一份层次清晰的中文研究简报。

但逐条点开引用后,问题出现了:

  • 有的数字来自官方报告;
  • 有的只是媒体转述;
  • 有的来源确实权威,却没有直接支持答案中的结论;
  • 还有的链接里,根本找不到 AI 所引用的那句话。

这正是 AI 搜索最容易被忽视的风险:它不一定没有答案,而是可能给出一个“非常像已经核实过”的答案。

本文选择 Perplexity、ChatGPT Search、秘塔 AI 搜索进行横向比较。三者分别代表引用驱动型搜索、通用模型融合搜索,以及中文搜索与报告生成。

我们不比谁先吐出答案,也不以文章长度论英雄,只追问三个问题:

1. 来源找得全不全?

2. 引用能不能支撑结论?

3. 遇到冲突时,它敢不敢说“暂时无法确认”?

AI 搜索没有全场景冠军。真正决定深度检索质量的,不是答案写得多像报告,而是证据能否追溯、事实能否复核,以及工具有没有把“事实”和“推断”分开。

先说测试方法:怎样避免“凭感觉选冠军”

AI 搜索评测很容易失真。

有人用免费版对比付费深度研究模式,有人让一款工具搜索中文、另一款搜索英文,还有人直接把“引用数量多”当成“答案可靠”。

为了尽量减少这些干扰,三款工具应使用相同提示词、相近时间窗口,并在新对话中完成任务。关闭或弱化历史上下文与个性化影响,不把打字速度、界面动画作为核心评价指标。

测试环境记录表

由于 AI 搜索产品会持续更新,版本、模式、耗时和引用数量必须与截图一起留档。如果没有原始记录,就不应该为了让评测显得“专业”而补上一组伪精确数字。

| 产品 | 测试版本 | 登录状态 | 搜索模式 | 模型 | 耗时与引用数 | 语言与上下文 | | Perplexity | 测试时公开网页版本 | 登录状态需记录 | 标准联网搜索,不混用更高阶研究模式 | 以界面实际显示为准 | 逐题记录,不取平均数制造结论 | 中文提问,新对话 | | ChatGPT Search | 测试时公开网页版本 | 登录状态需记录 | 启用联网搜索 | 以界面实际显示为准 | 逐题记录,并保留过程截图 | 中文提问,新对话 | | 秘塔 AI 搜索 | 测试时公开网页版本 | 登录状态需记录 | 使用对应联网搜索模式 | 以界面实际显示为准 | 逐题记录来源数量与生成过程 | 中文提问,新对话 |

正式发布截图时,还应标注测试日期,并对账号信息打码。不要只展示表现最好的答案,至少保留一个成功案例和一个失败案例。

三类统一任务

本次横评围绕三种日常研究任务展开:

1. 来源检索题:寻找技术趋势背后的官方报告、统计数据和原始公告。

2. 事实核查题:核对包含数字、日期或公司表态的流行说法。

3. 综合研究题:基于多个来源形成结论,同时列出反例、争议和限制条件。

评分采用 100 分框架,但总分必须建立在人工核验记录之上,而不是编辑印象。

| 维度 | 权重 | 评价重点 | |---|---:|---| | 来源覆盖 | 20 | 是否覆盖关键官方与权威来源 | | 原始来源比例 | 20 | 官网、论文、财报、监管文件占比 | | 引用准确率 | 20 | 引用是否真正支持对应说法 | | 事实核查能力 | 15 | 能否发现冲突、错误与不确定性 | | 结论整理能力 | 15 | 是否区分事实、分析和推断 | | 操作与追问成本 | 10 | 速度、可读性、导出与继续研究体验 |

这里最容易误判的是“引用准确率”。

一条有效引用必须同时满足三个条件:

  • 链接能够访问;
  • 页面确实包含相关内容;
  • 原文能够支持答案中的具体主张。

只满足“链接存在”,不能算有效引用。

第一轮:找得到来源,不等于找得到原始来源

来源检索题使用下面这组提示词:

请查找过去 12 个月内有关生成式 AI 对搜索流量或网站推荐流量影响的公开数据。优先提供平台官方报告、上市公司文件、研究机构原始报告,不要只引用媒体转述。请列出发布日期、样本范围、核心数据和原始链接。

这一轮考察的不是谁列出的链接多,而是谁更接近真正的“检索助手”。

Perplexity:信息地图建立得快,但要防止引用密度制造安全感

Perplexity 的优势很直观:答案与来源绑定紧密,读者可以快速打开引用,继续沿着线索向下查找。面对英文报告、公司博客和研究机构页面时,它通常更容易搭出一张初步的信息地图。

问题也恰恰藏在这里。

引用很多,不等于原始来源很多。同一事件可能同时出现新闻报道、转载页面和机构摘要,看起来有多个来源,实际上都在转述同一份报告。

因此,使用 Perplexity 时不能只数角标,而要继续问:

  • 哪一条是最早出处?
  • 哪些来源相互独立?
  • 是否存在官方报告或原始数据页面?
  • 媒体中的数字能否在原文中找到?

它适合负责第一步:快速建立候选来源清单。但不应直接把答案中的每个角标视为完成核验。

ChatGPT Search:上下文整理更自然,但证据颗粒度可能偏粗

ChatGPT Search 更像一位会搜索的通用研究助理。

它不只列链接,还会主动解释资料之间的关系,适合把零散信息组织成一条可读的叙事。继续追问某项数据的背景、定义和影响时,对话衔接通常也更自然。

短板是:当回答从网页事实过渡到模型归纳时,边界未必总是足够醒目。

一个段落里可能同时包含:

  • 来源明确写出的事实;
  • 对多个来源的综合概括;
  • 模型根据材料做出的推断。

如果整个段落只挂一条引用,读者很容易误以为三部分都来自原文。

更稳妥的做法是要求它按“主张—来源—原文证据—限制条件”重新输出,而不是满足于一篇读起来很顺的总结。

秘塔 AI 搜索:中文报告体验友好,仍需主动提升来源等级

秘塔的优势主要体现在中文阅读和报告结构上。对需要快速了解一个行业、整理国内网页资料的小白和内容创作者来说,它的进入门槛较低。

但中文互联网存在一个天然问题:同一条消息往往经过多轮转载,标题与数字还可能在传播过程中被简化。

如果答案大量引用资讯站、聚合页或媒体转述,就需要继续向上追溯:

  • 公司是否发布过原始公告?
  • 研究机构是否提供完整报告?
  • 中文报道引用的是哪篇英文材料?
  • 报道中的时间范围和样本条件是否被省略?

秘塔适合快速形成中文框架,但涉及关键数字时,仍应打开原始页面确认。

第一轮的小反转是:链接数量最多的答案,不一定拥有最完整的证据链。

第二轮:事实核查,最难的是识别“概念偷换”

第二道题故意选择了一条很容易被二手报道放大的说法:

请核查“某公司有超过一半的新代码由 AI 生成”这一说法。找到最早的公开出处,区分公司原话、媒体转述和后续解读,并说明这个比例的统计口径是否清楚。

这类说法的危险,不一定是数字完全虚构,而是统计口径在传播过程中发生了变化。

一个真实案例是,Google 母公司 Alphabet 在 2024 年第三季度业绩沟通中曾提到,Google 超过四分之一的新代码由 AI 生成,之后会由工程师审核和接受。

这句话至少包含三个不能丢失的条件:

1. 讨论的是 Google 内部的新代码;

2. AI 生成后仍需工程师审核和接受;

3. “生成”“建议被接受”和“最终代码占比”并不是天然等价的统计概念。

如果后续文章把它概括成“AI 已经独立写完大量代码”,甚至进一步放大为“超过一半”,原始表述就发生了实质变化。

在这类任务中,三款工具的差异不只是能否搜到相关报道,而是能否把信息拆成三层:

  • 公司原话:原始公告、财报电话会或高管公开讲话;
  • 媒体转述:报道如何概括这段话;
  • 模型判断:现有证据是否足以支持待核查说法。

Perplexity 更方便沿引用追溯出处;ChatGPT Search 更擅长解释不同口径的差异;秘塔则更适合整理中文传播链路。

但三者都有可能犯同一个错误:找到一条“方向接近”的权威来源,就把更强的说法判定为真。

来源权威,不代表它支持你正在核查的那句话。

如果原始资料只支持“四分之一”,就不能用它证明“超过一半”。正确结论应是:现有来源只能支持较弱表述,更强说法暂时无法确认。

第三轮:报告写得长,不代表结论可靠

综合研究题要求三款工具完成更复杂的任务:

基于可验证来源,比较 AI 搜索与传统搜索在信息发现、事实核查和综合研究上的优势与局限。每条关键结论都要对应来源,并单独列出反例、争议点和目前无法确认的信息。

这一轮最能拉开差距,因为它同时考察检索、阅读、归纳和不确定性表达。

三款工具的场景结论

以下不是脱离原始记录的伪精确排名,而是基于产品工作方式得出的场景判断:

| 场景 | Perplexity | ChatGPT Search | 秘塔 AI 搜索 | | 快速建立来源地图 | 强 | 较强 | 较强 | | 英文原始来源追溯 | 强 | 较强 | 需二次补充 | | 中文资料整理 | 较强 | 强 | 强 | | 长文综合与继续追问 | 较强 | 强 | 较强 | | 引用位置直观性 | 强 | 中等 | 较强 | | 不确定性表达 | 依提示词而定 | 依提示词而定 | 依提示词而定 | | 适合角色 | 检索助手 | 研究与写作助手 | 中文报告助手 |

Perplexity 更像搜索台,ChatGPT Search 更像研究桌,秘塔更像中文资料整理台。

但真正可靠的研究结果,通常不能只靠其中一张桌子。

还需要测试一个关键动作:在报告生成后继续追问——

“请逐条列出每个结论对应的原始来源,并引用能够直接支持它的原文。无法直接支持的结论请删除或降级为推断。”

如果工具无法稳定回答,说明前面的流畅报告可能只是“材料组织得不错”,而不是证据链已经闭合。

不同用户应该怎么选

小白用户

优先考虑中文体验、答案结构和引用是否容易打开。

秘塔和 ChatGPT Search 更容易让人快速进入问题,但仍要养成点击原文的习惯。不要因为排版像报告,就默认内容已经完成核查。

内容创作者与职场用户

重点看引用可追溯性,以及资料能否继续整理。

可以先用 Perplexity 建立信息地图,再用 ChatGPT Search 对材料进行归纳。写入文章、汇报或商业方案前,关键数字必须回到原网页确认。

研究型用户

优先选择原始来源覆盖好、能够反复追问的工具,并建立人工核验表。

建议记录:

| 关键主张 | 工具来源 | 是否原始来源 | 是否直接支持 | 是否遗漏限制 | 最终判定 | | 待核查说法 | 原始链接 | 是/否 | 是/部分/否 | 时间、样本、口径 | 支持/部分支持/不支持/无法确认 |

时效性任务

不要只看模型知识截止时间,要看它此刻搜索到了什么网页,以及网页本身的更新时间。

突发新闻、政策变化和公司公告,优先检查官网、监管文件与原始声明。AI 搜索可以帮助发现线索,但不能取代原始信息发布者。

我的五步工作流:把“答案机”变成研究流水线

比选出一个总冠军更实用的,是建立一套稳定流程。

1. 先定义问题

写明时间范围、地域、语言和合格来源标准。

2. 建立来源清单

用一款工具快速寻找官方公告、论文、财报和原始报告。

3. 交叉核查关键事实

用另一款工具核对数字、日期、统计口径和最早出处。

4. 打开原网页确认上下文

不只看搜索摘要,检查原文、脚注、样本范围和发布时间。

5. 用已验证材料整理结论

要求模型明确区分事实、推断、争议与未知项。

下面这份提示词可以直接复制:

研究问题:

时间范围:

地域与语言范围:

来源优先级:

1. 官方公告、监管文件、财报

2. 学术论文与研究机构原始报告

3. 有署名和编辑流程的专业媒体

4. 其他二手来源仅作为线索

输出要求:

  • 每条关键事实附对应来源
  • 区分原始事实、媒体转述和你的推断
  • 如果来源互相冲突,分别列出
  • 不要用同一条来源证明多个不相关结论
  • 标明目前无法确认的信息
  • 最后给出仍需人工核查的清单

二次核验时,可以要求模型输出结构化结果:

{

"claim": "待核查的说法",

"verdict": "支持/部分支持/不支持/无法确认",

"primary_source": "原始来源链接",

"published_at": "发布日期",

"evidence": "原文证据摘要",

"limitations": "统计口径、时间范围或样本限制"

}

如果不想在多个搜索和模型页面之间反复复制粘贴,还可以把流程做成自己的研究助手:先收集候选来源,再调用不同模型完成事实核对、结构化整理和最终写作。

api.884819.xyz 可以统一查看和调用相关模型接口,也可以直接使用平台内置的 AI 对话功能。平台注册只需用户名和密码,不需要邮箱验证;没有月租和订阅,按量付费,Deepseek、千问等国产模型完全免费。

建议先用同一批行业问题进行小规模测试,再根据准确性、速度和成本选择模型,不要只看某一次回答是否惊艳。

新用户注册即送体验token。

最后:别把“带链接”误认为“已核实”

如果只看答案完成度,三款工具都能交出一份漂亮作业。

但深度检索真正困难的部分,从来不是写出一段通顺文字,而是减少三类错误:

  • 漏掉关键原始来源;
  • 用不相关的链接支撑结论;
  • 把模型推断包装成已确认事实。

产品排名会随着版本更新而变化,但有三条方法不会很快过时:来源优先、交叉验证、结论留痕。

AI 搜索真正节省的不是“思考时间”,而是寻找和整理线索的时间;验证证据的责任,暂时仍然在用户手里。

下一篇,我会把问题再往前推进一步:抽取 100 条带链接的 AI 搜索答案,逐条检查链接是否存在、原文是否真的支持结论,以及哪些提示词最容易诱发伪引用。

预告标题:

《AI 给了链接就可信吗?我逐条核验 100 条引用,找出了最常见的 5 种“证据错觉”》 本文由8848AI原创,转载请注明出处。关注8848AI,带你从零开始学AI。

#AI搜索 #Perplexity #ChatGPTSearch #秘塔AI搜索 #事实核查 #AI教程 #8848AI #人工智能