你有没有过这样的体验：用 Perplexity 搜索一个复杂的技术问题或市场分析，答案几乎瞬间弹出，不仅逻辑清晰，还附带可靠的实时引用和来源链接；而把同样的问题扔给直接调用 GPT 或 Claude 的工具，却常常遇到响应卡顿、引用缺失，或者回答不够接地气？

这种“秒出 vs 卡顿”的直观差距，背后并非只是模型本身更强，而是 Perplexity 悄然完成了从“OpenAI API 调用者”到“完整 AI 基础设施掌控者”的转变。其核心武器，就是自研推理引擎 ROSE（Runtime-Optimized Serving Engine）。 [[1]](https://research.perplexity.ai/articles/gpt-oss-on-day-0)

这不是简单的“重新造轮子”，而是让 Perplexity 在成本、性能、体验和产品控制力上实现多重跃升。普通用户能明显感受到更快、更稳、更省的搜索体验，这也正是 AI 服务从“工具”走向“平台”的关键分水岭。

ROSE 上线：Perplexity 的“自造引擎”时刻

Perplexity 官方研究文章详细介绍了 ROSE。它是一个格式无关的推理框架，主要用 Python + PyTorch 构建，性能热路径逐步迁移到 Rust，支持多种解码策略，包括 speculative decoding（推测解码）和 MTP（Multi-Token Prediction，多 token 预测）。

ROSE 不是为单一模型服务的孤立组件，而是 Perplexity 整个搜索增强、Sonar 系列微调模型、多模型编排的底层基石。它能快速加载新模型、处理批量请求、优化 KV Cache 复用，并实现高效的 prefill-decode 分离部署。

此前，Perplexity 也像许多 AI 产品一样，高度依赖外部 API（如 OpenAI）。这带来便利，但也意味着受限于对方的速率限制、定价策略、黑盒优化和数据流控制。自研 ROSE 后，Perplexity 获得了前所未有的独立性：可以针对 Llama 等开源模型做深度定制优化，快速适配新架构，并将搜索增强的实时性做到极致。

这种“Python 管灵活性，Rust 管热路径”的混合架构，既便于快速迭代新模型，又能在生产环境中实现极致优化。Perplexity 甚至能做到 Day-0 支持新开源模型，如 GPT-OSS 系列，通过 FP8、sink attention 和 MoE 优化在 H200 上高效运行。

ROSE 不是魔法，而是把对服务的信念编码进基础设施：什么时候 batch、怎么调度、如何 decode，全由自己掌控。

自己造 vs 直接调 OpenAI API：四个维度的本质区别

自研推理引擎与直接调用外部 API 的差距，本质上是“黑盒租用” vs “白盒掌控”。我们可以从以下四个维度拆解：

外部 API 是典型的黑盒：你无法干预 batching、scheduling、KV Cache 管理或解码策略。限频、token 限制、内容策略都由提供方决定。

而 ROSE 允许 Perplexity 自定义一切——从请求调度到解码行为。这意味着在高并发场景下，能更智能地复用缓存、动态调整优先级，实现更低的尾延迟。

针对开源模型如 Llama 的深度优化是自研的最大红利。speculative decoding 等技术能显著降低 token 生成成本和延迟。Perplexity 的 Sonar 模型在 Cerebras 硬件上能达到 1200 tokens/s 的生成速度，这远超许多纯 API 调用的常规表现。 [[2]](https://deshpandetanmay.medium.com/perplexity-runs-an-open-source-llm-heres-what-actually-creates-the-advantage-184a8b60785e) [[3]](https://www.perplexity.ai/hub/blog/meet-new-sonar)

自研还能针对特定硬件（NVIDIA H200 等）做 kernel 级优化，进一步压低成本。对于高频搜索查询，这意味着相同的预算能服务更多用户，或提供更长的上下文和更丰富的分析。

新模型发布时，Perplexity 能快速适配并上线。ROSE 支持多种并行策略（TP、EP、DP 组合），便于实验不同 sharding 配置。Sonar 系列微调模型就是典型例子：在 Llama 基础上针对搜索事实性和可读性继续训练，再通过 ROSE 高效部署。

完整掌控训练和推理数据流，对于企业级隐私需求至关重要。自研栈更容易满足数据不出域、审计可追溯等要求，这在国内生态中尤其重要。

以下是简化的对比（概念示意）：

# OpenAI SDK 调用（典型外部方式）
import openai
client = openai.OpenAI()
response = client.chat.completions.create(
model="gpt-4o",
messages=[...],
stream=True
)

# ROSE-style 内部伪代码概念
(高度简化，展示自定义能力)
class ROSEEngine:
def __init__(self):
self.model = load_sonar_model()  # 自有微调
self.decoder = SpeculativeDecoder(draft_model=small_1b)

def generate(self, batch_tokens):
# 自定义 batch scheduling + KV cache
prefill = self.model.prefill(batch_tokens)
return self.decoder.decode_with_speculation(prefill, target_model=self.model)

自研让 Perplexity 能把“搜索增强”真正融入推理流程，而非事后拼接。

普通用户能感知到差距吗？真实体验对比

是的，大多数用户都能明显感觉到。

• 中文体验：Sonar 微调后对中文搜索和总结的适配更好，结合本土化知识，回答更贴合国内语境。
• 复杂任务：Deep Research 等功能在 ROSE 支持下更流畅，能处理多源综合分析，而非简单堆砌链接。
• 稳定性：自研栈在高峰期尾延迟控制更好，少出现“思考中”卡顿。

进阶用户还能通过 Perplexity API 感受到兼容性和优化：同样的模型调用，底层效率差异会转化为更低的实际成本和更快的迭代。

当然，对比并非一边倒。纯 ChatGPT/Claude 在创意生成或特定领域深度推理上仍有优势。但在“搜索 + 事实 + 引用”这一核心场景，ROSE 驱动的 Perplexity 形成了明显的产品壁垒。

自研浪潮对中国 AI 生态的启示

Perplexity 的 ROSE 案例，给国内大厂和创业公司提供了生动样本：纯 API 创业门槛低、见效快，但长期看，难以形成差异化护城河。自建推理栈（哪怕是混合模式：核心路径自研 + 借力开源）已成为必然趋势。

优势在于：

• 成本可控：针对国产硬件和模型优化，能显著降低依赖海外 API 的汇率与合规风险。
• 体验差异化：更懂中文、更贴合本土搜索习惯、更快的响应。
• 数据主权：自主掌控推理流程，利于企业级落地。

预测来看，未来更多公司会走“混合自研 + 开源”路线：用 ROSE 式的引擎优化 Llama/DeepSeek/Qwen 等模型，同时保留前沿闭源模型作为补充。普通用户将是最大受益者——更便宜、更智能、更可靠的 AI 产品会加速普及。

自研不是大厂专利，而是 AI 产品差异化的核心能力。你我普通用户，正因此享受到更好体验。

ROSE 只是开始。下一篇文章，我们将拆解国内某头部大模型团队的自研推理栈实战：他们如何在国产硬件上把延迟打到 OpenAI 同等水平？敬请期待，别错过。

#AI基础设施 #Perplexity #ROSE推理引擎 #自研AI #Sonar模型 #推理优化 #AI搜索 #8848AI #Prompt工程 #人工智能创业