作者 | Tina Jev 发布仅仅 15 天,OpenAI 就下场了。 在今天举行的 DevDay 上,OpenAI 公布了新的 Decisions API。它基于 OpenAI 当前体量最小、价格最低的 GPT-6 Luna,可以在一组预设答案中作出选择,并返回相应的置信度分数。OpenAI 给出的延迟是 150 毫秒,而直接使用 GPT-6 Luna 完成同类任务需要 1.6 秒。 开发者只需要向 API 提供问题、候选答案和上下文。模型不会像 ChatGPT 那样生成一段文字,而会给出一个可直接交给程序使用的决定:内容应该分到哪一类,请求应该交给哪个模型,Agent 下一步应该采取什么行动。 这几乎就是 Jev 过去半个月里最受关注的能力。 消息发布几小时后,Reddit 的 AI_Agents 版块出现了一个标题简单粗暴的帖子:“Jev Is Dead”。 发帖人写道,随着 OpenAI 推出 Decisions API,Jev 想要继续生存恐怕会非常困难。它目前还能依靠的优势,只剩下“速度极快、价格极低”。评论区里,还有人加了一个判断:“Jev 从来就没有过任何护城河。” OpenAI 发布的,几乎就是一个 Jev 在 DevDay 主题演讲中,Sam Altman 介绍 Decisions API 时只用了寥寥几句:“今天,我们要推出 Decisions API。它可以让模型在几分之一秒内作出响应,速度非常快,工作方式是向 Luna 模型提供一组预设选项。通过让模型专注于这次选择,我们可以把响应速度提高到极致。” 这段话含有两个关键信息。 第一,Decisions API 将开放式生成收窄为“从明确选项中作出选择”,这与 Jev 的 Choice 原语在设计思路上高度一致。 第二,它选择以 Luna 为底层模型——OpenAI 当前模型阵容中体量最小、价格最低的一款。用最小、成本最低的模型承担决策任务,而没有调用 Astra 或 GPT-6.1 Sol,也显示出这项能力明显面向高频、低成本、可大规模嵌入 Agent 工作流的基础组件场景。 这款新 API 目前仅提供限量预览,定价、单次请求支持的候选答案数量、以及开发者能否用自己的数据调优,统统没有公布。一位 OpenAI 发言人对外媒表示,公司计划在“全面推出时”公布更多信息。因此可以判断 OpenAI 很可能是为了赶在 DevDay 前公布消息,才仓促推进了这次发布。 这类产品填补的,是普通聊天模型与传统分类器之间的空白。过去,开发者如果希望模型从几个答案中作出选择,通常会调用普通聊天模型,再通过提示词要求它只返回某个选项。如果还需要置信度,可以读取 token 概率,或者让模型自行生成一个数字。但聊天模型给出的置信度经常只是粗略估计,为了完成一个简单判断,还可能生成大量 token。 另一条路线是训练专用的小型分类器。这种模型速度快、价格低,却需要准备带标签的数据。一旦分类标签改变,通常还要重新训练。 Decisions API 介于两者之间。开发者可以像使用大语言模型一样,通过提示词提供新的问题和标签,同时得到类似分类器的结构化结果和置信度。这种设计对 OpenAI 并不完全陌生:Moderation API 长期以来也会针对预设类别返回分数。区别在于,Moderation API 的类别由 OpenAI 固定,Decisions API 则允许开发者自行定义问题和候选答案。 这套产品逻辑,与 Jev 高度重合。 9 月 15 日,TypeSafe AI 正式发布 Jev。据《金融时报》报道,Jev 上线后迅速吸引投资者关注,潜在投资正在按超过 100 亿美元的估值展开讨论,而该公司此前的估值约为 2 亿美元。 Jev 背后的 Diogo Almeida 曾在 OpenAI 参与 GPT-4、ChatGPT 和 RLHF/InstructGPT。在此前的一场演讲中,他这样介绍自己:“我参与署名了 OpenAI 最重要的一批公开成果,包括 GPT-4、ChatGPT,以及 RLHF/InstructGPT。我所在的团队基本上创造了‘后训练’这个概念。”“但真正让我显得有些特别的是,我可能是 OpenAI 少数几个会公开批评 ChatGPT 的人之一。” Almeida 的履历确实特殊。OpenAI 在 GPT-4 贡献者名单中将他列入“Foundational RLHF and InstructGPT work”一栏,他是 InstructGPT 论文的第四作者。2024 年离开 OpenAI 后,他与 Erik Gafni、Sasha Sheng 共同创立 TypeSafe AI,花了两年时间秘密推进 Jev。 根据 TypeSafe 官方定义,Jev 是