← 返回历史归档English
NeuronX · 一手 AI 日报 · 一手信息,打破焦虑

Mercury 3将扩散语言模型扩至百万上下文,DeepSeek与vLLM更新推理工具链低价模型继续竞争速度与成本,可靠性、服务吞吐和智能体运行框架成为另一组比较维度。

2026年10月20日 周二 来源 · Blog · X
关于本期:本日报由公开信息源(X/播客/博客、订阅简报与 YouTube 频道)自动梳理、归类、改写。每条均附原始链接,请以原文为准;AI 改写可能有疏漏,欢迎对照核查。

今日一句话

Inception称Mercury 3达到1,068 token/s、支持100万token上下文,首发每百万输入/输出token为0.10/0.35美元。MiniMax M3.1 Flash同样主打低价,但AA测得其幻觉率达93%,与模型几乎尝试回答所有问题有关。DeepSeek开源离线推理框架DeepInfer,vLLM v0.32.0则将多API worker每秒请求数提升43%至85%。Google开源Harness²,在冻结模型权重的情况下改进智能体运行框架,使Gemini 3.5 Flash在两个任务基准上分别提升8.4和7.5分。

🎧听今天这一期
单人口播 · 00:10:01
▶ 看今天这一期在 YouTube 看 →

🚀低价模型竞争:速度之外还要看可靠性

Mercury 3、M3.1 Flash与DeepSeek新版,把价格、速度和回答质量摆上同一张选型表。

BlogInception发布Mercury 3扩散模型发布

Inception发布扩散语言模型 Mercury 3,称其在英伟达GPU上达到1,068 token/s。参数量较Mercury 1扩大逾40倍,速度基本不变;上下文从26万增至100万token。模型已通过自家API和Baseten等平台开放,首发每百万输入/输出token分别为0.10/0.35美元,为常规价的一半。

读原文 →
XMiniMax发布M3.1 Flash低价模型发布

MiniMax发布 M3.1 Flash,输入、输出价格分别为每百万token 0.15、0.60美元。公司称,其速度是M3的3倍,成本为三分之一,权重定于10月23日开放。不过,AA独立测评给出的幻觉率达93%,与模型几乎尝试回答所有问题有关。

读原文 →
XDeepSeek新版AA智能指数升6分评测

DeepSeek V4.1 Flash 1017在AA智能指数中升6分至45分,与GLM-5.3并列开放权重模型第二,每任务成本为0.26美元。其GDPval-AA Elo升146至1746,CritPt成绩从14%升至24%。在AA-Omniscience测试中,非幻觉率从4%升至33%。

读原文 →

🔍 深度解读:Mercury 3的首发输入/输出单价低于M3.1 Flash,但这是半价促销,不能直接当作长期成本优势。M3.1 Flash的93%幻觉率与DeepSeek新版33%的非幻觉率来自不同测试,不能据此直接排名,却共同提示开发者:低价模型的选型必须同时检查拒答行为与事实可靠性,不能只按token单价决定。DeepSeek的每任务成本又是另一种计费观察口径,不应与每百万token价格直接比较。

⚙️推理工具链:离线加速与在线吞吐

DeepInfer开放生产服务中的部分组件,vLLM继续优化多API请求处理。

BlogDeepSeek开源推理框架DeepInfer开源

DeepSeek 开源支撑其大规模生产服务的推理框架 DeepInfer,采用 Apache 2.0 许可。此次开放离线推理能力,包含优化算子、异步调度,以及用草稿 token 和置信度调度验证的解码加速机制。完整推理服务所需的预填充与解码分离、跨数据并行副本的负载均衡,不包含在此次发布中。

读原文 →
BlogvLLM新版多API吞吐提升43%起发布

vLLM 发布 v0.32.0,包含814次提交,多API worker的每秒请求数提升 43%至85%。新版新增 /v1/systemone 结构化决策端点,并扩展跨硬件低精度KV支持,包括NVFP4和ROCm上的4位KV。Model Runner V2还加入了GPU n-gram推测器。

读原文 →

🔍 深度解读:DeepInfer与vLLM都在解码阶段引入推测式加速,但发布边界不同:前者此次开放离线推理,后者还覆盖多API worker的请求吞吐。对部署团队而言,DeepInfer的Apache 2.0许可让组件复用更直接,却不等于拿到了DeepSeek完整服务栈;在线部署仍需解决预填充与解码分离、跨副本负载均衡,不能把离线加速等同于服务容量提升。

🤖智能体改进:训练模型还是修改运行框架

Muse Glimmer把能力压进可本地运行的模型,Harness²则在权重之外寻找增益。

XMeta发布Muse Glimmer训练报告研究

Meta发布Muse Glimmer技术报告,这款300亿参数开放权重模型面向智能体任务。它可在配备单张消费级GPU的Mac或PC上,以4-bit精度达到实用运行速度。训练采用Muse Spark训练过程中的logits进行全KL协同蒸馏,最后5%改用交叉熵,并使用持续数周的模拟“数字生活”。

读原文 →
XGoogle开源Harness²自改进框架研究

Google Research开源 Harness²,让智能体在模型权重冻结时修改自身提示词、技能、钩子和记忆。它通过提出编辑、对比基线轨迹、保存经验来改进运行框架,无需评分器。Gemini 3.5 Flash在WorkBuddy-Bench和JobBench上分别提升8.4和7.5分。

读原文 →

🔍 深度解读:Muse Glimmer通过蒸馏和持续数周的模拟“数字生活”训练智能体能力,Harness²则冻结权重,把修改对象转向提示词、技能、钩子和记忆。两者提供的是不同层面的改进路径:前者影响基础模型选择与本地运行条件,后者说明任务表现不只由模型权重决定。对开发者而言,Harness²在两个基准上的增益意味着,评估智能体时需要把模型与运行框架拆开比较。

🎙️实时语音:从转写接口到任务流水线

Voxtral 3将语音处理与工具调用串联,并提供欧盟托管和自部署两种选择。

BlogMistral发布Voxtral 3语音套件发布

Mistral 发布 Voxtral 3 语音模型及智能体 SDK,转写支持50多种语言。SDK 将转写、推理、工具调用和语音生成接入同一实时流水线,可在通话中完成多步任务。Mini 转写模型有40亿参数,价格为每分钟0.0035美元。套件可通过欧盟托管 API 使用或自部署,让企业控制音频处理位置及是否保留对话。

读原文 →

🛡️开源安全:模型扫描直接交给维护者

Anthropic OSS Scanner缩短报告等待,但扫描结果不经人工审核。

BlogAnthropic推出开源漏洞扫描服务安全

Anthropic 推出 OSS Scanner,为获准加入的关键开源项目免费提供定期漏洞扫描。与原有人工审核后再发送报告的流程不同,该服务直接向维护者发送模型扫描结果,以缩短等待时间。报告未经人工审核;项目需主动申请,通常不接受新项目或缺乏独立特色的分叉。

读原文 →

🔑本期三关键词

KEYWORD 01
扩散语言模型
Mercury 3采用的模型路线,此次发布把参数规模、生成速度与百万token上下文放在一起竞争。
KEYWORD 02
推测式解码
先提出候选token再验证的加速思路,DeepInfer和vLLM此次都更新了相关机制。
KEYWORD 03
智能体运行框架
模型之外的提示词、技能、钩子和记忆等配置,也是Harness²在权重冻结时持续修改的对象。
值得继续观察(观察坐标,非预测、非建议)
📺 今日频道更新 · 2
NeuronX · 一手信息,打破焦虑
AI 每天都在变,不必每条都追。我们替你读完英文一手信源,只留真正重要的几件事。每条附原始链接。
📮 免费订阅RSS 订阅