AI INFRA DAILY 系统 · 工程 · 研究
Olmo-core 3 开放训练栈,KV 共享要保留身份
日报 ·
- MoE 训练
- KV Cache
- 云 GPU 互连
头条|Olmo-core 3 开放面向大规模 MoE 的训练栈
Ai2 发布 Olmo-core 3,将此前逐批收集、重新分片权重的 FSDP 路径改为以 DDP 为基础的系统,让专家驻留 GPU、数据路由到专家,并组合专家并行、流水线并行、分布式优化器与 GPU 驻留路由元数据。团队在八张 B300 的初步测试中,报告 47B MoE 相对旧实现约 2.7 倍训练吞吐。
其开放价值在于研究者可以检查通信、精度格式与负载分配如何共同影响端到端效率,而不只获得模型权重。边界同样重要:1.2T 参数测试使用随机路由,2.38T 配置只是短时容量测试,都不能视为完整训练成功;真实路由偏斜、收敛、故障恢复和其他硬件仍需复现。发布日期:2026-10-01;来源 A 级:Ai2 原始发布与实验边界 · Olmo-core 原仓库。
模型与系统|复用必须保留身份,调度必须理解工作流
共享 KV 的键需要包含计算与共享来源。 一篇新预印本指出,本地 prefix cache 能区分 adapter、权重配置和共享域,但共享层可能只使用 token 与粗粒度模型元数据,从而发生不兼容状态复用。
作者审计三个 vLLM connector,并在 vLLM、两个 SGLang 版本和 12 个模型上复现问题;提出规范化来源描述符与差分检查器,报告修复后的命中路径延迟变化在 0.34 ms 内。编辑判断是,缓存正确性属于跨组件契约,不能靠单层命中率验收。论文实验不等于所有部署均受影响;实际版本、connector、adapter 与隔离设置需逐项检查,补全身份后缓存容量也会随来源多样性增长。
发布日期:2026-09-30;来源 A 级:共享 KV 来源契约原论文。
生产 Agent 请求不能当作独立聊天请求。 一项生产轨迹研究连接任务启动语义、工作流执行和底层服务需求,分析两周、1,170 万次请求,平台背后有超过一万张 GPU。作者观察到会话请求量高度偏斜、逻辑兄弟请求很少执行重叠,以及跨任务上下文复用。对平台设计的启示是,调度和缓存需保留任务关联,不能仅凭请求数量推断并发需求。这是特定平台的观测研究,不是通用调度器性能证明;工具等待、任务边界与不同产品交互模式仍需在自有轨迹中检验。发布日期:2026-09-28;近期补充,今天值得读,因为它为缓存复用与服务容量规划提供了生产工作流依据。
来源 A 级:Agent 生产服务原论文。
VSS 3.3 用变化区域减少视频推理工作。 NVIDIA 发布的 VSS Blueprint 3.3 将 Adaptive EVS 集成到实时 VLM 服务,比较相邻帧 patch、剔除未变化的视觉 token,并围绕活动片段批处理。厂商在 RTX PRO 6000 Blackwell、Cosmos 3 Super FP8 上报告,并发实时流由 13 路增至 19 路,告警上下文化延迟下降 17%。
系统意义是先减少重复输入,再争取更多 GPU 吞吐;这与单纯压缩模型不同。收益依赖场景运动、片段长度和阈值,且功能运行在本地 RT-VLM 容器而非远程端点;稀有事件漏检、输出质量与拥塞下延迟必须联合测试。发布日期:2026-09-29;近期补充,今天值得读,因为它提供可配置、可验收的视频服务减负路径。
来源 A 级:VSS 3.3 原始发布与基准条件。
多轮 RL 将预算内完成任务纳入训练目标。 AWS 公布 SageMaker AI 上的搜索 Agent 微调案例,使用 Qwen3.6-27B、BM25 与向量搜索工具,以完整轨迹的 nDCG@10 为奖励,对超出 turn 或 token 预算的失败给予惩罚。
其 BrowseComp-Plus 测试中,失败率由 22.89% 降至 0.68%,但 FreshStack 的检索分数略降。工程启示是任务质量、完成率和预算可共同优化,不能仅看单轮答案。案例不是跨领域可靠性保证;奖励泄漏、训练成本、工具延迟及分布变化都需独立验证,也不能据此宣称小模型全面替代前沿模型。
发布日期:2026-10-02;来源 B 级:AWS 多轮训练配置与完整结果。
计算基础设施|卡数相同,通信与治理仍不同
云 GPU 对比需要公开拓扑与负载。 Principled Technologies 对 Google Cloud g4-standard-384 和 AWS g7e.48xlarge 进行测试,两者均配八张 RTX PRO 6000 Blackwell。原报告的多模态场景中,G4 输出吞吐高 17.5%;方法附件显示,所测 G4 全部 GPU 对支持直接 P2P,G7e 则仅相邻配对支持。
它提示多卡选型应检查互连,而不是只比较 GPU 型号。该研究由 Google 委托;报告与新闻稿存在小幅数字差异,此处采用原报告。拓扑观测也不能单独证明全部差异的因果关系,区域、软件、模型、并发及单位成本需同口径复测。公开公告日期:2026-10-01,报告标注 2026 年 9 月;来源 B 级:原始测试报告 · 配置、拓扑与复现方法。
Well-Architected Agent 将资源观测连接到修复建议。 AWS 宣布该服务公开预览,关联利用率、资源配置和应用拓扑,面向超过 65 项服务提供成本、安全、性能与韧性建议,并附控制台步骤、CLI 或 IaC 修改。平台信号是架构治理开始从静态清单转向应用上下文与目标驱动的持续建议。它仍是预览,不是自动修复正确性的证明;AWS 明确说明生成式建议可能错误或不完整,使用者须评估并设置监督。生产采用还应验证最小权限、建议依据、变更审批与回滚,不能把建议金额直接当作实际节省。
发布日期:2026-10-01;来源 A 级:AWS 预览公告与责任边界。
科研计算与论文|电力系统的学习加速需要可行性与迁移证据
GridSFM 将跨拓扑学习与数值求解连接起来。 论文介绍一个 1,500 万参数图网络,在 54 种、500—4,000 母线拓扑上预训练,再以物理约束微调适配更大电网。作者报告,在未见 10,000 母线案例上零样本发电成本误差为 2.45%,并将模型作为求解器 warm start,公开模型、数据和代码。
它对科学计算的意义是把学习结果作为传统数值过程的起点,而非仅输出一个近似答案。成本误差不能替代潮流可行性或安全约束验收;极端工况、不同求解器与真实电网仍需验证。发布日期:2026-09-24;近期补充,今天值得读,因为能源基础设施的学习优化必须与约束求解共同评估。
来源 A 级:GridSFM 原论文。
EvEMTBench 固定电网保护模型的评测契约。 该开放、可执行、版本化基准覆盖四个电网,将 12 类保护与事件分析功能实例化为 24 个计分任务,固定数据划分、泄漏控制和报告方式,并评估分布变化与跨电网迁移。作者发现更广观测并非总有益,故障检测的迁移明显强于故障定位。系统意义是让科研结果比较拥有共同任务与数据边界。当前数据基于 EMT 仿真,不能代替真实传感噪声、实时截止期和保护系统现场验收。发布日期:2026-09-23;近期补充,今天值得读,因为它为学习型能源系统补上独立于平均准确率的泛化检查。来源 A 级:原论文 · 基准原仓库。
工程与开源雷达|硬件支持和验证状态必须读到具体行
Tenstorrent v0.23.0 改进训练作业生命周期。 tt-inference-server 发布说明将 Llama-3.1-8B-Instruct 在 P150 上的 LoRA 作业从固定超时改为基于进展的卡住检测,支持手动删除作业及结果,并提升 Blackhole QuietBox 2 的 Gemma 4 支持。
替代加速器的采用价值不仅在模型能运行,也在任务监控与工件管理是否完整。但发布表仍将 LoRA 训练标为 EXPERIMENTAL,Gemma 对应实现标为 COMPLETE;不能把官网概览中的生产就绪措辞推广至全部功能。长任务误判、数值质量和各设备配置须复测。
发布日期:2026-09-30;来源 A 级:v0.23.0 原始发布与状态表。
TensorRT Model Connect 的新复盘把 Agent 产出视为候选工件。 NVIDIA 公开工程复盘,说明如何按模型族隔离改动、保持可回退,并让开发与独立 QA 在可复现 CI 上检查行为、参考结果和性能。其意义是代码生成速度需要与 GPU 验证能力配套,发布依据应是可反驳的证据,而不是 Agent 自述完成。
此次信号是新的工程经验,不是项目首次发布;项目仍处于公开预览,共享构建与运行时故障不会因模型族隔离而消失,参考实现也不是绝对正确的判定器。发布日期:2026-09-29;近期补充,今天值得读,因为开放训练和原生推理栈都需要可扩展的验收方法。
来源 B 级:NVIDIA 原始工程复盘。