AI INFRA DAILY 系统 · 工程 · 研究
工具就绪、内核契约与可检查语音
日报 ·
- Agent 调度
- 内核契约
- 科研计算
推理系统|工具返回与执行路径进入调度
TAO|共同选择会话和 GPU 落点
10 月 27 日 UTC 首提的 TAO,把节点 KV 缓存的复用价值、工具近期返回的就绪信号和 token 占用组成会话估值,再按剩余容量共同选择待运行会话及其 GPU 节点。缓存价值随时间衰减,执行器应用计划前还会核对实时状态,减少为尚未返回的工具结果过早占用推理资源。
实验使用 H100,分别部署 DeepSeek-V4 Flash、Qwen3-32B 和 GLM-4.7,覆盖软件修复与终端任务,对照 Dynamo、vLLM 的轮询/缓存感知策略和 ThunderAgent。收益随模型、并发和工具等待变化;Qwen 的一项 128 worker 配置延迟反而高于 ThunderAgent。动态规划精确求解的是冻结且离散化的快照模型,不能当作整个在线系统的全局最优或期限保证。
来源:2026-10-27(UTC 首提),A 级|论文与首提记录 · 调度模型、部署与完整结果。
请求自适应混合推理|prefill 选路,decode 保持路径
同日首提的《Request-Adaptive Execution for Efficient Hybrid LLM Inference》,为 Attention 与 SSM 成对分支训练门控,在 prefill 阶段按请求选择层路径,并在 decode 期间保持不变。运行时按分支重组子批次,前缀缓存同时匹配文本和前导执行路径,避免复用不兼容的 KV 或 SSM 状态。
单张 H100 的系统测试覆盖 4.4B、14.5B、61B 模型,61B 使用 FP8,请求由共享文章前缀与不同问题组成;对照包括同检查点的 vLLM、SGLang 和 Jenga。收益依赖分支分布、批次及前缀复用,不能直接移植到任意现成混合模型。摘要页与正文的系统命名尚不一致,当前更适合按具体机制理解这一研究。
来源:2026-10-27(UTC 首提),A 级|论文与首提记录 · 门控、批处理与缓存机制。
PipeLink|让独立 GPU 组件携带资源契约
PipeLink 将 GPU 内核组件分别编译成带契约的 LTO 对象,记录共享内存、屏障、warp 和寄存器等要求。链接器检查声明是否兼容,用约束求解安排资源位置,并生成组件间的数据交接代码,再由 CUDA 的 LTO 后端完成链接。Apache-2.0 原仓已提供编译器、TileLang 前端、示例和评估入口。
论文在 H200、B300、RTX 5090 上分别锁频 1230、1155、1770 MHz,测试解码 megakernel、MoE 训练、注意力和 GEMM+SwiGLU 四类案例,共 51 个计时配置。与相同源组件、连接代码、放置及浮点模式的单编译单元对照,吞吐差距在 0.2% 内,说明所测链接开销很小。
契约检查不证明组件真的遵守声明,数值验证和 sanitizer 仍需保留,LTO 包也不保证跨 CUDA 大版本可移植。
来源:2026-10-27(UTC 首提),A 级|论文与首提记录 · 对照设计与限制 · 原始实现与许可。
平台与云|固定执行依赖,也核算投入边界
Actions lockfiles|可读引用对应固定执行提交
GitHub 在 10 月 28 日将 Actions workflow dependency lockfiles 转为 GA。gh actions-lock 生成 .github/workflows/actions.lock,允许逐个 workflow 接入;接入后,其 action 依赖必须全部出现在锁文件中,运行时使用记录的提交。Dependabot 更新版本时会在同一 PR 中更新对应锁记录,管理员也可要求采用锁文件。
锁文件覆盖 action 及其传递依赖,但不锁 jobs.<job_id>.uses 引用的可复用工作流,后者仍需完整 SHA;其内部依赖由定义它的仓库管理。参数、secrets 和 runner 镜像也不由这份锁文件固定。它让依赖解析可审阅、可复现,依赖本身是否安全仍需审核。
来源:2026-10-28(GA),A 级|GitHub 原始公告 · 原始工具仓库;B 级|锁定范围与可复用工作流边界。
Amazon Q3|云需求增长伴随现金投入压力
Amazon 在美国时间 10 月 29 日发布的财报披露,AWS 第三季度销售额约 460 亿美元,同比增长 39.3%;公司过去十二个月自由现金流为流出约 424 亿美元,净设备购置同比增加约 948 亿美元,公司将这一增加主要归因于 AI 投资。需求增长和基础设施投入已经同时体现在经营与现金流数据中。
公司继续预计 2026 年现金资本开支约 2,200 亿美元。该数字是 Amazon 整体的全年预期,不能当作 AWS 独立投入、纯 AI 开支或已经完成的支出;财报中的设备投资也不能直接换算成可立即租用的 GPU 容量。
来源:2026-10-29(美国发布日期),A 级|Amazon 正式财报发布 · 完整财报与资本开支预期。
科研计算|精度验证与求解预算一起进入结果
PET Tensor Core 路径|加速之后继续检查物理行为
NVIDIA 与 EPFL 作者在 10 月 29 日的工程评估中,将 BF16x9 和 TF32x3 用于 PET 机器学习原子势,分解 FP32 矩阵乘法并在 FP32 中累加,保留模型权重。26M 参数 PET-MAD small 的 17,280 原子水体系中,B300 的 BF16x9 路径相对 compiled FP32 将完整分子动力学步加速至约 1.7 倍;192 原子体系最高约 1.2 倍,不能以 GEMM 内核收益代替完整流程收益。
A100 上的 TF32x3 还检查了能量守恒和结构弛豫。在 539 原子合金薄层、FIRE2 优化器的三次重复中,它在 218–222 步达到 1.0 × 10⁻³ eV/Å 的力容差,FP32 为 218 步;单遍 TF32 即使延长至 1,000 步仍未收敛。结果支持按目标体系评估精度路径,尚不构成任意原子势、任意轨迹的稳定性保证。
来源:2026-10-29(官方工程评估),B 级|PET 的硬件、负载与物理验证。
LegoSR|用统一方程接口组织求解器搜索
近期补充:10 月 24 日 UTC 首提的 LegoSR,将七种方程发现求解器接入共同的方程表示、部分已知结构、系数重拟合和评估流程。Agent 根据求解器说明、中间结果和跨任务经验选择路线;原仓已有框架与 Agent 实现,论文评估覆盖 134 个代数符号回归问题、40 个 ODE 目标和 17 个 PDE 问题。
与通用 Agent 的对照采用相同 DeepSeek-V4.1-Flash-1017 和工具,每题独立运行三次,各次最多 400 步,软/硬时限分别为 60/120 分钟。1% 噪声的 PDE 测试中,LegoSR 恢复 15/17,通用 Agent 为 10/17;“恢复”按三次至少一次成功,且项集合准确、最大相对系数误差不超过 5% 计算。
七求解器合并的 UNION 使用更多运行,不能当作同预算对照;无噪代数任务也没有全面胜出,已知方程基准的结果仍需真实实验数据检验。
来源:2026-10-24(UTC 首提,近期补充),A 级|论文与首提记录 · 预算、恢复标准与结果 · 原始框架与 Agent 实现。
语音与图像|控制接口随模型一起交付
Prism|发声前保留可检查的文本
Rime 在 10 月 28 日发布 Prism,直接利用来电音频中的语气和停顿决定响应,同时在语音输出前生成可检查文本,让应用执行规则、改写内容并管理工具调用。产品提供本地、VPC 或云部署路径,将语音理解能力与企业现有控制点连接起来。
官方评估使用模拟客服通话基准,不能代替真实电话网络、并发负载和业务完成率的验收。自助 RL/SFT API 仍在与 beta 客户共同建设,不能把“可微调”的产品方向理解为所有训练接口已经全面开放。
来源:2026-10-28,A 级|Rime 原始发布与训练开放阶段 · 部署范围与文本检查接口。
MAI Image 2.7|先交付图像编辑预览
Microsoft 在 10 月 27 日公布 MAI Image 2.7 编辑预览,重点包括重新布光、整体风格调整、文字与符号修改以及修复增强,可在 Arena、Artificial Analysis 和 MAI Playground 体验。对于创作流程,这次交付的具体入口是基于已有图像进行修改。
文生图仍标为后续推出。公告中的榜单位置和编辑类别成绩反映对应评测与发布时间,不能据此推断所有创作任务的稳定质量,也不能把编辑预览写成文生图或生产 API 已经 GA。
来源:2026-10-27,A 级|Microsoft 原始发布与预览范围。