AI INFRA DAILY 系统 · 工程 · 研究
KV 逻辑地址、企业网关与闭环仿真
日报 ·
- KV 逻辑地址
- 企业网关
- 闭环仿真
推理状态|跨窗口恢复,跨设备访问
OrbitWeaver|星载 VLM 中断后接着计算
10 月 21 日的 OrbitWeaver,按视觉编码、prefill 和 decode 的状态寿命选择检查点,再联合安排权重读取、状态恢复和重计算。它针对电源、热约束和重启切断执行窗口的问题,让未完成请求保留部分进度;调度器给出的最优顺序仍限于论文定义的成本模型。
实验使用 Orin NX 16GB、AGX Orin 64GB 和多种量化 VLM,对照无检查点、重实现的 SONIC 与 HCache。论文另报告两颗低轨卫星上 72 小时、50 个请求的部署,其中 41 个经历中断。原型单卡一次处理一个请求;SSD 写放大由 I/O trace 在 MQSim 回放得到,并非实际寿命测量,论文未提供自身代码仓库链接。
来源:2026-10-21,A 级|论文与首提记录 · 恢复调度、基线与部署实验。
UlaCache|逻辑引用不随 KV 物理位置变化
10 月 21 日的 UlaCache,用统一逻辑地址连接多 GPU 的 KV 池与可选 CPU 存储,使分配、稀疏选择和物理位置分开管理。TP 本地缓冲保留选中的 KV 副本,后续只搬缺失项;启用 CPU 扩容后,PB-LRU 为多个请求共享的 GPU 池并行更新近期使用信息,在迁移完成后才更新地址映射。
Isaac Zhu、Alan Cao、Hugh Yin、Rocky Wang、Orion Wang、Hscos Zhang、Jack Li、Jason Zhao,UlaCache 论文图 3 · CC BY 4.0,原始 SVG 未修改。点击图片查看大图。
评估使用 GLM-5.3、8 张 H200 或 B300,FP8 权重与 KV、BF16 激活,对照 GPU 常驻 SGLang 和 CPU 支持的 HiSparse,并匹配内存预算。整批完成 prefill 后才计 decode,吞吐比较不同 batch 下的峰值,包含容量带来的并发优势。单请求仍慢于 GPU 常驻基线,少量替换时也有元数据开销;集成原型不等于上游已发布版本。
来源:2026-10-21,A 级|论文与首提记录 · 逻辑地址、DP/TP 架构与计时口径。
HAWK|把 GPU–NPU 布局转换放进 KV 传输
10 月 21 日的 HAWK,将 GPU 用于 prefill、NPU 用于 decode,并按 NPU 目标张量布局分配 RDMA 缓冲。发送侧把连续 GPU 缓冲映射到目标缓冲,接收后便可直接消费 KV,减少异构分离服务中额外重排的成本;设备连接路径与布局设计在这里需要一起考虑。
主配置为 4 张 A100 PCIe 40GB、4 张 Tenstorrent p150a、TP4 与 200Gbps HDR InfiniBand,服务 Llama 3.1-70B,对照 GPU–GPU 直接 RDMA 和两种 host-staging 配置。结果只覆盖这一模型与 NPU 组合;能效采用 ASIC 核心功耗口径,GPU 部分结合板级测量和模拟估计,成本也不是完整 TCO。代码仍计划开放,不能写成现成通用传输组件。
来源:2026-10-21,A 级|论文与首提记录 · 布局感知传输、功耗口径与开放计划。
平台工程|接入路径也是执行契约
GitHub Package Firewall|在真正下载前执行依赖准入
GitHub 在 10 月 20 日推出 Package Firewall Public Preview,面向 Enterprise Cloud,包括数据驻留版本。它同时检查包元数据请求和下载,支持冷却期、恶意软件或漏洞公告匹配、attestation 降级等条件,并为误拦截提供例外流程。页面 10 月 21 日的改写属于编辑更新,不是另一次发布。
当前只支持 npm,端点或内部 registry 必须实际改走企业防火墙入口。Artifactory 路径仍属实验性,并需排除直接访问公共 npm 的旁路。对 Agent 和 CI 来说,配置策略只是起点,安装请求真正经过准入点才会受控;它也不能保证识别所有未知恶意包。预览期免费,GA 后计划按用量收费。
来源:2026-10-20,A 级|GitHub 原始发布;B 级|端点、registry 与策略配置。
Antigravity Enterprise Gateway|集中模型流量,也分开计费身份
Google 在 10 月 20 日将 Antigravity Enterprise Gateway 标为 GA,允许 app、CLI 和 IDE 扩展先把模型推理请求送到企业网关。开发者以网关 API key 接入,网关再用集中 Google Cloud service account 调用模型,使模型流量检查、审计和出口策略有统一入口。
这一路径按 Gemini Enterprise Agent Platform PAYG 计费,不使用 Standard、Plus 的 seat 订阅额度,且不能同时启用网关和 Google Account 登录。网关还需及时转发 SSE,不能缓冲流式输出;客户端归因 headers 不等于可信身份。客户端有最低版本和平台范围,网页版不支持,模型请求被集中转发也不意味着本地工具执行已经隔离。
来源:2026-10-20,A 级|原始 GA 与计费说明;B 级|部署与流式转发契约 · 客户端支持范围。
Minerva|用拓扑关系连接硬件异常与慢作业
NVIDIA 在 10 月 22 日发布 Minerva AIOps 平台,将 GPU、网络、存储、调度器和作业遥测汇入动态知识图谱,按拓扑关联异常,并把多条症状聚成事件。原生助手和 MCP 接口让运维工具围绕实时遥测调查问题,修复可由人工实施,也可接入基础设施 API。
官方称 IREN 已在使用,其他部分合作方仍是计划部署;Collector 的开放源码也仍是后续安排。把接口异常与受影响作业关联起来是明确的系统方向,但发布材料中的客户陈述没有替代统一的故障注入、误报率和恢复效果评估。采用时仍需核对遥测覆盖及修复路径,不能由告警聚合直接推导出任何集群的可用性保证。
来源:2026-10-22,A 级|NVIDIA 原始发布 · 产品范围、部署与开放计划。
科研计算|把预测与解码放回决策条件
SAFE|在运行时间预测之后保守选择 walltime
10 月 20 日的 SAFE 不提出新的预测模型,而是在预测值与用户申请 walltime 之间增加决策层,有界地缩短申请时间,对未见特征签名加余量。其“相似”是签名精确匹配,并非向量距离给出的置信区间;SBERT 特征与预测器可以替换,最终策略仍要管理过早终止风险。
实验使用 Fugaku 约 2,400 万、Eagle 约 1,100 万条成功作业历史,按时间滚动训练与测试,比较多种预测器和保守策略。它是离线日志评估,没有完整调度模拟,也未测队列等待和 backfilling 收益,策略参数由人工选择。对应代码分支采用限制非商业、研究用途的 BullSequana Source Available License,不能称作可直接商用的一般开源组件。
来源:2026-10-20,A 级|论文与首提记录 · 决策层与离线评估 · 对应代码分支及许可。
GPU 量子纠错解码|收敛控制与消息精度共同设计
10 月 20 日 UTC 的量子纠错研究,将 Relay-BP 和 OSD-0 后处理放到 GPU,用 CUDA Graph 管理迭代,跳过已收敛样本,并把未解决样本送入后处理队列。混合 FP16–FP32 或 INT8 路径减少消息存储和访存,但逻辑错误率仍会随噪声与精度改变,不能笼统称为无损量化。
实验在 A100、GH200、RTX 5080 上使用 Stim 生成的 surface、HGP、BB90 三类电路噪声样本,对照同卡、同负载和噪声点独立调优的 FP32。单解码器摊销时间排除传输;另一组 burst 响应包含上传、执行和下载,却排除等待空闲实例的排队。研究没有接入真实量子处理器,也未验证多 GPU 解码集群或实时控制闭环,论文未提供本实现的明确下载链接。
来源:2026-10-20(UTC;上海时间 10 月 21 日),A 级|论文与首提记录 · 实现、精度与响应时间口径。
物理 AI|让控制输入改变下一轮观测
Cosmos3-Nano-Sim-Auto|生成同步相机与 LiDAR 反馈
Cosmos3-Nano-Sim-Auto 模型卡列出的 V1.0 发布日为 10 月 20 日,NVIDIA 在 10 月 21 日的工具扩展公告中介绍了这类仿真检查点。该模型经驾驶数据后训练和因果蒸馏,从历史缓存与新到达的 World Scenario Map 控制生成小块后续观测;相机视频和 LiDAR 同步输出,使驾驶策略更新能影响下一轮仿真,而非只播放固定场景视频。
模型按 OpenMDW 1.1 提供,原仓有接入入口。现有支持视角可直接配置选择,适配新的相机 rig 则需先后训练 Transfer-Auto,再做因果蒸馏。生成 LiDAR 必须提供与相机控制对齐的 HD-map range-map 控制;可选的实测初始条件仅支持一个 sweep,并非限制整段 LiDAR 输出。
模型卡的输出帧率表示视频播放时序,不能当成实际推理吞吐;模拟传感器的一致性也不能直接证明真实道路策略的安全性。应用仍需在自身传感器、控制频率与闭环场景中核验误差。
来源:2026-10-20(模型发布;10 月 21 日公告),A 级|官方模型卡、版本与输入输出条件 · Cosmos 原始工具入口 · 原始扩展公告。