跳到主内容

AI INFRA DAILY 系统 · 工程 · 研究

GPU 开始直接取数,Agent 轨迹走向可审计

日报 ·

约 6 分钟

  • GPU 存储
  • Agent 运行时
  • 多租户推理

头条|GPU 发起的存储访问开始有共同接口

NVIDIA 9 月 30 日宣布 cuObject 客户端和服务器库 GA,并发布 SCADA Server SDK:GPU 可经 RDMA 访问对象存储,数据路径不再绕经服务器 CPU;xio-sig 将同时纳入 cuObject 与 cuFile,IBM Storage Scale 已有 SCADA 原型互通。

**系统意义:**训练数据、检索上下文和工具数据的细粒度访问可能逐步从 CPU 代理路径转向加速器直达,统一 wire protocol 也有助于减少存储供应商专用适配。**待验证:**当前互操作证据仍是 NVIDIA 公布的原型和 SDK 能力;跨供应商兼容范围、并发小 I/O 下的延迟、故障恢复及安全隔离尚无独立基准。

发布日期:2026-09-30;来源 A 级:NVIDIA cuObject 与 SCADA 发布说明。

模型与系统|从请求排队到运行可观测性

生成式推荐也可复用 LLM serving 的编译与 KV 缓存路径。 NVIDIA 9 月 30 日发布 HSTU 端到端推理示例,将 PyTorch AOTInductor、FlexKV GPU KV cache 和 Dynamo-Triton 串起来;在单张 RTX PRO 6000 Blackwell、KuaiRand-1K 配置中,八层 HSTU、batch size 8 且 KV cache 100% 命中时,作者报告相较不带缓存的同一 AOTI 配置延迟最高降低 5.93 倍。

**系统意义:**推荐模型的长用户历史可以被视为可缓存的序列状态,复用通用 serving 部件而不另造一套运行时。**待验证:**数字来自单卡和特定数据/命中率,真实流量中的缓存命中、embedding 数据路径、负载并发及端到端推荐质量都未由该基准证明。

发布日期:2026-09-30;来源 A 级:NVIDIA HSTU 工程发布与基准。

Agent 推理调度要把 SLO 余量换成更少 GPU。 PackServe 预印本(9 月 27 日)用延迟预测将请求压到更少实例,同时保留 KV cache 复用并满足 token 间延迟目标。作者在 64 张 H20 上报告:30 ms TPOT 目标下最多少用 16.8% GPU-hours,50 ms 下最多少用 24.6%;另称其已部署到千卡以上集群。

**系统意义:**Agent 请求共享长前缀、且 prefill/decode 相互干扰时,调度器需要同时建模缓存局部性、SLO 和 GPU 占用。**待验证:**GPU-hours 与线上真实负载中的 34.7% 资源下降均为作者报告,工作负载、SLO 定义及生产调度对照仍需独立复现。今天仍值得读,因为它把多步 Agent 的缓存复用和服务成本放进同一个调度目标。

来源 A 级:PackServe 原论文。

Agent 的完成结果需要与完整轨迹一起评估。 NVIDIA NeMo Relay 的 9 月 30 日教程展示 Hermes Agent 输出 ATOF 事件流、ATIF 轨迹和带 OpenInference 标签的 OpenTelemetry spans,并用 Phoenix 检查模型、工具调用、错误与时长;附带的 ToolPerf 案例比较了 108 次运行中的 harness 修订。

**系统意义:**可排序、可关联的事件使调试和版本比较不必依赖 Agent 自述。**待验证:**教程只覆盖指定 Hermes 沙箱任务,108 次运行案例也不足以建立通用因果关系;跨 harness 的事件语义、敏感数据过滤和长期 trace 成本仍需检验。

发布日期:2026-09-30;来源 B 级:NVIDIA NeMo Relay 工程教程。

安全控制开始被设计为 Agent 外部的基础设施层。 NVIDIA 9 月 28 日发布 Open Agent Safety Platform 参考架构:OpenShell 在运行时隔离 Agent,NVIDIA Sentry 则通过 BlueField-4 DPU 独立观察策略决策和工具/数据访问。**系统意义:**把策略执行和审计置于 Agent 进程之外,可减少被监控对象自行修改控制逻辑的机会。**待验证:**这是厂商提出的参考设计;公开材料尚未给出独立红队评测、策略绕过率、端到端开销或跨硬件部署验证,不能据此视为已证明的安全保证。

发布日期:2026-09-28;来源 B 级:NVIDIA Open Agent Safety Platform 参考架构。

计算基础设施|生产部署与账单口径

Vera Rubin 已进入首批客户生产工作负载。 CoreWeave 9 月 30 日称 Cognition 是其首个运行 Vera Rubin NVL72 生产负载的客户;客户团队在 SWE-2 推理工作负载上测得相对 GB200 NVL72 最高 4.8 倍总 token 吞吐。**系统意义:**这是新一代机架级平台从 bring-up 到云端客户工作负载的部署信号,Agent 编程负载也被用作评估场景。**待验证:**吞吐数字由客户在供应商平台上测得,不能说明相同并发、响应延迟、准确率、功耗或单位成本;不同版本和工作负载需同配置对照。

发布日期:2026-09-30;来源 A 级:CoreWeave 原始公告。

推理账单的分摊规则本身会改变“谁在付费”。 9 月 21 日提交的 unalloc 研究连接 Kubernetes/OpenCost、自托管服务与模型 API 账单,提供开源核算工具。作者在合成多 Pod 账单案例中发现,标签不全会造成成本归属失真;在 H100/vLLM 多租户实验里,按 token 计费与按 GPU 时间分摊,对检索密集租户的成本份额相差 12–14 个百分点。

**系统意义:**共享 KV cache、网关与多租户 GPU 令成本核算不再是简单的实例时长分账。**待验证:**论文明确将部分账单例子标为合成数据;token 或时间都不是天然的“真实成本”,应结合功耗、缓存占用和服务策略说明口径。发布日期:2026-09-21;今天仍值得读,因为它把计量边界作为推理平台设计问题而非财务报表尾项。

来源 A 级:论文、工具与可复现数据。

科研计算与论文|性能之外还要验证数值与安全

GPU ODE 求解器针对大量小型独立问题优化执行模型。 modax 论文(9 月 28 日)介绍一个兼容 JAX 生态、但采用低层线程执行方式的 Python 求解库;作者在指定 Lorenz 与 Robertson 系统上,相对 diffrax 分别报告最高 30 倍和超过 700 倍加速,并给出宇宙学参数估计与不确定性量化示例。**系统意义:**大量短小、轨迹分歧的 ODE 可能更受调度和稀疏结构处理影响,而不是单纯受峰值 FLOPS 限制。**待验证:**加速比依赖问题、精度容差、基线实现及硬件;应用示例的科学精度和更广范围问题尚需复核。

发布日期:2026-09-28;来源 A 级:modax 原论文。

科研代码 Agent 的验收开始同时检查程序证明与领域约束。 CDES 预印本(9 月 28 日)把 Agent 用于 Geant4 两个粒子模拟函数的 CPU-to-GPU 移植,并组合形式检查、数值比较、物理检查与 GPU 安全测试;作者报告含数据转换和传输的函数级加速为 13.78 倍和 23.54 倍。**系统意义:**科学代码迁移不能只看单元测试通过或 kernel 计时,还须验证物理行为与设备安全。**待验证:**当前仅两个函数,作者报告的性能和正确性不能代表完整 Geant4 工作负载;更大的任务集、不同 GPU 和误差容限仍需评估。

发布日期:2026-09-28;来源 A 级:CDES 原论文。

检索覆盖当天及过去 72 小时,并扩展至 14 天内系统论文、科研计算和官方工程发布;优先原论文、原始公司/机构文章与原仓库。对照近 30 天日报,按论文 ID、仓库、事件和发布日期去重,跳过 12 条已报道线索:9 月 30 日日报中的 MaxLPS、TopoEP、VarioPath、TempoKV、EfficientAgent、GPUPhysBench、ASCEND、AlphaFold2 云 TPU 与 Condé Nast 案例,以及 9 月 27 日日报中的 Cluster Readiness Engine、SWE-Serve、BioNeMo MoE 配方。

本期 9 项独立一手事件:A 级 7 项、B 级 2 项、C 级 0 项。所有性能数字均保留来源方的实验边界,不视为独立复现或普遍承诺。