AI INFRA DAILY 系统 · 工程 · 研究
稀疏 KV 与弹性权重,重排模型服务的内存
日报 ·
- KV Cache
- 内存管理
- Agent 运行时
头条|稀疏注意力之后,SSD 读取仍可能卡住首 token
Janus 研究面向 SSD 保存历史 KV 的稀疏注意力 Agent 服务:提前用模型自己的选择模块预测需要读取的 KV,让 I/O 与计算重叠;预测漏项在 attention 执行前补读,以保持模型输出,同时合并相邻读取、整理写入并限制读期间的后台写流量。
作者在三个模型、三组 Agent 轨迹上报告相对不同基线的平均 TTFT 加速为 1.22—1.85 倍。**系统意义:**低成本 SSD 层能否实用,取决于数据选择时机和读写干扰,缓存命中率本身并不足够。**待验证:**预测召回、SSD 型号、并发与长会话分布会影响收益;须复测漏项补读开销和输出一致性。
发布日期:2026-09-29;来源 A 级:Janus 原论文。
模型与系统|把内存压力纳入模型执行决策
权重占用也可以随负载变化。 DPS 在 vLLM 上实现 Semi-Unified Memory:保留低精度权重区,另一块区域在高精度残差权重与 KV blocks 之间复用;KV 压力升高时切换到嵌套的低精度模型。作者在稠密与 MoE 模型、生产负载轨迹上报告相对静态 FP16 的持续吞吐提高 2.1—3.3 倍,并主张保持 FP16 级准确率。
**系统意义:**服务容量规划可以把精度与权重占用视为运行时变量。**待验证:**精度切换成本、负载下的输出质量和 SLO 口径必须一起验证,不能从吞吐数字推断无损量化。发布日期:2026-09-28;近期补充,今天值得读,因为它直接处理权重和 KV 的容量竞争。
来源 A 级:DPS 原论文。
MoE 路由可以为专家缓存局部性共同训练。 MaskCoFT 同时微调 router 和 experts,训练时用可学习掩码集中路由,推理时改为软先验而保留全部专家的可选性。作者在实际 offloading 服务中报告 Mixtral-8×7B、DeepSeek-V2-Lite 的 TPOT 最多分别下降 16.4% 和 5.5%。
**系统意义:**专家加载成本不仅由缓存策略决定,还可通过模型与系统共同设计改变访问分布。**待验证:**结果依赖两个模型和指定缓存预算;更大并发、跨域质量与训练成本尚需复测,论文称代码和检查点将在发表后公开。发布日期:2026-09-28;近期补充,今天值得读,因为它提供了与 SSD KV 优化不同的内存流量削减路径。
来源 A 级:MaskCoFT 原论文。
计算基础设施|原生运行时与持久化 Agent
本地模型从 Python 导出到 C++ 执行有了完整样例。 NVIDIA 介绍 DIN Deploy,以 Python 导出 ONNX 工件,再用原生 C++ CLI 经 ONNX Runtime 的 TensorRT RTX 或 CPU execution provider 运行,覆盖语音识别、SAM 2.1 分割和 FLUX.2 图像生成,并提供 Windows、Linux 构建预设。
**系统意义:**模型转换与应用运行解耦,有助于原生应用复用稳定的 tensor/session 接口。**待验证:**样例不是通用部署平台;算子覆盖、目标 GPU、量化质量、首次编译与持续运行性能仍需按设备验证,DGX Spark 的结果不能直接外推到所有客户端。发布日期:2026-10-01;来源 A 级:官方介绍 · 原仓库与构建说明。
AgentCore 的实例模式将 GPU、文件和会话放在同一执行单元。 AWS 的 Runtime Instances 工程案例说明,同一 capacity provider 下使用相同 session ID,可让多个 Agent 运行时共置于一台托管 EC2 实例,共享 GPU 与持久化 EBS 文件;文档对比表列出最长 14 天会话。**系统意义:**大工件交接和长时科研、仿真流程需要持久化计算层,而不只是无状态模型 API。**待验证:**案例中的共置意味着共享实例资源;租户隔离、资源争用、恢复和费用须单独评估,跨日恢复还依赖返回同一可用区。
发布日期:2026-09-30;来源 B 级:AWS 原始实例模式与工程案例。
事件驱动 Agent 要把等待人工处理成持久化状态。 AWS 发布 ambient-agent 参考实现,由 S3 事件或定时任务经 SQS/Lambda 启动作业,DynamoDB 保存状态和对话,ask_human 将执行中断为等待人类输入的任务,再继续工作。**系统意义:**事件、重试、人工审批和 Agent 推理被连接为可观测的作业生命周期。**待验证:**实现中的单个 turn 受 Lambda 15 分钟限制;新增事件类型仍需扩展代码,重复投递、审批恢复和失败队列处理须验证,不能把示例视为默认生产保证。
发布日期:2026-10-01;来源 B 级:AWS 架构与参考实现。
科研计算与论文|容器可运行,不等于性能可迁移
HPC 的容器部署仍需执行前基准。 一篇量子化学软件研究用 Podman 对比预编译程序的容器内与系统原生执行,指出性能取决于 CPU 优化构建、启动开销和执行配置;短任务可能被容器准备时间主导,长计算则需跟踪实际进展。**系统意义:**可复现工件应同时记录编译目标、准备时间和工作负载,不能用“容器启动成功”代替性能验收。
**待验证:**研究未额外优化网络,只覆盖指定软件和节点,不支持把结论推广成容器必然慢于原生。发布日期:2026-09-27,主要结果在 9 月 21—25 日 EGI2026 展示;近期补充,今天值得读,因为长时 Agent 正将更多科学软件封装进运行平台。
来源 A 级:HPC 性能与可移植性原论文。
工程与开源雷达|能力说明需要对应实际验收
DOCA 将硬件契约写进开放的 Agent 技能。 NVIDIA 公布 DOCA Agent Skills,提供真实 API 签名、硬件支持检查、构建约束和常见故障说明,覆盖 Flow、GPUNetIO、PCC、RDMA 等组件。其 65 个 prompt 的内部测试中,回答检查项满足率从 19% 提高到 100%。**系统意义:**基础设施代码生成需要版本和设备契约,结构化知识可减少编造 API 与忽略能力检查。**待验证:**该比例是厂商指定回答 checklist 的结果,不能等同于完整系统编译、运行或安全测试通过;跨模型和未见任务需独立验证。
发布日期:2026-10-01;来源 A 级:NVIDIA 原始发布与评测方法。
AWS 将合作伙伴 FDE 能力拆为数据、编排和证明三条路径。 AWS 发布 Ground、Orchestrate、Prove 三个学习与验证路径,以及 FDE Validated、FDE Advanced 两档资质;官方说明包含在 AWS 提供环境中的动手验证,而不只依赖课程完成或选择题。**系统意义:**产业交付将权威数据、身份与恢复、评测与可观测性作为 Agent 生产部署的工程能力要求。**待验证:**资质本身不能证明某个项目的交付质量;仍应检查具体系统的 SLO、故障恢复、安全和运营证据。
发布日期:2026-10-01;来源 A 级:AWS FDE 路径原始公告。
本期优先检索过去 72 小时的官方发布,再补充 14 天内未报道论文;媒体和编辑型论文索引只用于发现线索,正文均回链一手材料。对照近 30 天日报,以 URL、论文 ID、仓库与底层事件去重,跳过 MaxLPS、AgentCore 弹性运行时、vLLM-Omni 部署系列和 Condé Nast 视频检索等 4 个已报道事件。本期 9 项独立事件,A 级 7 项、B 级 2 项、C 级 0 项。覆盖仍偏向服务、运行时和工程采用;没有把过期芯片消息或未核验产业传闻计入当天信号。