跳到主内容

AI INFRA DAILY 系统 · 工程 · 研究

从 KV 生命周期到科研工件,验收覆盖完整任务

日报 ·

约 6 分钟

  • KV Cache
  • 科研评测
  • 隐私计算

推理与缓存|复用、压缩和确定性各有自己的契约

KVTether 指出,Agent harness 知道某段消息正在使用、已经永久丢弃或只是暂时闲置,服务层却往往只看到缓存访问记录。它追踪 harness 中的语义原语,把消息生命周期转换成 KV 状态:先回收已失效的 KV,再优先保留仍存活、等待复用的缓存。相较仅按最近访问时间淘汰,这提供了一个让任务语义参与内存管理的路径。

论文在 Agent 基准和生产负载上报告相对 LMCache、MORI 的收益,但不能把来源方的估算任务成本当作实际云账单节省。部署时需验证消息编辑、子任务结束和工具失败是否及时更新状态,以及丢失生命周期事件后的回退行为;错误地把活跃状态标为失效,会让优化变成重计算甚至正确性问题。发布日期:2026-09-30;近期补充。

来源 A 级:KVTether 原论文。

Vosti 则为“确定性推理”提出系统级规格:固定模型与部署配置、相同 prompt 和初始采样器状态时,对应输出位置的 logits 应逐位相同,即使批次、分块或 KV 复用路径变化。作者把证明拆到引擎与 GPU kernel 的边界,用 Verus 验证调度和分页、共享前缀缓存保持输出,用 Triton 分析器检查选定 kernel 的位级等价。

编辑判断是,可复现服务不能只固定随机种子,还需要明确哪些运行时变化属于承诺范围。作者在部分执行变化下发现现有模式的 logits 差异,这不代表所有版本或部署均有同样表现;Vosti 的保证也受已验证 kernel 和固定配置边界限制,不能扩展为任意硬件、量化或模型更新之间的等价性。发布日期:2026-09-30;近期补充。

来源 A 级:Vosti 原论文与规格。

PatchKV 探索另一种压缩补偿方式:保留压缩后的 KV,同时在上下文加载时用岭回归计算一份上下文专属权重补丁,使部分上下文信息转移到权重中。论文在长上下文问答和数学基准、三种模型架构上评估,并说明在单上下文、多查询设置下,补丁合并后前向图与每次查询成本不变。对平台的启示是,缓存预算可以与权重适配共同设计;边界则是补丁计算和合并仍有加载成本,“无需训练”不等于没有预处理。多租户服务还需处理上下文专属权重的隔离、切换、批处理兼容性和内存占用,不能把单上下文收益直接外推到混合请求池。发布日期:2026-09-30;近期补充。

来源 A 级:PatchKV 原论文与代码入口。

平台与产业|加速器等待的时间也属于系统成本

Google Cloud 宣布面向 Agent RL 的 GKE Agent Sandbox、编排 SDK 及相关集成正式可用,组合预热池、镜像流式加载、控制面限速和 Pod 原地回收。其十节点 gVisor 池测试覆盖 500 个 SWE-bench 镜像及 4,578 个 R2E 镜像;相对原始 Kubernetes Pod 基线,平均首次命令时间由 44—85 秒降至 1.1—8.8 秒,最大等待由 450 秒降至 10 秒以内,并发范围为 500—18,312 个任务。

这里的速度指标属于环境就绪,不是模型训练或任务正确率提高相同倍数。编辑判断是,同步 RL 的关键路径包括最慢的 CPU 环境,镜像高基数和控制面突发需要共同治理;预热资源成本、回收后的状态清除、不同集群规格与隔离要求仍须独立验收。发布日期:2026-09-29;近期补充。

来源 A 级:GKE 原始公告、基准与 SDK 入口。

Nebius 宣布收购 Inferize,技术和团队已加入 Token Factory,重点处理模型加载、需求突发和权重更新期间的推理冷启动。公告将这类等待称为闲置 GPU 成本,并把其优化连接到弹性容量和 token 经济性。产业信号是托管推理平台继续吸收模型执行之外的系统能力,容量“已分配”与“可服务”之间的间隔正成为竞争因素。但原公告没有给出可复现的硬件、模型、基线或量化收益,交易条款也未披露;不能据此认定产品已经实现某个加速倍数或成本降幅,实际整合效果仍需服务就绪时间、峰值负载和 SLO 数据支持。发布日期:2026-10-01;近期补充。

来源 A 级:Nebius 收购原始公告。

科研计算|让发现能力和软件工件分别接受检验

EurekaBench 收录经专家核验的 26 项长周期任务,覆盖神经科学、计算机科学、化学、天体物理、地球物理和等离子体物理,包含预期机制应支持的 306 项科学洞见。它把评估拆成已知科学约束、预测准确性和机制能否带来洞见或指导后续研究。作者观察到,受测 Agent 倾向过度优化预测准确性,在提炼科学洞见上仍有明显不足。对科研平台的启示是把机制、约束和实验记录作为验收对象,避免只按误差指标奖励搜索。结论属于这组任务和评价框架,不能等同于科学发现已被完整量化;领域覆盖、评价者一致性及真实实验验证仍是边界。首次提交日期:2026-09-30;近期补充。

来源 A 级:EurekaBench 原论文。

OSWorld-Science 聚焦更具体的门槛:Agent 能否学习并操作科研软件,产出可核验结果。基准包含 146 项任务,并评估十二种 VLM,覆盖分子绘制与逆合成、病理图像分析、统计计算和物理模拟;执行式评价器检查应用状态以及分子结构、分割掩码、图表和数值工件,并为未完整完成的结果给部分分数。

这使模型能力与 harness 设计可以围绕同一科研目标比较。编辑判断是,自动化科研软件的验收应读到工件和计算状态,而不能仅依据 Agent 自述完成;任务选择、软件配置、多语言、上下文长度及交互策略会影响结果,基准通过也不能替代研究结论的专业复核。发布日期:2026-09-30;近期补充。

来源 A 级:OSWorld-Science 原论文。

分布式训练|把数据访问、密钥和恢复状态纳入隐私证据

Google Research 公布新一代基于可信执行环境(TEE)的联邦学习系统:设备加密上传训练样本并预先授权访问策略,策略进入公开透明日志;TEE 集群中的密钥管理服务只向匹配策略的工作负载交付解密能力,训练任务再将可并行部分分发给 worker TEE。系统还保存加密恢复状态,并公开可复现构建的相关代码;团队称 Gboard 已采用该系统。

它把训练计算移到服务器,同时试图让数据处理与匿名化逻辑可以外部验证,因此“联邦学习”在这里不能简化成原始数据始终只留在设备上。编辑判断是,隐私能力需要覆盖授权、远程证明、差分隐私和故障恢复整条链路;TEE 的硬件信任及侧信道限制仍存在,公开构建与日志也不等于所有部署均已完成独立审计。

发布日期:2026-10-02;来源 B 级:Google Research 系统设计、采用情况与限制。