AI INFRA DAILY 系统 · 工程 · 研究
缓存生命周期与集群准入,按执行阶段分配资源
日报 ·
- 缓存管理
- 集群调度
- Agent 运行时
推理系统|缓存布局和递归步长都需要运行时控制
SparseEngine 把稀疏注意力的集成问题推进到服务引擎层:不同方法保留的 KV 表示和执行流程并不相同,统一的稠密缓存接口可能限制它们发挥作用。作者提出共享生命周期契约,让方法管理自己的 KV 表示与计算,同时与公共服务基础设施协调状态转换;其实现支持四类、十五种方法,Chain Cache 从保留历史恢复 KV 淘汰方法的状态,Prefix-Cache Pruning 则在保留逻辑前缀匹配的同时删除指定历史区域的 KV。
编辑判断是,接入稀疏算法不能只增加一个 attention kernel,还要定义请求恢复与跨请求复用如何成立。论文报告了吞吐和端到端收益,但不同方法、并发及质量口径并不等价;部署前应分别验证输出质量、状态恢复、前缀命中语义与真实轨迹的内存峰值,不能把某项方法的收益推广到全部模型。发布日期:2026-09-30;近期补充。
来源 A 级:SparseEngine 原论文与代码入口。
递归推理的另一个控制变量是每次更新的幅度。TAPS 研究认为,循环 Transformer 固定使用单位尺度更新,可能在持续取得进展时过于保守,在状态波动时又过于激进;它追踪进展与波动的平衡,在线调整步长,并在结构化推理任务上展示无需重训练的准确率改进。对系统设计的启示是,测试时计算预算不只有“多跑几轮”,还可以调节每轮如何推进。论文的理论结论依赖充分条件,进一步训练带来的结果也不能算作纯推理期收益;不同递归架构、步长计算开销与停止准则仍需联合复测,不能据此推断普通自回归服务也能直接使用这一调度器。发布日期:2026-09-29;近期补充。
来源 A 级:TAPS 原论文。
平台工程|高利用率之后,要解决准入碎片和启动尖峰
AI21 在生产复盘中说明,接近满载的共享 GPU 集群既有团队间资源竞争,也有空闲容量散落在不同节点、无法容纳大作业的问题。团队采用 GKE 与 Kueue,并结合 Admission Fair Sharing 和拓扑感知调度:前者调整等待队列中的准入顺序而不打断已运行作业,后者把放置约束纳入准入决策。
AI21 报告高优先级作业等待由最多 72 小时降至 12 小时,人工干预由每周约 20 次降至零,碎片率由 15% 降至 8%;其基础设施包括 H100 的 A3 与 H200 的 A3 Ultra 实例。这里值得借鉴的是把公平性、整组资源准入和物理放置连成一条路径,而不是把更高利用率本身当作完成目标。这是客户自述的生产前后对比,没有控制所有变量;文中明确总成本未下降,不能把等待缩短换算成相同比例的训练加速或账单节省。
发布日期:2026-10-02;来源 B 级:AI21 原始工程复盘。
在单个 Pod 内,GKE 新预览的 CPU startup boost 同样按阶段分配资源。它通过 VPA 在启动时提高 CPU 请求,待 readiness probe 通过并经过配置的延迟后,使用原地资源调整恢复稳态额度,无需重启容器。对于导入大型 Python 库、构建依赖或执行 JIT 的服务,这使平台有机会减少启动节流,同时不长期保留启动峰值所需的 CPU。
预览要求 GKE 1.36.0-gke.4447000 或更高版本;Standard 集群需启用 VPA。收益取决于初始化是否受 CPU 限制,无法替代模型下载、存储 I/O 或 GPU 初始化优化。采用时尤其要验证 readiness 的含义、节点容量和 HPA 对启动尖峰的响应,避免短期提额影响整个节点的资源准入。
发布日期:2026-10-02;来源 A 级:GKE 预览公告、配置与限制。
科研计算|约束求解需要可修订状态,研究平台需要维护期限
Blackboard Intelligence 用扩散语言模型维护一块可修改的候选解画布,以模型内部平均置信度引导搜索和修订,探索全局约束任务是否受限于从左到右的推理接口。作者固定微调后的 LLaDA-8B-Instruct 检查点,在 ZebraLogic、护士排班和作业车间调度上评估,并报告护士排班精确可行率 76.4%、作业车间调度最优率 80.2%。
系统意义是将中间状态修订与约束满足纳入执行接口,而不只要求模型一次生成完整答案;这为学习型组合优化提供了值得复现的方向。上述比例属于论文任务和测试设置,不是实际医院排班或工厂调度的验收结果;置信度也不是可行性证明,生产使用仍需独立约束检查器、超时回退和成本评估。首次发布日期:2026-09-30,当前版本修订于 2026-10-01;近期补充。
来源 A 级:原论文与开源代码入口。
科研平台的长期责任也出现了明确变化:AWS 宣布 Research and Engineering Studio(RES)的 2026.09 为最终版本,停止继续开发,AWS 支持将在 2027-09-30 结束。现有部署继续运行,软件仍以 Apache 2.0 开源;用户可以自行维护、委托合作伙伴或迁移到其他方案。
对 HPC 团队而言,选型需要把安全更新、身份与桌面接入、作业入口和迁移责任写进维护计划,而不能仅确认今天能启动。AWS 明确指出 WorkSpaces、PCS 等路径并非 RES 的直接替代品;停止开发也不等于服务立即关闭,应按现有部署版本的支持期限与工作流差异安排迁移。发布日期:2026-09-29;近期补充。
来源 A 级:AWS 最终版本与支持时间表。
Agent 运行时|并发上下文和保留历史必须一起设计
Yandex 研究团队提出通用异步 Agent 框架,允许用户或 Agent 定义具有重叠记忆状态的推理协程,并用 Qwen 3.x 展示无需任务专门训练的流式视频理解、游戏和监控任务。它针对的是输入在思考或工具执行期间继续到来的情况,不能简单等同于并行调用多个工具。编辑判断是,调度层需要表达哪些任务共享状态、哪些新输入会影响正在执行的决策,并让取消和过期结果处理可观测。论文示例尚不能证明生产系统的延迟、吞吐和可靠性优势;共享记忆的竞争、工具副作用顺序及不同模型的支持能力,都需要独立验证。发布日期:2026-09-28;近期补充。
来源 A 级:通用异步 Agent 原论文。
OpenShell 团队的一组实验则说明,只在发往模型的请求中脱敏,可能仍保留另一条数据路径。研究使用 Pi v0.85.1、OpenShell v0.1.1 和四个模型,对比网络出口脱敏与进入会话管理器前脱敏;在前一种设置中,工具仍能读取磁盘或内存中的原始历史,模型可经编码后的工具结果恢复被遮蔽的信息,后一种设置则没有保留可恢复的原值。
这是特定配置下的简化邮箱实验,不代表所有沙箱或脱敏方案均失效,也不是广泛的泄漏率统计。对平台工程的直接启示是,数据策略应覆盖历史如何进入、持久化、被工具读取和离开系统的全过程。异步框架越积极共享上下文,越需要明确每个协程的读取边界;单靠网络白名单和字符串过滤无法证明这一边界成立。发布日期:2026-09-26;近期补充。
来源 B 级:OpenShell 团队实验、配置与记录。