AI INFRA DAILY 系统 · 工程 · 研究
缓存写入预算、可核验证明与本地语音
日报 ·
- 缓存管理
- 形式验证
- 本地语音
缓存系统|结构与复用共同决定资源分配
MoEZip|压缩 KV 时保护专家路由
近期补充:10 月 21 日 UTC 的 MoEZip,将专家路由对上下文扰动的敏感度纳入 KV 保留评分。它在 prefill 时结合路由 Fisher 信息与指令到上下文的注意力,选择需保护的锚点,再将剩余预算交给 KVZip 等基础压缩器;方法不需要重新训练模型,但需要访问内部路由和注意力统计。
主实验在两张 A100 80GB 上,用 Qwen3-30B-A3B-Instruct、GLM-4.7-Flash 对照 KVZip、SnapKV、PyramidKV,覆盖 4K–32K 上下文与 LongBench、RULER、NIAH。基本版本依赖下游指令,另有可跨请求复用的 MoEZip-Recon;评分增加开销,Fisher 也只是扰动代理。原仓目前只有 README 与 LICENSE,不能称完整实现已交付,任务评分提升也不能换算成推理加速比。
来源:2026-10-21(UTC 首提;近期补充),A 级|论文与首提记录 · 评分、质量与开销评估 · 原仓当前交付内容。
Gandalf|把 SSD 写入预算纳入缓存放置
近期补充:10 月 22 日 UTC 的 Gandalf,根据状态类型管理 DRAM 与 SSD 两层缓存。完整注意力的前缀 KV 与线性注意力的循环状态具有不同复用方式;DRAM 满时,系统比较丢弃状态造成的未来重算,与移入 SSD 的写入磨损及替换成本,避免仅凭近期访问决定所有状态的去向。
评估以 Kimi-K3 和请求轨迹回放为主,设置 100GB DRAM、1TB/4TB SSD,并为 LRU、Marconi 等基线补齐两层容量。时延模型假定 SSD 到 DRAM 为 10GB/s、DRAM 到 GPU 为 50GB/s、重算为每秒 60k tokens,不能当作特定 GPU 与 SSD 组合的实机端到端结果。
寿命按写入量及 1 DWPD、五年耐久规格估计,假定写放大为 1,未模拟盘内垃圾回收。降低写入也可能增加 miss 与重算,因此不能把寿命估计写成耗尽闪存的实测,或泛称保持命中率且没有延迟代价。论文提及 LMCache/vLLM 实现,但没有给 Gandalf 自身可核验的公开仓入口。
来源:2026-10-22(UTC 首提;近期补充),A 级|论文与首提记录 · 缓存策略、回放与寿命假设。
BeNice!|训练循环模型共享跨递归的 KV
近期补充:10 月 22 日 UTC 的 BeNice!,针对重复执行同一层块的循环模型,先用随机深度预训练促进各次递归的表征收敛,再加入辅助损失,让第一次递归适应最后一次递归生成的 KV。它保留正常语言建模目标,并在 Parcae 模型上比较共享与不共享缓存;共享能力需要训练条件支持,不能直接套到任意现成模型。
质量实验覆盖 140M–1.3B Parcae,对照常规微调,并测试与 MLA、KDA 及低精度缓存组合。服务部分另用 SGLang、AIPerf 回放 Mooncake 请求,通过重复开放模型中间层构造代理模型,研究内存受限时的容量和饱和行为;这不能证明原始 GLM 模型质量不变,低负载也未产生相同收益。
来源:2026-10-22(UTC 首提;近期补充),A 级|论文与首提记录 · 训练机制、质量与服务实验。
平台工程|恢复路径与证明命题需要明确
Cloudflare Agents 0.30.1|补上休眠任务的唤醒路径
Cloudflare 在 10 月 23 日发布 Agents SDK 0.30.1,修复 PiHarness 在另一任务运行时,未能通过 onWake 恢复休眠任务的问题,例如 compaction retry。它承接 10 月 22 日的 0.30.0/Pi 1.4:等待重试的 Durable Object 可以休眠,反复导致崩溃的任务进入 parked 状态,存储错误后也能重新打开 Pi 并退避重试。
采用时需传递 onWake,harness factory 必须允许重复执行。Pi 1.4 会改变 SQLite 会话格式,Pi 1.3 无法再打开,不能直接回滚到升级前版本。这使唤醒、停放和存储迁移共同成为持久任务的验收条件;外部副作用是否只发生一次,仍需应用单独保证。这是已发布的软件版本,不宜额外推断为所有相关能力均已 GA。
来源:2026-10-23(0.30.1;基础更新为 10-22),A 级|0.30.1 原始发布 · 0.30.0 发布与迁移条件 · Pi 1.4 官方公告。
Anthropic/Theorem|把测试入口转成可核验命题
近期补充:10 月 22 日,Anthropic 与 Theorem 介绍将 OSS-Fuzz 测试入口转换为形式命题的研究,由 Claude 生成证明,再由 Rocq 检查。证明针对编译后的 RISC-V 二进制,在单线程、静态链接、输入及内存上界等假设下检查入口可达路径;公开工件包含对应二进制、命题、证明和机器/进程语义。
研究总量与公开范围需要分开:首批公开工件只覆盖部分项目和入口,原仓明确当前公开证明不包含终止性保证,也不保证整个库或 sanitizer 无法检测的错误都被覆盖,更不能直接外推到常见的 x86/ARM、动态链接部署。将证明工件和检查器纳入交付链是可复用的工程方向,保证的强弱仍取决于命题及机器模型是否匹配实际运行条件。
来源:2026-10-22(研究与证明工件;近期补充),A 级|Anthropic 原始研究 · 公开证明与限制 · RISC-V/Linux 进程语义原仓。
科研计算|接口升级与算子近似分别验收
oneMKL 2026.2|数学库加入图重放和部分半精度路径
Intel 在 10 月 23 日发布 oneMKL 2026.2,为部分 BLAS 函数加入 SYCL graph 录制与重放支持,并让部分 CSR、USM 接口的稀疏操作支持 FP16。这是具体函数与数据格式的扩展,不能理解为整个稀疏求解流程已经支持半精度。
同版还将 CMake 的 SYCL 链接默认线程层改为 OpenMP,已弃用的 SYCL buffer API 开始发出警告。对混合并行应用,这些首先改变线程配置和迁移契约;发布说明没有统一硬件、负载和基线的性能表,不能据此给出通用加速倍数。正式安装包通过 oneAPI Toolkit 或独立下载提供。
来源:2026-10-23,A 级|Intel 正式发布说明与版本日期。
DiffVortex|压缩远场算子,保留涡粒子状态
近期补充:10 月 21 日 UTC 的 DiffVortex,不直接压缩流场,而是把连接涡量与速度的 Biot–Savart 核压成矩阵乘积算子,结合单层快速多极方法,保留拉格朗日粒子与物体边界描述。PyTorch 实现也展示了梯度穿过时间积分的验证,但改变网格、正则化半径、多极阶数或近场 stencil 后,需要重建算子。
性能实验在单张 A100 的 MIG 3g.40gb 分区上,以均匀随机粒子比较同设备直接求和;计时是一次速度求值,离线算子构造另计。近线性复杂度依赖固定参数、占据率及有限边界规模,小问题也可能更慢。全部物理结果仍是二维,运动与形变由外部预设,不能视为已验证三维或双向流固耦合;可微检查也只针对特定有限时间目标。论文承诺稍后开源,尚未给出可核实原仓。
来源:2026-10-21(UTC 首提;近期补充),A 级|论文与首提记录 · 算子构造、性能与物理范围。
多模态交付|语音生成与机器人标注各守用途
Ollama 语音|把 Phonon 接到本地流式输出
Ollama 在 10 月 24 日宣布支持 Phonon 文本转语音,可从终端朗读,也可通过兼容的 /v1/audio/speech 接口流式返回音频。发布文章建议使用 0.40.11 或更高版本,目前面向 Apple Silicon Mac;Windows 与 Linux 推理支持仍写作后续计划,不能由客户端具备播放器推断模型已能在这些系统运行。
31M 英语模型采用 Apache-2.0,40M 的英语、法语、德语、西班牙语、葡萄牙语及多语言模型采用 CC BY-NC 4.0,用途边界不同。接口提供 24kHz 单声道 WAV 或 PCM,每次输入最多 4,096 字符,不支持的速度、格式或指令选项会报错。文章的速度与词错误率比较针对 M5 Max、特定语音长度和英语样本,不代表所有语言、硬件或主观音色质量。
来源:2026-10-24(Ollama 语音支持发布),A 级|原始功能公告与测试条件 · 模型、平台与许可证说明;B 级|流式接口、格式与限制。
Flora|用三类标注模型连接机器人数据流程
近期补充:署日期为 10 月 20 日的 Flora 技术报告,解释用时序分割、动作描述和奖励模型构建机器人数据引擎;模型卡标注的权重发布日期为 10 月 15 日。流程先切分视频,再为目标片段生成动作指令,并给轨迹提供结果、过程或自定义 rubric 奖励。输出是数据标注,不是直接驱动机器人的控制策略。
Captioner 用目标前后的片段辅助消歧,目标时间边界由调用方提供,时间戳由整条流程附加,不能理解为单个描述模型独立完成所有步骤。报告对照 WGO-Bench、DenseCaptionBench 与奖励基准,各系统的视频输入和推理计算并不完全相同,也不是每个指标都领先。模型采用 NVIDIA OneWay Noncommercial License,仅支持非商业机器人研发,不支持商业或生产用途,也不能充当物理系统唯一的安全监控。
来源:2026-10-20(技术报告署日期;模型卡标注 10-15;近期补充),A 级|原始研究项目 · 技术报告 · Captioner 输入与许可 · TempSeg 用途与许可 · Rewarder 输出与许可。