AI INFRA DAILY 系统 · 工程 · 研究
递归状态落盘、分包运行栈与可核对的 DNA 数据
日报 ·
- 前缀缓存
- 平台交付
- 科研计算
推理与训练|缓存可恢复,预测成本也要进入调度
HiState|KV 命中之外还要找回递归状态
近期补充:HiState 针对全注意力与递归层混合的模型,将历史递归检查点放到 SSD,优先用快内存保留 KV。递归状态不能从较长前缀倒退到较短前缀;恢复请求时,要取回一个合适的检查点,再补算到目标位置。检查点间距和淘汰策略因此需要一起调整。
单张 H100 80GB、Qwen3.5-9B、最多 24 个活跃会话的 Weka 与 TraceLab Codex 轨迹回放,在相同 GPU 及对应存储层预算下,对比 vLLM-Marconi 0.27.1 和 SGLang-HiCache 0.5.22,作者报告 p99 TTFT 最高加速 5.73 倍和 5.44 倍。
相对作者扩展的 vLLM-Disk*,中位数大致相当,Weka 上略有退步;尾延迟收益不能写成所有请求统一提速。论文尚未给出可核实的实现仓库入口。
来源:2026-10-30(UTC 首提,近期补充),A 级|论文与首提记录 · 缓存机制、预算与分位数对照。
LEAP|用完成请求的长度修正下一次预测
近期补充:LEAP 从 prefill 晚层取出最后一个提示 token 的隐藏状态,用 CPU 上的线性读出预测输出长度。请求完成后,真实长度通过递归最小二乘更新系数;预测和初始排序与剩余 GPU prefill 重叠,避免另一个大预测模型占用推理路径。
实验使用单张 A800 80GB、八个 Xeon Gold 6348 逻辑 CPU 及 vLLM 0.8.5.post1 eager 模式,覆盖三种 7B–8B 模型和 Alpaca、ShareGPT、LMSYS 负载。比较固定请求及输出轨迹,并计入传输、排队和预测执行成本。短作业优先仍有长尾公平代价,实验另设等待保护;在线适应依赖完成反馈,多 GPU、前缀缓存与分块 prefill 尚不在验证范围内。
来源:2026-10-30(UTC 首提,近期补充),A 级|论文与首提记录 · 异步预测、回放条件与调度限制。
MemX|训练配置同时优化时间和内存分布
近期补充:MemX 在 Megatron-LM 上联合搜索并行配置、流水调度与逐 stage 重计算。少量实测 profile 经插值补充后,用 XGBoost 预测迭代时间与峰值内存,再按时间、峰值和跨卡内存平衡的加权目标选择配置;显存不再只充当“能否运行”的硬约束。
实机包括四张 A100 80GB、两组各八张匿名厂商 32GB GPU 的 20 卡集群,以及四张 V100 加两张 T4 的小集群。后者的时间最优选择与 AMP、FaSOP 并列,内存平衡目标则选出更均衡但稍慢的配置。40/60 卡结果属于基于已测数据扩展的模拟,搜索秒数不包含前期 profiling,更不是完整训练用时;匿名设备也不能自行映射到具体厂商。
来源:2026-10-30(UTC 首提,近期补充),A 级|论文与首提记录 · 加权目标、实机与模拟范围。
基础设施|交付证据和索引完成状态都需单独检查
AICR 1.2|基础栈与运维层分包交付
继 1.0 的稳定接口与固定配方后,NVIDIA AICR 1.2 新增 core/ops 分包:前者承载普通 GPU pod 所需基础栈和 fabric 安装依赖,后者承载工作负载平台,便于分别部署和归属。--require-evidence 可拒绝缺少已发布证据的配方;可选 Operator 在集群内校验配方、记录 inventory 指纹,并在批准后推进 bundle rollout。
正式版本号不代表 Operator 同步转正。随版 Operator 仍是 Preview,默认运行其测试过的 AICR 1.1.2;固定版本支持政策说明 EKS H100 profile 尚未实机运行,GKE H100 仍在资格验证,GB200 Operator profile 不作支持声明。发布中另有的配方合规证据,也不能推广成 Operator 已覆盖所有 GPU、网络和性能条件。
来源:2026-11-02(22:03 UTC 发布,上海时间 11 月 3 日),A 级|AICR v1.2.0 原始版本记录;B 级|固定版本 Operator 支持政策。
AI Search|默认同步间隔改为一天
Cloudflare 将 AI Search 默认同步间隔从六小时改为 24 小时,仍可通过控制台或 API 在 15 分钟至 24 小时之间配置。外部网站与 R2 的新增、修改和删除经同步作业进入索引;内容源已经发布,不代表检索已经能返回新内容。
CMS 发布或 CI 完成后可触发同步,但触发作业不等于索引立即完成,用时还受文件和模型处理成本影响。内置存储的上传文件逐个索引,不采用同样的定时同步机制。公告也把计费起始日从 11 月 1 日推迟至 12 月 1 日,费率与包含额度不变;现有实例是否统一迁移到新默认值,公告未明确说明。
来源:2026-11-02,A 级|默认间隔与计费日期公告;B 级|数据源同步与作业完成条件。
科研计算|输出压缩与实验分析各有验收口径
Falcons|压缩科学输出,保留误差界的含义
近期补充:Falcons 将规整内存访问的插值预测、SIMD 和自适应无损编码组合成 CPU 科学数据压缩路径。在 Sugon-SD、每节点双 Xeon Platinum 8358P 的 2048 核 WRF CONUS 2.5km 测试中,它通过 HDF5 filter 接入 NetCDF-4 输出,不修改天气数值内核。
端到端时间从未压缩 NetCDF-Classic 的 479.81 秒降至 310.29 秒;同表 Zlib 为 1031.34 秒,约 1.55 倍收益对应的是未压缩基线。值域相对误差界为 10⁻³,表示绝对误差界等于数据值域乘 10⁻³,并非逐点相对误差。
输出路径改善不能替代下游科学分析的有效性验证;当前公开实现对旧压缩流也不兼容,长期归档需固定编解码版本。
来源:2026-10-30(UTC 首提,近期补充),A 级|论文与首提记录 · 端到端对照与误差条件,图 12 · 作者实现与数据版本限制。
instrMCP|会操作仪器和会分析结果分开评分
近期补充:instrMCP 连接 QCoDeS、测量编排和共享 notebook;q-devBench 将 37 个真实凝聚态实验任务重建为虚拟仪器,主要靠预记录数据插值重放响应。
十种 Agent 配置、1850 次运行中,测量评分项满足比例为 70–83%,分析评分项为 28–46%;它们不是完整任务成功率。评测由 GPT-5.2 high 按 rubric 自动评分,并有部分第二 judge 审计,结果也受评分器适用范围约束。
评测在虚拟仪器 sandbox 中自动同意操作,真实使用则由实验者 consent dialog 介入,不能从仿真推断实机自治安全。参考 CSV 消融同时改善数据并简化会话,也不能把分析差距单独归因于上下文长度。instrMCP 已有公开代码,但论文仍缺完整基准数据入口,不能据此宣称整套评测已经可复现。
来源:2026-10-30(UTC 首提,近期补充),A 级|论文与首提记录 · 虚拟仪器、评分口径与交付范围 · instrMCP 原仓库。
开放交付|把任务权限与训练数据落实到可检查记录
dsh-superagent|观察模式不拦住已授权的明确请求
DeepSeek Harness 团队公开的 dsh-superagent 面向单个 GitHub 仓库,可选接入飞书,将获准请求转成 Ticket,交给独立会话和目录执行,再回到原对话交付结果。默认 observe 模式只记录推断任务是否“会接受”,明确请求在所有模式下仍可执行;上线前的观察日志用于核对主动接单规则,而非证明 Agent 已暂停。
宿主约束允许名单、规则和任务授权,执行者仍以操作系统用户身份运行命令。独立目录和账号包装器不构成安全隔离,合并要求也主要由提示约束,需要仓库分支保护另行落实。公开版被明确标为研究原型,与内部实现和设计文章并不完全一致,不能当作正式产品或把所有设计设想视为已实现能力。
来源:2026-10-31(代码提交),A 级|原仓库与原型范围 · 首个公开代码版本;B 级|准入、观察与恢复授权 · 执行身份与合并边界。
FineDNA|训练数据规模与实际采样量分别公开
近期补充:FineDNA 开放 Carbon-X 的中期训练、SFT 和 RL 数据。它延续 Qwen3-14B 的 DNA 与文本联合训练路线,既提供按来源拆分的语料,也给出后训练实际使用的行序,让研究者能检查不同阶段的数据组成。
中期训练配置合计约 514.30B token,Carbon-X 按加权混合实际读取 302B;部分来源重复采样,部分只读取一部分,两个数字不能互换。SFT 与 RL 的混合行序又不同于中期训练的采样方式。数据集以 Apache 2.0 发布,但第三方来源保留自身条款;复现实验仍需同时固定起始检查点、混合权重和训练代码。
来源:2026-10-30(数据仓库与数据卡版本记录,近期补充),A 级|FineDNA 原始数据卡 · 数据卡版本记录。