跳到主内容

AI INFRA DAILY 系统 · 工程 · 研究

平级 KV、按需镜像与随数据保存的来历

日报 ·

约 7 分钟

  • KV 存储
  • 工作流执行
  • 科学溯源

训练与推理|把布局和加载时机放进执行计划

TIDE|集合通信直接对应参数布局

10 月 28 日 UTC 首提的 TIDE,保留 FSDP2 逐参数存储与计算内核,将布局转换合并到集合通信的寻址过程。All-gather 直接把分片放到参数位置,reduce-scatter 则读取逐参数 bf16 梯度并汇总成 fp32 分片,减少通信前后的打包与复制;前者的传输和放置不占 SM,后者仍使用短时 CTA 做节点内累加。

论文在八节点、每节点八 GPU、节点内 NVSwitch、每 GPU 一条 RDMA rail 的拓扑上,对照 Stock FSDP2 与 FSDP2+SymmMem,覆盖 Llama、Qwen 和 Wan 负载。正文未明确 GPU 型号,性能结论需连同拓扑阅读。新的归约顺序不保证与 Stock 位级一致,短程 loss 检查也不是完整收敛证明;实现和基准仍计划在正式发表时释放。

来源:2026-10-28(UTC 首提),A 级|论文与首提记录 · 通信机制、实验与交付状态。

FlatCake|DRAM 和 SSD 平级放置 KV

FlatCake 利用 KV 块写入后不可变、按会话复用的特点,在创建时直接选定 DRAM 或 SSD,避免层级驱逐带来的反复迁移。SSD 数据按会话连续、逐层排列,经合并读取和 GPUDirect Storage 进入有界 GPU 窗口;DRAM 与 SSD 请求分开排队,减少长前缀占住主机暂存缓冲区的情况。

实验使用八张 B200 180GB、3TB 主存及八块 PM9A3 RAID0,各系统同为 1TiB DRAM KV 与 4TiB SSD KV 预算。DeepSeek-V4-Flash-0731、FP8 KV 在不预热的编码 Agent 轨迹回放中,1 QPS 的平均 TTFT 为 7.57 秒,Mooncake 为 12.24 秒。该结果依赖指定存储和高前缀复用轨迹,不能归因于 GDS 单一机制,也不是已完成的大规模多节点部署证明。

来源:2026-10-28(UTC 首提),A 级|论文与首提记录 · 平级地址、读取路径与公平预算对照。

GearUp|用上游执行时间准备下游模型

GearUp 将库、权重和 CUDA 准备等加载阶段分别量测,再利用 DAG 上游执行留下的余裕,提前安排下游加载。它跨请求复用已初始化实例,并按近期到达分布调整空闲保留时间,让降低冷启动的收益与主机、GPU 内存占用共同进入决策。

单台 AWS g6e.4xlarge、L40S 48GB 的测试覆盖五函数 AMBER Alert 和十一函数 FINRA-ML DAG,到达时间来自 Azure Functions 2019 的 300 分钟、319 个根请求片段。AMBER Alert 的延迟中位数为 12.4 秒,SMIless 为 34.9 秒;这是指定工作流的回放,不能当作 FINRA 生产部署。论文中的内存分配节省按 GB·s 积分计算,不能解释成相同比例的峰值显存下降。

来源:2026-10-28(UTC 首提),A 级|论文与首提记录 · 分阶段预加载、流量与资源口径。

云平台|先启动必要路径,再按已定义流程执行

SageMaker SOCI|训练容器按需取回镜像文件

AWS 在 10 月 29 日公告 SageMaker AI training 与 processing jobs 支持 SOCI 索引镜像,关联工程博客已于 10 月 27 日发布。启动阶段先取回必需文件,其余按首次访问或后台下载;索引不可用时回退完整下载,现有作业接口和数据通道沿用。

训练文档要求 private ECR、tag 引用和 SOCI index v2;digest 引用、v1 索引与 VPC 私有 Docker registry 仍走普通下载,派生镜像也要为最终镜像重新生成索引。工程测试显示首轮读取仍可能增加开销,入口预读大部分镜像时收益会缩小;它改变的是启动关键路径,不能推出训练步骤普遍加速。依赖 Docker CLI 或 socket 的入口还需检查 containerd 运行时差异。

来源:2026-10-29(产品公告),A 级|AWS 原始公告;B 级|训练文档与回退条件 · 2026-10-27 工程说明与首轮读取代价。

Step Functions Connector|Agent 选择调用,状态机决定步骤

AgentCore Gateway 在 10 月 29 日新增 Step Functions connector,将选定操作以 MCP 工具暴露,生成 schema 并用 Gateway service role 认证。已有 Standard 与 Express 状态机可接入:Agent 决定何时调用和传什么输入,状态机继续决定执行步骤、顺序与重试,适合接入已审阅的业务流程。

四种状态机操作可固定 stateMachineArn;执行 ARN 与 task token 操作则接收 Agent 提供的标识,访问范围仍需 IAM 和凭据管理。回调模式仅支持 Standard,Express 也不提供相同的执行历史查询能力;Gateway 只调用同一区域的 Step Functions。固定工作流顺序并不自动验证模型输入或所有后续工具操作。

来源:2026-10-29,A 级|AWS 原始公告;B 级|操作、固定参数与权限边界。

科研计算|产物携带来历,资源在线路间调整

TRACEs|把执行上下文嵌入科学数据容器

10 月 29 日 UTC 首提的 TRACEs,用 Apptainer 应用/数据容器承载任务,Pegasus 负责调度;每个任务结束后,本节点的 provenance-writer 将输入输出关系、命令、环境和身份元数据嵌入输出容器。数据转移或归档后仍能查询生成来历,溯源记录无需始终依赖外部执行平台。

Anvil 集群、共享 GPFS 上的七阶段 E. coli 变异检测工作流,在 2/4/8 节点验证所要求字段的完整性;容器格式的性能对照通常在单个 128 核节点进行。IMG 与 SIF 对照都启用了 writer,因此不能据此声称溯源相对无记录执行几乎零开销。字段完整也不证明科学内容真实或记录不可篡改,跨工作流互操作仍需验证。

TRACEs 溯源流程:应用读取输入容器并生成数据,provenance-writer 收集执行上下文与输入输出关系,再把元数据嵌入输出容器。
图 5:任务先生成输出,provenance-writer 再收集执行上下文与数据血缘,最终让数据和元数据保存在同一容器中。流程说明记录如何随产物保留,不证明记录本身真实或不可篡改。原图作者 Ty Anderson、Kin Wai Ng、Rajiv Mayani、Jay Lofstead、Ewa Deelman、Michela Taufer,出处为 TRACEs 论文图 5,按 CC BY 4.0 原样转载,可点击查看原图。

来源:2026-10-29(UTC 首提),A 级|论文与首提记录 · 溯源架构、字段与实验范围。

QuEST+DMR|在线路边界重配仿真节点

同日首提的动态量子线路仿真研究,将 QuEST 4.2.0 接到 DMR,在创建下一条线路的寄存器前,按量子比特数重新配置节点。线路之间已销毁 state vector,无需搬迁存活状态;重启进程后以“下一条线路索引”的检查点跳过已完成任务,线路仍按注册顺序运行。

实验使用 MareNostrum 5 CPU 分区,节点为双 Xeon Platinum 8480+、112 核、256GB,每节点一个 MPI rank 和 112 个 OpenMP 线程,以双精度检查 1–64 节点重配。测试依赖普通作业内嵌的 Slurm4DMR 来避开生产队列,不能把测得的重配时间视为真实集群的扩容等待。按状态大小配置节点也不等于通信感知的性能最优分配,这项扩展尚不能当作上游 QuEST 的正式版本能力。

来源:2026-10-29(UTC 首提),A 级|论文与首提记录 · 线路边界、硬件与调度实验限制。

模型交付|开放权重与研究访问各有边界

Mistral Large 4|预览之后开放改进权重

Mistral 在 10 月 29 日开放改进后的 Large 4 权重,延续此前公共预览,并提供 FP8 与面向 Blackwell 的 NVFP4 检查点。模型接收文本和图像、输出文本,约一万亿总参数,包含 DSpark 草稿头;部署团队可以检查权重、适配推理栈并自行托管。

模型声明的百万 token 上下文不等于现成部署配方均启用该长度,具体容量仍取决于精度、缓存和硬件。Mistral Ecosystem Open-Weight License 是带附加条件的 MIT 衍生许可,经营 Model-as-a-Service 业务需另行取得商业许可;开放权重不能直接解释为任意托管服务均可按普通 MIT 条款运营。

来源:2026-10-29(开放权重),A 级|Mistral 原始发布 · 官方检查点与部署说明 · 原始许可;B 级|同日 Hugging Face 工程发布。

GPT-6 Rosalind Research|向获批研究用户逐步开放

OpenAI 在 10 月 30 日向部分获批 Research 客户推出 GPT-6 Rosalind Research,入口覆盖 Work、Codex 与 API,Chat 标签页不提供。组织和用户都需 Research 授权,Discovery 批准不会自动授予这一权限;Enterprise 先进入默认关闭的两周管理员预览,生命科学团队需按所在工作区的实际配置接入。

系统卡说明该版本沿用 GPT-6 Astra 权重,没有为这次发布增加数据或额外后训练。本次应结合研究服务的准入和部署边界理解,不能从名称推断新增的生物训练;公开科学任务评估也不能替代药物有效性或临床验证。

来源:2026-10-30,A 级|OpenAI 模型发布记录 · 系统卡与训练范围。