01 · 日报
Daily
最新日报
推理压测加入多轮反馈,Agent 批处理拆开两种并发
LLMRunner 回放用户等待与会话历史,Ling 分开调度推理和工具,Argonne 开放超算作业 API。
202611 月
MoE 专家跨显存与主存调度,Agent 服务可自托管
Tideway 分阶段调度专家权重,ONNX Runtime 接入混合卸载,气象研究开放卫星拼图与降水估计数据。
推测解码按请求分配预算,超算训练让通信缓冲复用显存
ForeSpark 联合调度草稿与验证,JUPITER 将 FSDP 缓冲分配迁回计算流,气象同化试验把 GraphCast 放进集合预报支路。
模型切换前预热 KV,集群发布拆开基础设施与应用
SHADOWPREFILL 用空闲算力为候选模型计算前缀,Meta 将应用发布交给 GitOps,Frontier 更新编译器和 GPU 运行环境。
推理副本从快照恢复,端侧模型移植用实机验收
NVIDIA Snapshot 缩短 GPU 推理副本启动,TKNP 为长上下文解码保留本地 KV,EngineAgent 用设备端测试验收模型移植。
TPU 状态跨层搬运,训练数据按就绪期限分派
TPU Sync 开放缓存传输,DataHelix 按加速器进度调度预处理,云平台把资源申领与任务隔离下沉到部署接口。
长上下文按需补精度,技能包按修订扫描
GPU 工作组按数据就绪切换角色,长上下文推理按需取回精度残差;本期还关注技能扫描、科研编译、视频编辑与基因组流式交付。
缓存命中核验、沙箱恢复与远程动作缓冲
从共享 KV 的访问权限到 Agent 快照和机器人动作队列,本期追踪状态离开原执行位置后的交付条件。
通信分工、流式落盘与手持机器人数据
推理与训练分别重排通信成本,Agent 流式输出区分显示和落盘,手持示范进入机器人预训练。
缓存拥塞的反馈、模型行为契约与可编辑幻灯片
Agent 缓存压力会延续突发流量的影响,模型测试开始核对具体行为,科研复现与内容生成则保留可审阅的中间记录。
递归状态落盘、分包运行栈与可核对的 DNA 数据
混合模型缓存需要可恢复的状态,GPU 平台交付开始区分组件归属与验证证据,科学数据和 Agent 任务也有各自的复现边界。
显存里的验证、可分割 GPU 与跨项目 Agent 目录
浏览器解码和多模态调度重排推理路径,云平台细化资源与权限边界,科研基准检验专用硬件的适用范围。
202610 月
平级 KV、按需镜像与随数据保存的来历
KV 存储和模型预加载重新安排数据落点与读取时机,云端工作流保留执行顺序,科学产物将溯源记录带入容器。
工具就绪、内核契约与可检查语音
Agent 服务开始联合考虑工具返回与缓存位置,GPU 组件以契约衔接,科学计算和语音产品把验收边界带回执行流程。
执行波次、观测新鲜度与工作流权限
端侧推理共同调度期限与新鲜度,GPU 聚类重新计算执行波次,Agent 工作流将模型输出与写入权限分开。
网络内 MoE、内核对照与可控世界
MoE 按 token 分带重叠通信,内核 Agent 重测工具增益,端侧多模态与交互世界分别推进部署和预览。
多层 KV 读取、轨迹准入与长程机器人任务
多存储层共同读取前缀,轨迹准入保留训练配额,机器人基准将任务长度与成功判定放到同一协议下。
缓存写入预算、可核验证明与本地语音
KV 缓存按路由、复用与写入预算分配资源,形式证明交给独立检查器验收,本地语音与机器人标注明确交付范围。
低位计算、云端边界与可交互世界
混合精度硬件与编译搜索细化推理成本,云服务重新划分责任边界,交互模型把历史状态带进连续生成。
GPU 直存、训练会话与年度地球表征
GPU 直存减少控制开销,训练 API 显式保存状态,年度遥感嵌入则把重复推理转成可复用数据。
KV 逻辑地址、企业网关与闭环仿真
稀疏缓存与异构传输重排推理状态,企业接入和科研评估则把权限、时延与适用范围写进执行契约。
稀疏页打包、低比特解码与语音流水线
从注意力页布局和同步等待到原生设备后端,系统收益需要连同编译、数值与会话边界一起衡量。
KV 发现、原生 TPU 与科研调度
跨区域缓存发现与预计算重排推理成本,原生 TPU 后端和科研工具则把执行状态与支持边界进一步显式化。
MoE 显存、按需授权与机器人接口
动态激活调度与流式推理优化资源使用,云端权限和机器人 API 则把执行条件写进接口。
KV 迁移、科研算子与可追溯 Agent
推理迁移与视频训练重排执行,科研算子减少数据移动,Agent 则补齐引用和物理状态接口。
异构训练与端云推理,明确设备间的协作契约
从异构训练到端云推理:设备、通信与精度如何协作,平台又该怎样验收。
轨迹复用与远端 KV,先算整条路径的净收益
轨迹复用、远端 KV 与科研增量计算都要核算整条路径的净成本;平台交付则需要区分代码转换、执行轨迹与真实验收。
从增量分词到长期工作流,复用需要明确边界
请求入口、长期工作流与科研数据流成为系统优化重点;复用和自动化能否成立,取决于状态边界、结果验收及实际交付条件。
MoE 弹性与训练调优,找对系统优化的时间尺度
MoE 弹性、训练调优和 Agent 工程都需要明确优化阶段;云端配额、临时存储与科研基准进一步要求对齐完成条件和比较边界。
显存驻留与 RDMA 流控,把资源压力交给软件
显存驻留、RDMA 流控和推理准入都需要软件控制;多语言 Agent、开放调度栈与科研流水线则把资源能力转化为可检查的接口。
解码状态与激活卸载,传输时机决定优化空间
混合模型状态、DMA 与训练激活都需要按数据移动设计,云部署、Agent 修复和跨设施科研计算则必须逐层验收实际执行路径。
缓存命中之后,分词与掩码编译仍有成本
分词、掩码编译与后端优化把成本移出模型算子,平台和科研工程则需要为权限、会话与恢复状态设置可执行边界。
会话感知调度,把工具等待也算进工作集
会话调度、设备接口与科研基准共同提示:AI 系统需要沿完整任务管理状态,并分别验收执行效率和任务质量。
后训练预算与集群升级,运行证据也是交付物
从后训练预算到集群配置与科研评测,系统优化正在要求把执行协议和验证证据一并纳入交付。
GPU 通信与本地 Agent,自动化需要运行边界
GPU 通信、共享训练集群和本地 Agent 运行时共同提示:自动化需要同时管理资源、动作与验证证据。
从 INT8 到访问权限,把约定变成执行边界
从 INT8 数值语义到科研验证与 Agent 权限,系统的可用性取决于边界是否能被执行和检验。
从 KV 生命周期到科研工件,验收覆盖完整任务
KV 生命周期、确定性证明、沙箱启动和科研工件评测共同提示:优化需要显式状态契约,验收需要覆盖端到端结果。
缓存生命周期与集群准入,按执行阶段分配资源
从稀疏缓存生命周期到集群准入、科研门户维护与 Agent 数据边界,系统效率需要按阶段分配资源,也需要明确谁负责保留状态。
Olmo-core 3 开放训练栈,KV 共享要保留身份
开放 MoE 训练栈、共享 KV 的来源契约与云 GPU 互连基准,提示系统效率必须与正确性、拓扑和可复现证据共同验收。
稀疏 KV 与弹性权重,重排模型服务的内存
稀疏 KV 存储、弹性权重内存与持久化 Agent 运行时,把 AI 基础设施的优化目标推进到整条执行路径。
GPU 开始直接取数,Agent 轨迹走向可审计
GPU 直连存储、Agent 运行时治理与研究型工作负载发布,正在把 AI 系统边界从模型服务延伸到数据、执行和核算。
20269 月
电力预算下,GPU 吞吐与尾延迟的取舍
AI 工厂功率调度、MoE 通信与 KV 缓存的新结果显示,实际吞吐取决于系统边界、资源占用和可复现实验。
多模态编码与 Agent 环境,重算模型外的成本
多模态推理、Agent 训练环境和数据基础设施的新证据:吞吐提升必须连同入口控制、隔离与恢复成本一起衡量。
跨地域训练与 GPU 编译,沿运行链验证性能
训练数据跨地域、可验证的 GPU 编译优化与生产评测,揭示 AI 基础设施从峰值算力走向端到端运行证据。
MoE 跨节点通信,把容量调度带到集群层
跨模型容量仲裁、MoE 通信与集群就绪验证,正在把 AI 基础设施的瓶颈从单点算力推向控制面和真实负载。
多 GPU 服务与 Agent 运行时的生产控制面
多 GPU 服务、Agent 运行时与 GPU 感知路由正在把 AI 的控制面收进可治理的生产边界。
从 Jev 决策层到 AIPerf,自动化先校准证据
当决策、测量和约束都被写进系统,AI 基础设施才有资格谈自动化。