站内暂无「mooncake github」的结果,已为你找到以下相关资讯:
申报量较首届增长近4倍,2026蚂蚁InTech奖在外滩大会揭晓
9月10日,在2026 Inclusion·外滩大会期间,2026蚂蚁InTech奖正式揭晓。10位青年科学家获“InTech科技奖”,每人20万元奖金。同时,10位来自全球顶尖学府的中国籍在读博士生获得“InTech奖学金”,每人获5万元奖金。
HBM 不够用了,AI SSD 迎来爆发前夜
2026 年,英伟达推出 CMX 上下文内存存储平台,在 Vera Rubin 基础设施中增加一个面向 KV Cache 优化、通过以太网连接的闪存层级,由 BlueField-4 负责 NVMe SSD 管理、数据保护和网络传输。
AI SSD:大模型推理的存储范式转移
允中 发自 凹非寺量子位 | 公众号 QbitAI过去两年,AI基础设施的竞争主要围绕GPU数量、芯片算力、HBM带宽和高速网络展开。但随着大模型进入长上下文、复杂推理和多智能体阶段,决定一套系统能够产出多少有效Token的因素正在变得更加复杂。
当大模型开始按Token计价,SSD正在成为AI推理核心
相比远端对象存储,又离计算节点更近,可以保存那些暂时放不进内存、但很快还会再次使用的模型和上下文数据。
美团正式发布 LongCat-2.5:面向智能体任务的原生多模态模型
美团正式发布 LongCat-2.5,这是一个面向长程智能体任务的原生多模态模型。模型总参数量为 1.6 万亿,每个 token 激活约 480 亿参数,在 LongCat-2.0 的基础上进一步强化了原生视觉理解与智能体编程能力。
支撑Kimi推理的Mooncake能力升级,KV Cache可卸载到SSD了!
智猩猩AI整理 编辑: 没方 月之暗面的 Kimi K3 模型凭借 百万级上下文推理 能力引发行业关注。 但要让这类长上下文能力在大规模在线服务中具备可接受的成本和延迟,仅靠模型本身并不够,还需要高效的推理服务基础设施。