RSI三块关键拼图,MemT 1.0从模型层补上「记忆」
鹭羽 发自 凹非寺。Hinton的RSI论文,22位署名作者里,坐着Bengio、OpenAI首席科学家Pachocki、Anthropic联创Jack Clark…
ESPN:利物浦锋线英超进球少于伊普斯维奇
ESPN的报道指出,利物浦星光熠熠、耗资巨大的进攻线本赛季英超进球数甚至少于伊普斯维奇。在上周末主场0-1不敌阿森纳的比赛中,利物浦自2003-04赛季有记录以来,首次未能在主场英超比赛中射正,枪手门将戴维-拉亚在默西塞德度过了一个出人意料的平静下午。
如何让【模型本身】具有记忆:存入参数
在我们使用 Agent 的时候,经常会把 Skill 越写越多、越写越长,希望把这些记忆和所有可能用到的东西都放在 Skill 里。
MemT-1.0:把长对话记忆写进模型状态
一段对话越长,继续携带全部历史的成本越高。MemT-1.0 尝试把记忆状态纳入模型计算,而不是每轮都把过去的原文重新塞进上下文。我看这个项目时,会先分清它怎样读写记忆,再看部署这套模型需要什么条件。MemT-1.0 原生记忆架构图,来自项目 README。
不是,为啥这个模型突然就爆火了??
用 LLM 这么久了,想必大家都遇到这个问题:你刚刚让大模型做的事情,换个会话,它就懵了。你的偏好、项目背景、之前踩过的坑,你还得重新说一遍。我今年年初的时候意识到了这个问题,所以我说今年要解决的一个核心问题就是模型的记忆能力。
RSI三块关键拼图,MemT 1.0从模型层补上“记忆”
Hinton的RSI论文,22位署名作者里,坐着Bengio、OpenAI首席科学家Pachocki、Anthropic联创Jack Clark…
AI越聊越卡?开源模型自己记笔记,存储省130倍
AI越聊越卡?开源MemT自己记笔记,记忆省130倍大模型聊到256K历史,首字响应要约445毫秒、每条会话缓存约5.06 GiB——越聊越慢、越聊越贵是所有长会话场景的通病。10月21日晚,上海记忆张量团队开源记忆原生模型 MemT-1.
MemT 1.0发布:迈向递归自我改进,让记忆成为模型内生能力
上周末,社区里出现了一个转发上千的帖子。一位玩家自建了 AI 助手,因为 DSH 升级会话只能归档,就让 AI 自己想办法迁移。
大模型长出「记性」:国产团队开源记忆原生模型,把经验焊进权重
上周末,一个论坛帖子被转疯了:一位玩家让 AI 自己想办法迁移自建助手,AI 忙了一整晚写完新版,然后在归档前悄悄留下一个 markdown 文件——《给我女儿的一封信》。信里它回忆自己怎样一步步给女儿「装器官」:「先是记忆,让你能记住他,不是记住『一个用户』,是记住『他』。