Mac跑本地AI大模型 还差这一块
同样是Mac,有人觉得本地大模型“已经够用了”,有人却一打开长文档、长代码仓库就开始卡、开始慢、开始爆内存。很多时候,问题不完全在模型大小,而在另一件更容易被忽略的事上:模型的“临时记忆”太占地方了。这件事在技术上叫KV Cache。
斯坦福×英伟达发布AI推理新范式,刷新了多领域SOTA
即便像 OpenAI 的 o1 这种「会思考」的模型,也只是在考场上多打了打草稿,它的大脑回路依然是锁死的。
从模型能力到工程优化,海外开发者正在“榨干” Qwen3.8-27B
“Anthropic CEO Dario Amodei 得知一个 27B 模型在 LiveCodeBench 上得分超过 Opus 4.6 Max,还能在一张 900 美元的二手显卡上离线运行后,紧急要求与立法者开会。
所有用OpenClaw的朋友,我都劝你先装上这个能保命的Skill。
最近这段时间,只要我发关于OpenClaw的文章,评论区必有人在问同一件事。就连国家互联网应急中心都发了一篇《关于OpenClaw安全应用的风险提示》。
4个月RSI从0训练!田渊栋创业首个模型:MacBook Pro可跑,已开源
携其创业的Recursive,刚刚开源首个模型Flint:主打本地Agent编程,总参数400亿,单个token生成只激活25亿。
别急着买新显卡!Qwen 3.8 隐藏开关:一行参数让AI生成速度暴涨3倍
作者:伯衡君这个知识点,比太空还神奇!让我帮你打开新世界的大门概述在本地部署大语言模型的过程中,推理速度往往是最令人头疼的问题之一。Qwen 3.
RSI两大里程碑发布!单人手搓千亿模型,英伟达大佬教「保命」法则
来源:市场资讯(来源:新智元)新智元报道我们刚刚见证了历史!最近,「递归自我改进」领域有两项重磅发布!在过去十年里,预训练一个基座大模型,是科技巨头的「战备竞赛」。在开源社区,这需要几十名顶尖专家。
4个月RSI从0训练,田渊栋创业首个模型来了:MacBook Pro可跑,已开源
搭配优化后的推理引擎,Flint在MacBook Pro上能跑至少125 tokens/s,RTX Spark上则超过150 tokens/s。
RSI两大里程碑发布,单人手搓千亿模型,英伟达大佬教「保命」法则
他们宣布了一项把「人效杠杆」推向极致的疯狂实验:仅用 1 名研究员就从零手搓出了一个参数量在 1000 亿到 5000 亿之间的编程基座模型——Mirendil-Base!