在普通电脑上跑125B超大模型?开源神器Strata深度介绍
Strata 更新先别点:5070 Ti 慢 21%,4090 掉到 19 tok/s,差 5 倍
一、一夜之间,21% 的速度没了10 月 11 日,本地推理圈的开源项目 Strata 照常发版,版本号 v0.1.43。一天之后,Reddit 的 r/LocalLLaMA 版块炸了。
Strata VS Hermes:一个接 Agent、一个嵌引擎,本地 AI 的路线博弈
很多玩本地 AI 的朋友都用过 Strata、Hermes Agent,表面上两者都可以在本机跑大模型 + 智能体任务。 但很少有人注意:二者走了两套完全相反的集成道路。 Hermes 作为智能体框架,向内把推理引擎 llama.
Strata:游戏PC跑125B大模型
导语你是不是也遇到过这种尴尬:想用本地大模型,但 7B、14B 的模型"能聊却不够聪明",真要干点正事又得回头求云端 API,月底一看账单直肉疼。Strata 把这件事的门槛直接砍到了一张游戏显卡上。它能在 12GB 显存的普通电脑里,跑起参数量高达 1250 亿的 Qwen3.
Token自由之路,Strata 又更新了,本地部署大模型的不二之选
Strata(Niko1221/Strata,本地LLM推理引擎) 项目简介:MIT协议开源C++本地推理引擎,目标在消费级PC上运行Qwen3.
在普通电脑上跑125B超大模型?开源神器Strata深度介绍
最近本地AI圈又出了一个狠角色——Strata。它是一个由 Niko1221 主导开发的开源本地推理引擎(MIT 许可),核心目标非常直接:让普通人在普通消费级硬件上跑超大参数模型。目前最能打的代表作是跑 Qwen3.8-Flash-Next(约125B参数的MoE模型)。
12GB显存显卡跑125B模型:Strata登场
IT之家 10 月 6 日消息,科技媒体 gigazine 今天(10 月 6 日)报道,报道称开发者 Niko1221 开源推出 Strata 引擎,可以在 12GB 及以上显存的消费级显卡上,运行量化的 Qwen3.8-Flash-Next 模型(1250 亿参数)。
Strata更新到v0.2版本了,但是建议跑qwen3.8-flash-next的别升级
Niko1221/Strata 仓库地址: https://github.com/Niko1221/Strata ✅ 稳定正式版:v0.1.45✅ 当前最新Beta版:v0.2.0-beta(发布时间:2026-10-20)底层引擎包版本:0.1.45.3 v0.2.
这届 AI PC,太烧心了
市场研究机构 Omdia 的估算显示,内存与 SSD 在 PC 物料成本中的占比,已从通常的约 15% 一路涨到接近 40%。