投机解码被“投机”了!多猜一次,大模型推理速度再提升5倍
如果没命中,则退回到一个后备策略,相当于降级成普通的投机解码。SGLang 社区在 2025 年底也开源了 SpecForge 框架来训练 EAGLE-3 草稿头。
GPT-5.6自己优化自己实锤了,新的左脚踩右脚已经出现
在最新技术报告中,他们老实交代了一部分RSI心法:让GPT-5.6左脚踩右脚,开始自己动手改造供自己运行的系统。
英伟达官方推理指南来了,6倍无损加速,最优解全是华人写的
最近,英伟达发了篇官方的大模型推理指南,结果翻着翻着,硬是让人看成了一本华人团队的论文合集。在这个游戏里,所有的算力压榨,都围绕着一个核心的数学期望公式展开:Speedup = 𝔼 × TtargetTdraft + Tverify。
GPT-5.6自己优化自己实锤了,新的左脚踩右脚已经出现
在最新技术报告中,他们老实交代了一部分RSI心法:让GPT-5.6左脚踩右脚,开始自己动手改造供自己运行的系统。
华硕ProArt 创16 RTX Spark评测:让智能体干活,电脑得有哪些本事?
引言:在英伟达RTX Spark解禁当天,我发布了这个系列的上篇《完全用RTX Spark Agent工作之后,我重新认识了Windows PC》。
老黄杀入OpenClaw战场,最强开源“龙虾”模型直逼Opus 4.6
昨夜,英伟达重磅祭出新一代「开源模型」Nemotron 3 Super,专为大规模AI智能体打造。在OpenClaw任务成功率上,它拿下了85.6%的高分,性能直逼Claude Opus 4.6、GPT-5.4。
万字解读 Avi Chawla《2026 LLM工程师路线图》,8 层能力框架看 AI 应用工程
最近我看到 Avi Chawla 发了一篇文章,叫:《The 2026 LLM Engineering Roadmap》,翻译过来就是:2026 LLM 工程师路线图。
苹果公布PCG技术:质量零妥协、AI语音生成提速40%
IT之家 2 月 3 日消息,科技媒体 9to5Mac 今天(2 月 3 日)发布博文,报道称苹果公司携手特拉维夫大学,联合发表论文,提出名为“原则性粗粒度”(PCG)的语音生成新方法,从而解决 AI 文本转语音(TTS)技术的速度瓶颈。
万字解读 Avi Chawla《2026 LLM工程师路线图》,8 层能力框架看 AI 应用工程
最近我看到 Avi Chawla 发了一篇文章,叫:《The 2026 LLM Engineering Roadmap》,翻译过来就是:2026 LLM 工程师路线图。