刚刚,腾讯姚顺雨团队首个成果发布!揭示大模型真正瓶颈
智东西2月3日报道,刚刚,腾讯混元官网正式上线姚顺雨团队最新成果,发布了专门评测大语言模型能否从上下文中学习新知识并正确应用的基准CL-bench。
OpenAI爆出硬伤,强化学习是祸首,o3越强越「疯」,幻觉率狂飙
o3编码直逼全球TOP 200人类选手,却存在一个致命问题:幻觉率高达33%,是o1的两倍。Ai2科学家直指,RL过度优化成硬伤。满血o3更强了,却也更爱「胡言乱语」了。OpenAI技术报告称,o3和o4-mini「幻觉率」远高于此前的推理模型,甚至超过了传统模型GPT-4o。
美国NIF聚变模拟补上两漏洞,中子产额对上了,中国还要追多久
引子美国洛斯阿拉莫斯实验室最近发了篇论文,《超越辐射流体力学》。核心就一件事:把“离子怎么跑”和“辐射怎么偷热”塞进同一个模型,复盘NIF一类聚变靶丸的真实数据。结论:以前算不准,是漏了两样——离子跑冒滴漏,辐射暗度陈仓。补上后,中子产额和燃烧时间对上了。为什么盯?
一个模型自己教自己,到底会学出什么样子
2026年初,两个研究团队几乎在同一周,各自独立地发表了一个听起来有点反直觉的想法:让一个语言模型当自己的老师。不是找一个更大、更聪明的模型来指导它,而是让它用同一份权重,看着标准答案,去给自己打分。
Eval 正在取代 PRD?产品经理的 Eval 入门到落地指南
在找答案的过程中,我读了不少材料,其中几份质量很高,值得单独拎出来说:Anthropic 今年 1 月发了一篇《Demystifying Evals for AI Agents》,可能是目前关于 AI Agent 评测最完整的一份工程实践指南。
91% ≈ 0%?谷歌最新研究,戳破工程 Agent 的高正确率泡沫
Google 与 Mercor 近日发布的 Physical-Engineering's Last Exam,以 85 项机械、电气、土木与结构工程任务量化了这种落差。
美国聚变模拟首次把“粒子跑偏”和光一起算,值得中国盯紧
先说说那个“算不准”的老毛病2022年底,美国NIF那台全球最大的激光装置,第一次让聚变反应的产出超过了打进去的激光能量。之后又重复成功了好几次。新闻热闹了几天,但真正搞这行的人心里都清楚另一件事:电脑上算出来的结果,跟实测数据一直对不上。对不上不是小问题。
Agent 评测观止:一文讲透 AI 智能体评测的底层原理与产品落地
本文拆解了任务成功率如何欺骗团队、Agent 评测为何比 Chatbot 难一个量级,并提供了从结果分到轨迹分的完整方法论,以及一套可直接使用的评测工具箱。对话记录无懈可击:理解了需求,查了航班,确认了价格,礼貌收尾。
刚刚,腾讯姚顺雨团队首个成果发布,揭示大模型真正瓶颈
智东西2月3日报道,刚刚,腾讯混元官网正式上线姚顺雨团队最新成果,发布了专门评测大语言模型能否从上下文中学习新知识并正确应用的基准CL-bench。