别光会调GRPO,来看看真正的大规模RL是怎么炼的
正是在这个关键的历史节点,Cameron R. Wolfe 博士近日发布了一篇长篇技术博客《RL Scaling Laws for LLMs》,其中系统梳理了 Scaling Law 从预训练到 RL 的演化脉络:哪些规律依然成立,哪些假设彻底失效,以及面对混乱的 RL 设计空间,研究者们正在如何重新建立秩序。
AI教科书全错,底层公式惊天Bug曝光,Gemini率先自我修复
PyTorch错了,JAX错了。但最让人毛骨悚然,也最让人兴奋的是:这个隐藏在全人类眼皮底下的底层逻辑漏洞,是AI自己抓出来的。
Olmo 3:训练过程开源的大模型 (7B/32B)
Allen AI 的 Olmo 3 是一个全新的模型系列——拥有 7B 和 32B 参数——它们不仅仅是“开放权重”,而是完全开放的:数据配方。
Gen1.5 模型带来重要进展:物理 AI 正在接近 GPT3 时刻
来源:市场资讯(来源:极客公园)如果物理 AI 也能 scaling,意味着什么?作者|Li Yuan编辑|靖宇研究人员先教机器人拿起刷子,把桌上的积木扫进碗里。然后,他们把刷子拿走,换成一根香蕉。机器人抓起香蕉,将它横过来贴住桌面,把积木一点点扫进碗中。
一文看懂AI大模型的并行训练方式(DP、PP、TP、EP)
大家都知道,AI计算(尤其是模型训练和推理),主要以并行计算为主。AI计算中涉及到的很多具体算法(例如矩阵相乘、卷积、循环层、梯度运算等),都需要基于成千上万的GPU,以并行任务的方式去完成。这样才能有效缩短计算时间。
AI系统——梯度累积算法
明天博士论文要答辩了,只有一张12G二手卡,今晚通宵要搞定10个模型实验。下面这个图中橙色部分HERE就是梯度累积算法在AI系统中的大致位置,一般在AI框架/AI系统的表达层,跟算法结合比较紧密。
AEPO:智能体熵平衡策略优化,让探索更稳,推理更深!
在智能体强化学习的快速发展中,如何在探索与稳定之间取得平衡已成为多轮智能体训练的关键。主流的熵驱动式智能体强化学习(Agentic RL)虽鼓励模型在高不确定性处分支探索,但过度依赖熵信号常导致训练不稳、甚至策略熵坍塌问题。