Agent 评测全流程拆解:数据集、Worker、评分器、发布门禁
开发一个能回答问题、调用工具的 Agent 不难,难的是判断它能不能进生产系统。文章结合内部一套 Agent 评测系统,先区分它与传统软件测试的差异,再沿着用例设计、任务执行、评分和回归的顺序,讲清任务、成功标准、执行证据三要素如何协作。
入门即可上手:3 类 Grader 组合实现 Agent 测评平台搭建
一个客服Agent完成了退款,数据库里已经出现退款记录,工单状态也变成“已解决”。但评测系统仍然判它失败,理由是:它没有按照预设顺序先查政策、再查订单、最后调用退款工具。到底是Agent错了,还是评测错了?这是很多团队做Agent测评时最容易忽略的问题。
小学生被戴上的“智能头环”,为什么让我们害怕?
如今为了期末考试卷子上一个提升的数字,为了老师家长一个满意的点头,你永远想象不到——中国孩子的头上,会被戴上什么奇怪的东西。这不,前脚有几十个小朋友带上眼罩参加量子波读书大赛;后脚就有带上“注意力头环”的浙江小学生被监测了脑电波,然后反馈到了老师的电脑里。
12岁男孩给教材纠错,出版社:确实错了
“I noticed a tiny mistake on page 95 of the English textbook published by Shanghai Educational Publishing House when I was preparing lessons before class,” said Cui Chenxi, a 7th grader in Shenyang No. 126 Middle School. Cui had found an illustration captioned as “bee” to actually be hoverfly in the picture.
学咖啡前,先分清SCA、AST、Campus和Q-Grader这几个词
整理咖啡学习资料时,经常会看到几个英文缩写:SCA、AST、Campus、Q-Grader。它们都和精品咖啡教育有关,但含义并不一样。如果把这些词混在一起看,很容易越看越乱。这篇只做基础概念整理,不讨论哪一种路径更适合所有人,也不把任何证书说成唯一标准。
美国学生:因得克萨斯州小学枪击事件 现在每当进入校园都会感到恐惧
美国得克萨斯州南部尤瓦尔迪市罗布小学当地时间24日发生枪击事件,造成21人死亡,其中包括19名儿童。
美国学生:因得克萨斯州小学枪击事件 现在每当进入校园都会感到恐惧
美国得克萨斯州南部尤瓦尔迪市罗布小学当地时间24日发生枪击事件,造成21人死亡,其中包括19名儿童。
在国内考Q-GRADER值吗?哪些人适合考?怎么考?一文全解析
我曾在旧文里写过,一杯黑咖啡里藏着一个人的宇宙观。那时我刚从SCA的烘焙中级考场出来,满脑子都是焦糖化与梅纳反应的化学方程式,以为掌握了变量就掌控了风味。
揭秘咖啡品鉴师如何炼成
当日,来自各地的咖啡爱好者及种植户齐聚位于云南省普洱市的云南国际咖啡交易中心。他们在这里进行咖啡知识理论、杯测、有机酸分辨等技能学习,通过考试后,将获得阿拉比卡精品咖啡质量分级品鉴师认证。
Eval 正在取代 PRD?产品经理的 Eval 入门到落地指南
在找答案的过程中,我读了不少材料,其中几份质量很高,值得单独拎出来说:Anthropic 今年 1 月发了一篇《Demystifying Evals for AI Agents》,可能是目前关于 AI Agent 评测最完整的一份工程实践指南。