SGLang:大模型推理的性能优化,为什么这很重要?
【科技圈De那点事-报道】3月8日消息,模型训练是一次性的成本,但推理是持续性的开销——推理效率直接决定AI应用能不能赚钱。如果你关注AI基础设施,可能会注意到一个趋势:大家的注意力正在从"怎么训练更大的模型"转向"怎么更高效地运行模型"。这背后的逻辑很简单。
1亿美元种子轮!SGLang团队RadixArk,打造下一代开放AI基础设施
来源:市场资讯(来源:机器之心Pro)机器之心发布5 月 5 日,AI 基础设施初创公司 RadixArk 宣布完成 1 亿美元种子轮融资,投后估值 4 亿美元。无论金额、估值还是投资人阵容,这都是 2026 年 AI Infra 赛道中目前最重的一笔早期下注。
大模型优秀大脑齐聚硬核开源聚会,SGLang社区举办国内首次Meetup
机器之心报道编辑:冷猫远在大洋彼岸的 Pytorch Conference 2025 全球开发者峰会已经走向尾声。作为全世界最具影响力的深度学习开发者社区的重大活动之一,Pytorch Conference 最近收获了相当的关注度,展现了相当的社区活力。
SGLang Diffusion震撼发布:图像视频生成速度猛提57%!
就在一周前,全宇宙最火爆的推理框架 SGLang 官宣支持了 Diffusion 模型,好评如潮。
因果依赖刻进草稿网络深度,SGLang吞吐最高达4倍,已开源
为此,团队在 Qwen3.8-27B 上训练了专为 Agent 场景优化的 DSpine 草稿权重,与官方开源 DFlash2 权重正面对比。
GitHub 总计超 77,000 Star,大模型推理框架 vLLM、SGLang 是如何炼成的?
vLLM 和 SGLang 的社区发展故事。作者 | 赵晨、夏小雅责编 | Echo Tang出品丨AI 科技大本营(ID:rgznai100)首先,什么是 LLM 推理?
SGLang原生支持昇腾,新模型一键拉起无需改代码
henry 发自 凹非寺量子位 | 公众号 QbitAI当Agent在应用侧不断加速,推理系统能否承受随之而来的真实负载,正在成为行业关注的焦点。这是12月20日在杭州收官的SGLang AI 金融 π 对上,被反复提及的一个背景。
GitHub 超 16,000 Star!开源大模型推理框架 SGLang 中国首场 Workshop 来啦,GOSIM一起相约
责编 | 唐小引 Echo Tang亲爱的开发者们,大模型领域最著名、热度最高、DeepSeek 推荐使用的开源推理引擎之一——SGLang 在国内的首场 Workshop 线下活动来啦!
Kimi K3.1藏不住了
就在10月22日凌晨,一款名为Kibitz的神秘模型出现在了Arena,被网友怀疑是K3.1。而在同一项测试中,GPT-6 Astra Max虽然也完成了作品,却花了大约三倍于Kibitz的时间。
1亿美元种子轮!SGLang团队RadixArk,打造下一代开放AI基础设施
5 月 5 日,AI 基础设施初创公司 RadixArk 宣布完成 1 亿美元种子轮融资,投后估值 4 亿美元。如果说 2023 年的 Anthropic、2024 年的 Mistral、2025 年的 Thinking Machines Lab 各自代表了 AI 模型层一次方向性的下注,那么 2026 年的 RadixArk 下注的东西更底层、也更漫长:让前沿 AI 的建设权,真正回到足够多的人手里。