11月21日凌晨,腾讯首席AI科学家、混元大模型负责人姚顺雨与团队成员在 Reddit 完成一场120分钟AMA(ask me anything的缩写,意思是“问我任何事”),回答全球开发者近100个问题。这是混元团队首次在开发者社区公开问答。

面对同行冲刺3万亿乃至5万亿参数,团队回应:“Hy3和Hy4已经表明,做得扎实的小模型也能超过更大的模型。它们的成本也更低。”同时明确下一代模型“规模肯定会进一步大幅扩大”“我们非常相信scaling law”,并称 Hy4“还有很大的提升空间,尤其是通过后训练”。Hy4-mini、Flash-Lite、面向24GB显存及端侧设备的模型均已列入路线图;按DeepMind的 AGI 六级框架,姚顺雨个人给Hy4系列打“2.5级”。
“过于稀疏的MoE架构对推理不太友好。它占用大量GPU显存,却没有充分利用算力。”团队表示,在总参数不变时削减激活参数“会显著损害模型质量”,因为“激活参数量本质上决定了你的计算预算”。团队还透露,Engram参数占比的最优点“大约在总参数量的三分之一”,且“Engram和iHC给小模型带来的收益反而更大”;端侧模型会采用与设备硬件更贴合的差异化设计。
“验证数据质量最好的办法是做实验,最终还是看实证结果。”团队称高质量数据没有统一标准,判断模型要综合内部基准、公开评测、第三方评估与真实用户反馈——“单个网站不太会决定模型在现实中的采用情况”。未公布GPQA Diamond 等常见基准,是因为其“分数已经接近饱和”。后训练最难改的行为被直接点名为“过度思考”;强化学习正加入易错高难度案例、细化奖励并扩展上下文,最棘手的则是环境漏洞导致的奖励作弊:“得防止智能体直接上网搜答案,跳过实际解题。”
对“大模型写作越来越套话”,团队判断“可能跟模型的训练目标有关。我们希望模型写得更像人,少一点套话”,并称“有时,一个好例子比五段文字更管用”。姚顺雨还认为,激活参数3B的模型已可完成超越OCR的截图与图表推理。被问若做出最强AI是否仍开源,答复是“到目前为止,是的,我们会继续走开源路线”;安全训练聚焦防御、漏洞分析与修复,“避免过度拒绝”仍在持续改进。
被要求给同行排名时,姚顺雨回了一句“我才不上这个当。大家都很棒”;至于“现在怎么才能成为AI工程师”,他的答案更简短:“现在你可以直接问AI,怎么做AI工程、怎么学AI。”
文|记者 沈婷婷
图|腾讯供
羊城晚报·羊城派原创,未经授权不得转载
