混元Hy4拿下Agent Arena中国模型第一,12K场真实任务比名次更值得看
Arena.ai 11月6日更新:腾讯混元 Hy4 成为中国模型第一,总榜第14,12K+ 真实 Agent 会话下净提升 +5.4%,每任务中位成本 $0.57。两天前 8.5K 会话时是 +4.7%,样本变大后分数没掉;但权重尚未开放,开放模型第一仍需等落地。
Arena.ai 11月6日更新:腾讯混元 Hy4 在 Agent Arena 的中国模型里排到第一,总榜第14;12K+ 真实、长程 Agent 会话,净提升 +5.4%,每任务中位成本 $0.57。它也是前五名里唯一来自中国实验室的模型。
Agent Arena 收集的是用户交给 agent 的多步任务,包含工具调用、纠错、命令行执行等真实操作。单轮问答不在这个口径里。样本来自全球用户,不是实验室自己出的题。
两天前那版数据要放一起看。11月4日,Hy4 总榜第14,8.5K+ 会话,净提升 +4.7%,每任务成本 $0.55。Arena.ai 当时写明:Hy4 目前仍是 proprietary,权重发布后才会与 Kimi K3.1 Pro 并列开放模型第一。这个限定很关键。榜单说的是“一旦权重发布”,权重现在还没发。
$0.55/task 对 Kimi K3.1 Pro Max 的 $1.46/task,便宜约62%;两边分数差在1个百分点内。Pareto 前沿的位置也来自这个成本与分数的组合。
从 preview 到正式版,Hy4 从第25、+1.1% 升到第14、+4.7%,提升 +3.6 个百分点。分项也一起动了:
- Confirmed Success:第11,+8.7%,此前第16,+4.9%
- Praise vs Complaint:第18,+3.8%,此前第24,+1%
- Steerability:第14,+5.7%,此前第27,+0.21%
- Bash Reliability:第20,+6.2%,此前第41,-3.1%
Confirmed Success 是用户明确点“yes, that worked”的比例;Steerability 看模型对用户纠正的响应;Bash Reliability 看 shell 命令成功率。
样本从8.5K涨到12K,净提升从+4.7%到+5.4%,成本中位数从$0.55到$0.57。回复里 geekzard 说,样本变大后还能撑住,才是让他信服的部分。Adrian Castellar 则指出,Hy4 的 +5.4% 和 Kimi K3.1 Pro 的 +5.3% 误差棒重叠,基本是中国模型头名并列。这个判断比一句“第一”更接近图表。
腾讯混元官方发布里提到 Hy4 新增视觉能力,覆盖金融、前端、游戏、办公、研究等场景,也提到 cyber/biosecurity 方面的考虑。研究页在这里:https://hy.tencent.ai/research/hy4?langVersion=en
有网友提到腾讯自己的金融评测里 Hy4 对 Kimi K3.1 Pro 是 3.04 对 2.68,但 Arena 用户侧结果几乎持平。AI Quanting 的回复是,更愿意信用户,且在这个价格上持平已经不错。厂商评测和用户侧评测出现分歧,不稀奇,任务分布不同。
还有两个口径要记住。$0.57 指每任务中位成本,模型调用单价另说。@lin_builds 在回复里问,这12K会话里 coding 和 browser work 各占多少,公开信息没给分布。对准备上生产的人,这两项比名次更影响决策。
回复里还出现一句提醒:Kimi K3.1 Pro 会继续保留开放模型王冠,直到腾讯把 safetensors 放到 Hugging Face。这个说法把“开放模型第一”的时间点说清楚了。权重没落地前,Hy4 的中国模型第一和总榜第14是现成事实;开放模型第一要等下一件事发生。榜单入口:https://arena.ai/leaderboard/agent
总结一下,Hy4 这次有三个点值得看:12K+ 真实 Agent 会话下净提升 +5.4%,样本增长后没掉;每任务中位成本 $0.57,和 Kimi K3.1 Pro 的差距在误差范围内;中国模型第一、总榜第14,前五里唯一中国实验室。需要保留的限定也清楚:权重尚未开放,开放模型第一要等权重;头名之争在误差棒里更像并列。接下来看权重发布、任务分布和独立复现。
发布时间: 2026-11-07 01:28