Wink Pings

测了 27 个模型做营销视频:最强和最划算的不是同一个

Artificial Analysis 与 HeyGen 合作发布 Code2Video-AA:让 AI 根据 114 个营销简报生成 HTML 动画并渲染成视频,再用 3.5 万次逐对比较算出 Elo。Claude Opus 5.5 总分第一,但单任务成本 3.08 美元;GPT-6.1 Sol 第四,成本只要 0.31 美元。

Artificial Analysis 与 HeyGen 合作发布了一个新基准 Code2Video-AA。它是对 HeyGen 的 Code2Video Bench 的独立实现,用来衡量模型能不能把一个产品/品牌营销简报变成一段视频。

怎么测

27 个模型,114 个设计简报。每个模型读简报,写一个 HyperFrames HTML 组合文件,不能调用工具。HyperFrames 把这个文件渲染成视频,渲染时无网络访问。渲染失败的视频,自动输掉所有对比。

裁判是 Gemini 4 Argon(high)。对同一个简报的两个视频,以 8 fps 逐对比较,按五个维度打分:Engagement(吸引力)、Prompt Intent(需求遵从)、Composition(构图)、Temporal Consistency(时间一致性)、Craft(制作精细度)。每个维度单独做一次 Bradley-Terry 拟合,算出该维度的 Elo。Elo 是通过逐对胜负关系计算的相对分数,国际象棋、电竞常用。总 Elo 是五个维度 Elo 的平均值,锚定 GPT-5.5 (xhigh) 为 1000。

整个过程超过 35,000 次裁定,排了 27 个模型,置信区间 95%。

Code2Video-AA 结果:柱状图为各模型 Elo,散点图为 Elo 与单任务成本的关系,含 Pareto 前沿

结果

Claude Opus 5.5(max with fallback)总分第一,Elo 1536,领先第二名 93 分。但单任务成本 3.08 美元。Claude Sonnet 5.5(max with fallback,1443)和 GPT-6 Astra(max,1427)统计上并列第二。GPT-6.1 Sol(max)第四,1369 分,单任务成本只要 0.31 美元,约为 Opus 5.5 的十分之一。

Claude Opus 5.5 在五个维度全部第一。craft 领先优势最大,比 Sonnet 5.5 高 128 分;prompt intent 领先优势最小,48 分。temporal consistency 是所有维度里模型差距最小的,Elo 极差 1057 分,其他四个维度极差在 1222 到 1349 分之间。没有模型在单维度排名和总排名之间变动超过 6 位。

五个维度上各模型的 Elo 分布

成本

单任务成本从 0.01 美元到 3.89 美元,跨度超过 300 倍。分数高不代表一定要花更多钱:GPT-6.1 Sol 排名第四,成本只有第一名的十分之一。8 个模型落在 Pareto 前沿上,从 MiMo-V2.6-Flash(1052 分,0.01 美元)到 Claude Opus 5.5(1536 分,3.08 美元)。

开放权重模型目前落后至少 483 分。最强的开放权重模型是 DeepSeek V4.1 Flash(1053 分)、MiMo-V2.6-Flash(1052)和 MiMo-V2.6-Pro(1052),单任务成本在 0.01 到 0.08 美元之间。

Elo 与成本:8 个模型落在 Pareto 前沿

示例

同一个简报:一个循环变色的聊天气泡。四个模型的输出如下。Claude Opus 5.5 花了 3.08 美元、约 152k tokens;DeepSeek V4.1 Flash 0.08 美元、65k tokens;MiniMax-M3 0.08 美元、63k tokens;Nemotron 3 Ultra 0.03 美元、11k tokens。

评论区有人算账:单任务 3.08 美元做一条营销视频,可能还不如请个人。有网友说,终于有基准像真实客户一样:渲染不出来直接判负。还有人替客户加需求:真正的 benchmark 是第 115 个需求——视频不变,logo 再放大一点,周五要交。

完整排行榜:https://artificialanalysis.ai/evaluations/code2video-aa
方法论:https://artificialanalysis.ai/methodology/intelligence-benchmarking#code2video-aa
发布文章:https://artificialanalysis.ai/articles/code2video-aa

感谢 HeyGen 的 Code2Video Bench 和 HyperFrames。

发布时间: 2026-10-27 06:37