AI在Minecraft里用键鼠从零造出铁镐，没碰API

AI在Minecraft里用键鼠从零造出铁镐，全程没用API。这是腾讯等机构的研究者发布的HiSTEVE 1.0，一个分层视觉-语言-行动（VLA）代理，目标是让AI像人类玩家一样在开放世界里完成复杂任务。

Minecraft是程序生成的开放世界，玩家要采集、合成、建造，长时任务既考验规划也考验操作。现有代理通常顾此失彼：有的只会底层操作，缺乏长期规划；有的会规划，但依赖环境API或预定义技能。HiSTEVE试图把两者拼起来，并且不拿任何特权信息——它只看屏幕，用键鼠操作。

架构分两层。上层是一个能力感知的代理框架，负责编排：用结构化内存跟踪进度，用VLM规划器在VLA能力范围内挑子任务，再用策略耦合的任务完成状态检测器判断子任务是否完成，决定继续、恢复还是重新规划。控制层是一个单一VLA，只靠视觉感知和原生键鼠动作执行所有子任务。

游戏里既要点背包界面，又要在3D场景里移动和操作，这两类交互差别很大。HiSTEVE用特定模式的RMSNorm分支和分离的鼠标移动token嵌入来减少相互干扰。训练分三段：世界知识注入、模仿学习、强化学习。

结果：MineStudio Bench原子任务85.0%，OpenHA平均成功率37.4%，还能像玩家一样从头合成铁镐。论文评论区里，有网友问有没有演示视频；有网友说看AI在开放世界里摸索还挺有意思；也有人总结：库存界面里点错一下，之前十分钟的规划就白费了。

论文：https://arxiv.org/abs/2610.31162