大模型开始打王者荣耀了:背后的逻辑是什么
腾讯最新提出的Think-In-Games ( TiG ) 框架，直接把大模型丢进王者荣耀里训练。它不仅能实时理解盘面信息（英雄、发育、兵线、防御塔、资源、视野等），还能打出像人类玩家一样的操作。
更炸裂的是，靠着这种 ” 边玩边学 ” 的训练方式，让仅14B参数的 Qwen-3-14B，干翻了671B的 Deepseek-R1，动作精准度高达90.91%！
那么问题来了：它是怎么做到的？
TiG：边玩边学
总的来说，TiG 将基于强化学习的决策重新定义为一种语言建模任务。大语言模型生成由语言指导的策略，然后根据环境反馈，通过在线强化学习进行迭代优化。
这一方法弥合了传统大语言模型只知道为什么，但无法作出行动；强化学习只知道行动，却无法解释为什么的鸿沟。
为了实现这一方法，研究团队直接让大语言模型在《王者荣耀》中行动，并解释原因。
值得注意的是，在这一框架中，大语言模型主要学习了人类玩家在《王者荣耀》游戏中宏观层面的推理能力。
与微观层面动作（如精确技能施放）不同，宏观层面推理优先考虑长期目标和团队协同，涉及制定和执行团队范围的策略，例如控制目标、地图施压和协调团队机动。
这也就意味着，与其说 TiG 是一名职业选手，不如说他是能精准判断场上局势的金牌教练。
具体来说，Tig 将决策转化为文本，模型通过读取 JSON 获取游戏状态，然后再从固定菜单（例如推进或防御）中选择宏操作（如推上路 “、” 夺龙 “、” 防守基地 “），并解释为何如此。
举例来说，在上图的游戏场景中，阿古朵，与队友姜子牙在中路推进，目标是敌方一座血量较低的一塔 。
基于此，模型先对游戏状态进行全面评估 。例如，” 防御塔和野区保护机制均已失效 “（对局已进入中期）。然后分析优先目标（摧毁中路一塔），制定策略（联合姜子牙前往敌方中路一塔，集中火力推塔）并提示风险，
最后，模型将结合英雄的的理解，建议作为射手的阿古朵 ” 保持安全距离输出 “，并与姜子牙的控制效果协同配合，并将这一指令输出给玩家 ” 联合姜子牙推掉敌方中路一塔，注意敌方可能埋伏 “。
为了实现上面在游戏中边玩边学的效果，研究团队先从真实游戏对局中采样，构建数据集，为了确保每个游戏状态都带有一个宏观级别的动作标签，研究提出了” 重新标注算法 “。
该方法先在帧窗口内进行向后填充，再通过优先级覆盖机制确保每个状态都标注为最关键的宏观动作。这样得到的密集且一致的序列，为后续的 GRPO 训练与基于规则的奖励函数提供了稳健信号。
之后，为了在游戏环境中实现有效的战略推理学习，研究团队采用了Group Relative Policy Optimization ( GRPO ) 算法，以最大化生成内容的优势，并限制策略与参考模型之间的分歧。
在奖励设置方面，TiG 使用基于二元规则的奖励，当预测操作与人类游戏玩法匹配时为 1，否则为 0，从而保持更新的稳定性和成本。
奖励是基于实战积累的过程性知识、人类可读的战略规划，以及依然保持完好的通用语言能力。
训练过程与实验结果
TiG 采用多阶段训练方法，结合了监督微调（SFT）和强化学习（RL）来增强模型能力。
SFT 阶段：从 Deepseek-R1 中提取训练数据进行 SFT。这些数据展示了强大的推理能力，可以帮助较小的模型获取深度推理能力。
在线 RL 阶段：使用真实游戏数据，并利用 GRPO 算法训练模型。
在具体的实验中，研究探索了多种训练方法的组合方式。
GRPO：仅使用 GRPO 算法训练基础模型，不进行 SFT 训练。
SFT：仅使用 SFT 训练数据集训练基础模型 。
SFT + GRPO ：首先使用 SFT 训练基础模型，然后应用 GRPO 算法进一步训练，以提高模型的推理能力。
（注：为了评估模型的质量，研究设置了以下不同规模的基线模型，包括 Qwen-2.5-7B-Instruct、Qwen-2.5-14B-Instruct、Qwen-2.5-32B-Instruct、Qwen-3-14B-Instruct 和 Deepseek-R1）
实验结果表明：SFT 和 GRPO 的组合能显著提高不同模型规模的性能，Qwen-2.5-32B 在应用 GRPO 后，准确率从 66.67% 提高到 86.84%。而 Qwen2.5-14B 在依次应用 SFT 和 GRPO 后，准确率从 53.25% 提高到 83.12%。
此外，正如我们开头提到的，经过 SFT 和 GRPO 训练（2000 步）的 Qwen-3-14B 达到了 90.91% 的准确率，超过了参数量大一个数量级的 Deepseek-R1（86.67%）。
综上，TiG 不仅弥合了 ” 知其然 ” 与 ” 知其所以然 ” 之间的鸿沟，还在数据量和计算需求显著降低的情况下，取得了与传统 RL 方法具有竞争力的性能。
参考链接
[ 1 ] https://arxiv.org/abs/2508.21365
[ 2 ] https://x.com/rohanpaul_ai/status/1962499431137493195
来源：量子位 henry 发自 凹非寺
相关链接
企业AI知识库搭建与运营培训课程
呼叫中心AI知识库培训课程
个人知识体系构建能力课程
