大模型玩游戏，Deepseek-R1-0528 太强了

图片

大家好，我是 Ai 学习的老章

看到一个很有意思的测试

让不同的大模型玩俄罗斯方块、推箱子、糖果粉碎传奇，对战结果有点出乎预料

https://x.com/haoailab/status/1929997363407708646

https://x.com/haoailab/status/1929997363407708646

Deepseek-R1-0528 在多个游戏中智胜 o4-mini 等强推理模型，在俄罗斯方块上几乎达到 SOTA 水平，与 o3 打得难分高下。 ✨ 🧠

，时长00:26

图片

Deepseek-R1-0528 在非视觉类游戏中带来显著提升，包括推箱子和俄罗斯方块等长线游戏中的分数都翻倍了！ 🎯

Qwen3-235B-A22B 作为极具竞争力的开源模型崭露头角，在《糖果粉碎传奇》等空间推理游戏中超越了 Gemini-2.5-flash-preview-0417

，时长00:48

图片

🧠 Deepseek-R1-0528 不仅在俄罗斯方块所向披靡，在需要强大空间推理能力的糖果粉碎传奇中也正逼近 SOTA 水平。

它以三轮平均 491.7 分的成绩（对比 o3 模型的 647.0 分），成为目前最接近顶级水平的开源竞争者。

Qwen3-235B-A22B 以稳健的 363.3 分紧随其后。 

，时长00:27

Obsidian 2025-06-04 22.06.30.png

Obsidian 2025-06-04 22.06.30.png

很好奇

这个测试是怎么实现的呢？

其实是基于这个项目：https://github.com/lmgame-org/GamingAgent

这是一个在标准化交互式游戏环境中启用和测试基于大型语言模型（LLM）和视觉语言模型（VLM）的智能体。

图片

主要功能：

1. 模型评估（基础模式）： 在一系列多样化的视频游戏中评估当前最先进的模型（LLM/VLM），这种评估在没有特定游戏控制框架（gaming harness）的“单一模型 VLM 设置”下进行。
2. 智能体部署与评估（定制化流程）： 使用项目定制的 GamingAgent 工作流程（即游戏控制框架）来部署和评估模型，目的是提升模型在游戏中的表现。
3. PC 端游戏智能体： 用于部署可以在个人电脑和笔记本上运行的计算机使用智能体（Computer-Use Agents, CUAs）。

图片

项目还推出了 Lmgame Bench，这是一个用于游戏智能体的基准测试平台，可以查看各个模型在游戏任务上的表现。

该项目支持多种主流 AI 模型的 API，包括：

• OpenAI (gpt-4o, gpt-4o-mini 等)
• Anthropic (claude-3.5-sonnet, claude-4-opus 等)
• Gemini (gemini-2.5-pro, gemini-1.5-pro 等)
• xAI (grok-3-mini)
• Deepseek (reasoner R1, chat V3)
• Qwen (Qwen3)

安装方法：

git clone https://github.com/lmgame-org/GamingAgent.git
cd GamingAgent
conda create -n lmgame python==3.10 -y
conda activate lmgame
pip install -e .

在credentials.sh 中设置 API keys:

export OPENAI_API_KEY={YOUR_OPENAI_API_KEY}
export ANTHROPIC_API_KEY={YOUR_ANTHROPIC_API_KEY}
export GEMINI_API_KEY={YOUR_GEMINI_API_KEY}
export XAI_API_KEY={YOUR_XAI_API_KEY}
export DEEPSEEK_API_KEY={YOUR_DEEPSEEK_API_KEY}

省事点可以在线体验（需要网络畅通）

图片

在线体验：https://huggingface.co/spaces/lmgame/lmgame_bench

可以玩的游戏有推箱子、2048、俄罗斯方块、超级马里奥等

图片

deepseek-r1 在糖果粉碎传奇上表现不错，在 2048 和 俄罗斯方块上表现中等，在推箱子和逆转裁判上表现较弱

图片

总体看，最强的还是 o3/o4 mini、Gemini 2.5 Pro、Claude 3.7

更多细节，大家可以看下这篇论文：https://arxiv.org/pdf/2505.15146

图片

这篇论文我大致看了一下，其中有一些提示词蛮有意思的

比如：如何用纯文字指导大模型玩游戏？

比如：推箱子

图片

提示：
你正在解决推箱子谜题。你是玩家，需要将所有箱子推到目标位置。当你紧挨着箱子时，你可以通过向相同方向移动来推动它。你不能将箱子推过墙壁，也不能拉动箱子。答案应该是一个动作序列，例如 <answer>向右 || 向右 || 向上</answer>。
状态中每个符号的含义是：
#: 墙壁，_: 空地，O: 目标，√: 箱子在目标上，X: 箱子，P: 玩家，S: 玩家在目标上
你的可用动作是：
上，下，左，右
你最多可以执行 10 个动作，动作之间用“ || ”分隔。
回合 1:
状态：
######
######
#O####
#XP###
#__###
######
你还剩 10 次动作机会。始终输出：

<div class="think">[你的思考过程]</div>

<answer> [你的答案] </answer>，不要带有多余的文本。严格遵守此格式。最大响应长度：100 词（标记）。
下一回合的提示：
奖励：
-0.1
回合 2:
状态：
{当前状态}
你还剩 9 次动作机会。始终输出：

<div class="think">[你的思考过程]</div>

<answer> [你的答案] </answer>，不要带有多余的文本。严格遵守此格式。最大响应长度：100 词（标记）。