井字棋里的 GRPO 机制解剖：涨分是真的，推理是假的

@[toc] RLVR 这几年最流行的一句话是：模型在可验证奖励上做强化学习，就会「学会推理」。这句话的证据通常是 benchmark 曲线往上走。但曲线往上走有两种解释，一种是模型真的学会了在这个任务上搜索与验证，另一种是模型学会了更快地读出提示词里已经写好的信息。这两种解释在行为层看起来一模一样，只有在内部表示上才分得开。 这篇论文做的事很干脆：把战场缩小到井字棋，用 GRPO 训练 0.5B