苹果研究员亲测6款大模型，揭开4大不为人知的真相！

【ITBEAR】近期，苹果公司在生成式AI领域的动向引起了业界关注。据报道，苹果研究员发布了一篇质疑大语言模型数学推理能力的论文，引发了一场关于AI技术实力的讨论。为了验证这些质疑，一系列大语言模型接受了严格的测试。

在测试中，首先面对的是一个关于奇异果数量计算的问题。结果显示，多数大模型能够正确回答，但文心3.5却给出了错误答案，将体型较小的奇异果排除在外。然而，当问题复杂度提升，如涉及公交车发车时间计算时，文心3.5却意外地成为唯一给出正确答案的模型，显示其在某些特定场景下的优势。

随后的运动员参与项目数量的计算问题，更是成为了大模型的“滑铁卢”。除了付费版的OpenAI o1-preview大模型外，其余包括GPT-4o、讯飞星火、豆包、Kimi以及文心3.5等在内的大模型均未能给出正确答案。这一结果揭示了，尽管大模型在某些方面表现出色，但在面对复杂数学问题时仍显力不从心。

从测试结果来看，大语言模型的性能与其参数量密切相关。例如，GPT-4o mini由于参数量较少，在计算推理时频繁出错。而付费版的大模型由于拥有更多的资源和更高的参数量，往往能提供更准确的答案。

测试还显示出大语言模型在理解人类语言和逻辑方面的局限性。尽管它们在处理基础数学问题时表现良好，但面对具有歧义或复杂性的问题时，它们的推理能力就显得捉襟见肘。这再次证明，尽管AI技术取得了显著进步，但要达到人类智能的水平，还有很长的路要走。

苹果研究员的质疑，一方面揭示了大语言模型在数学推理方面的不足，另一方面也反映了苹果在生成式AI领域的焦虑。与其质疑他人，苹果或许更应该专注于提升自身的AI技术实力，加速布局生成式AI，以免在未来的市场竞争中再次落败。