研究揭示：谷歌 Gemini Pro 在基准测试中落后于免费 ChatGPT

文章来源：企鹅号 - AI新智界

据站长之家 12 月 24 日报道，根据卡内基梅隆大学的最新研究报告，谷歌最新推出的大型语言模型 Gemini Pro 在基准测试中未能达到预期水平，不仅落后于 GPT-3.5，还远远不及 GPT-4。

Gemini Pro 的研究结果与谷歌在 Gemini 发布会上所提供的信息相矛盾，凸显了对中立基准测试机构或流程的迫切需求。Gemini 团队声称即将推出的 "Ultra" 版本将在各种任务上超越 GPT-4，但谷歌已经对 Ultra 的基准结果进行了操纵。