谷歌用双子座Gemini“愚弄”了所有人，并没有真正击败 GPT-4

谷歌似乎很绝望。在宣布在今年秋天推出双子座后，谷歌未能兑现其承诺。现在，双子座在年底突然推出，这表明谷歌不想被抛在后面。它似乎是在压力下采取行动的，当时OpenAI和Microsoft等其他参与者正在推出新产品。

在谷歌发布的三款 Gemini 模型中，Gemini Ultra 在各种基准测试中的表现都优于 OpenAI 的 GPT-4，包括 MMLU——这是一个用于评估语言模型在从 STEM 到社会科学和人文科学等一系列学科中的能力的关键指标。

如果深入研究 Gemini 的技术报告，我们会发现在 MMLU 基准测试中，Gemini Ultra 的表现优于 GPT-4 和 GPT-3.5。然而，故事的转折点在于，谷歌巧妙地采用了 COT@32 而不是 5 次学习来增强 Gemini 的感知性能。

深入研究 MMLU Gemini Beat——Gemini 并没有真正击败 GPT-4。当我们在 MMLU 基准上评估任何大型语言模型 （LLM） 时，我们通常采用 5 次学习，“Abacus AI 的创始人 Bindu Reddy 指出。

谷歌通过演示视频展示了 Gemini Ultra 的多模态功能。然而，后来发现该视频是上演的。

谷歌上传的六分钟视频引导我们通过各种例子，在这些例子中，双子座进行流畅的对话，回答查询和参与活动，例如与人玩石头剪刀布等游戏。

在演示中，似乎一切都在实时发生，Gemini 能够快速做出反应。相反，该视频的 Youtube 描述是：“出于此演示的目的，延迟已减少，为简洁起见，Gemini 输出已缩短。

实际上，演示不是实时进行的，也不是通过语音交互进行的。当彭博社就该视频与谷歌联系时，一位发言人解释说，它是“使用镜头中的静止图像帧，并通过文本提示”创建的。简单地说，他们首先给Gemini提供图片，然后他们编写文本提示来获得输出。

然而，Gemini Ultra 还没有出来。谁知道呢，到明年问世时，它实际上可能比 GPT-4 更好。谷歌只能希望 OpenAI 届时不会发布 GPT-5。