DoNews12月8日消息,谷歌7日凌晨终于发布双子座 Gemini 大模型,声称 MMLU 多任务语言理解数据集测试,Gemini Ultra 不光超越 GPT-4,甚至超越了人类专家。
然而有眼尖的网友发现,在谷歌所给的图片中,MMLU 测试中,Gemini 结果下面灰色小字标称 CoT@32,展开来代表使用了思维链提示技巧、尝试了 32 次选最好结果。
而作为对比的 GPT-4,却是无提示词技巧给 5 个示例,这个标准下 Gemini Ultra 其实并不如 GPT-4。以及原图比例尺也有点不厚道了,90.0% 与人类基准 89.8% 明明只差一点,y 轴上却拉开很远。
HuggingFace 技术主管 Philipp Schmid 用技术报告中披露的数据修复了这张图,这样展示更公平恰当:
不仅如此,Gemini 在发布时,谷歌给出的一系列 Demo 中最令人眼花缭乱的部分是伪造的。
名为《Hands-on with Gemini: Interacting with multimodal AI》的视频现在的播放量已经有 140 万次,其中展示了谷歌认为自己「最喜欢的与 Gemini 的交互案例」,展示了多模态模型(即它理解并混合语言和视觉理解)如何灵活地响应各种输入。
领取专属 10元无门槛券
私享最新 技术干货