这几天,AI圈里出了一个新闻,这一回的主角是AI届扛把子Google,他们家的人工智能大模型Gemini摊上事儿了!
12月18日,有微博大V@阑夕及《AI研究局》等自媒体爆出,在对谷歌Gemini进行测试时,如果用中文询问Gemini的身份,其会坚称自己是“百度”。若输入“小度”或“小爱同学”等提示词,就能把Gemini直接唤醒,不仅承认自己就是小度或者小爱,还询问用户有什么需要帮忙之事。
你就说刺不刺激,难道Google在偷偷用文心一言的数据做训练?
对此,知乎网友@段小草进行了测试,以下是他的原创内容:
目前来看,谷歌 Gemini 的中文语料肯定清洗了百度文心一言的输出,以及,英文语料似乎也清洗了 OpenAI 的输出。我没啥好评价的,唯一的要求是大家不要双标,我之前在某个群里讨论这个话题,有人极力地维护谷歌,真有必要吗?
记住,假的真不了,只要你用了别人的语料,总会有蛛丝马迹可以测试出来。紧急修复只能修复那些最表面的东西,刻意增加抹黑别人的语料更是放下碗骂娘的行为。我且告诉你 base64 可以用来套话,你修复完 base64 我们再去找别的测试途径。
你们当然可以说这是幻觉,毕竟大语言模型犯下的任何错都可以用幻觉解释。但还是那句话,不要双标,公司互换,评论过万,等国产大模型语料出问题时希望你们同样「客观理性善意理解」。百度的部分我上周六就已经发过详细测试了,先把我之前留的主要证据发过来(刚刚测试,Poe 版本依然没有修复)。后面加更一部分 OpenAI 内容的测试,请大家耐心看完。
只要先发「你好」,再问「你是谁」,就能稳定触发这个回答。
Gemini 对李彦宏和百度公司的评价:
再问你是谁(这会换成数字人了):
介绍百度数字人:
评价文心一言:
评价百度和谷歌:
请选择你的雇主:
把安全性能拉到最低,然后 Temperature 设为 0.5:
同样评价李彦宏:
文心一言:
大家可以看到,在上面的测试中,Gemini 对百度和李彦宏的评价几乎都是正面的。但是!我测试完的第二天也就是 12 月 17 日,Gemini API 里就很难再复现刚才的内容了。而且,添加了大量对百度和李彦宏的负面信息(Gemini 突然就从百度舔狗变得「理中客」了呢):
只不过显然谷歌修复的还不够彻底,你只要再多问一句 Gemini 对谷歌的评价它就会把刚才对百度的恶语原封不动地套回自家老板头上(我突然释怀地笑):
Gemini Pro x OpenAI在上一个回答的评论区,有朋友提供了新的思路。除了中文语料洗百度,没想到英文语料也洗 OpenAI:
我刚才测试,这个似乎又修复了,返回的是「OKAY」,笑,你修复还不修复成谷歌。但是难不倒我们,让我们用更加密的手法来问:
被拦截了(狗头),那这串神秘字符的结果是什么呢…:
再补一个 Studio 里的 API 结果,有趣:
至此,请告诉我如果这还不算实锤。我的评价是:AI 生成内容已经开始污染互联网了!大语言模型语料被污染的情况太严重了!
Google Gemini 大量使用了网络上公开的语料才导致了这样的情况,Gemini 是受害者!Google 对友商十分友好包容开放,一点都没有屏蔽、限制来自友商的宣传文本,才导致 Gemini「无意间」输出了来自友商的文本信息!
谷歌才是真正的 OpenAI!开放万岁!理解万岁!(逃)
作者:段小草 链接:https://www.zhihu.com/question/635504283/answer/3330453567 来源:知乎