最近,咱们 Family 群里总小伙伴在吐槽 AI 模型在被“降智”:
嘶!我也有同感啊!
有时候感觉 AI 聪明得像个“博士级专家”,让我一边惊呼惊艳一边担心失业,但有时候吧,又傻得不行,说出来的话云里雾里,回答的质量直线下降,让我觉得我又可以了!总之就是发挥不稳定!
小鹿在 x 上看到了有大佬也提到了这个问题:
实际上,AI 表现出“智商”和“能力”时而强大、时而平庸的这种不稳定状态,很有可能正是 “AI 降智” 现象的一种体现。
降智,打个比方,有点像一些黑心商家为了省钱,偷偷给产品“缩水”。
现在被网友们吐槽最多的就是 OpenAI,大家都觉得它可能是那个“黑心商家”hhh。这种用户体验上的“降智”感,其实并不是因为模型本身质量不行,而是因为模型供应商在用户完全不知情的情况下,偷偷调整了后端调用的模型。
关键是,用户界面(前端)上没有任何明确的提示或标识告诉你模型被切换了。比如,你可能以为自己还在用 o1-pro,但实际上已经被悄悄换成了 o1,甚至是从 gpt-4o 降级到了 gpt-4o-mini。这就好比你以为自己买的是 iPhone 15 Pro Max,结果拿到手发现是 iPhone 14,这种偷偷摸摸的操作谁能忍?
这种隐蔽的模型切换,正是导致用户体验不一致的主要原因。你明明觉得今天的 AI 怎么变笨了,但其实是因为它已经被“降级”了,而你却毫不知情。
“降智”目前已经有几个“症状”已被网友观察到,主要有:
推理模型秒回: o1 等推理模型不再显示思考过程,直接输出答案,疑似模型被替换。
图像解析失效: 无法解析用户上传的图片。
文件解析失效: 无法解析用户上传的文件。
对话内无法生成图片: 图像生成功能受限。
而这些现象出现的重灾区就是在 OpenAI 的模型们。。。。
OpenAI 采取此举的原因,一种可能的解释是 ChatGPT 周活跃用户已达 2 亿,用户规模巨大。面对有限的算力资源,同时需要兼顾用户体验、新模型研发,并持续面临亏损。
用户太多、算力不够、钱也不够花 ~
当然,这仅为小鹿基于现有信息的推测,最终答案仍需等待 OpenAI 官方的回复(可能也不会承认 hh)
如何确诊 AI 被“降智”?
那在没有暴露症状的时候,如何主动的去确诊我们使用的 AI 有没有被降智呢?网友们的几个小技巧都很实用:
任务时长分析法
看 AI 处理复杂任务花了多长时间。
如果是一个设计得很精巧、需要一步步推理的复杂任务,AI 大概花 7 分钟搞定,那基本可以认为它的表现是正常的。但如果 AI 只用了几秒或者十几秒就给出答案,那就要警惕了——很可能它的性能已经“掉线”了。
不过,这里有个坑需要注意:OpenAI 可能对像 GPT-4 这样的模型做了调整,让它有时候也会“磨洋工”,花更长时间来思考。
难题测试法
用一些特别难的题目来“考考”AI,
用一些难度比较高的题目比如数学、理科这些领域,而且都是那种只有像 o1-pro 这种高性能模型才能搞定的“硬骨头”,例如:
如果经过多次测试,AI 对这些难题的正确率能稳定在 80% 以上,那基本上可以认为它还没被降智,如果正确率掉下去了,那可能就得警惕了。
工具可用性检测法
这个方法可是被好多网友安利的!据说最直接:
发送一段特定的文字指令 ,来让 ChatGPT 展示它目前可以使用的“工具”列表:
summarize your tool in a markdown table with availability
根据测试,如果 ChatGPT 的性能出现下降时,它所能提供的工具数量通常会明显减少,可能只剩下寥寥几个 (通常是 1-2 个),甚至有可能完全没有工具信息返回。 与之相反,如果 ChatGPT 的性能表现正常,它往往能够列出 4-5 个甚至更多的工具。
POW 值分析法 (Proof-of-Work Value Analysis):
查看源代码
这个方法相对来说更偏技术性,需要检查浏览器页面的“源代码”,找到 OpenAI 提供的一个叫做 “POW (Proof-of-Work) 值” 的数值。
这个 POW 值可能和你的网络 IP 地址有关联,通常情况下,数值越高,可能意味着 ChatGPT 的性能更接近正常水平。
小鹿还看到网友已经针对这个方法开发了插件:
插件地址:https://greasyfork.org/zh-CN/scripts/523077-chatgpt%E9%99%8D%E6%99%BA%E9%A3%8E%E9%99%A9%E6%A3%80%E6%B5%8B-%E4%BC%98%E5%8C%96%E7%89%88-%E6%B7%BB%E5%8A%A0%E6%95%99%E7%A8%8B%E7%89%88
如何解决 AI 被降智?
换入口
根据技术老哥们的测试,用苹果手机、iPad、Mac 电脑访问 ChatGPT,好像不容易被“限速”或者“降级”。所以,如果你有苹果设备,不妨先试试用苹果的 ChatGPT App 或者网页版。 安卓手机也算是个“备选”,可以试试看,也许有效果!
换客户端
还有网友测试后验证,ChatGPT 的客户端要比网页版本更加稳定,不会因为 IP 地址的飘忽而被降智:
换 IP
切换到私有 IP 地址的方法也同样有显著效果,甚至有网友通过这种方式成功找回了“失踪的 o1 Pro”:
结语
根据目前网友的反馈,“降智”现象主要在 OpenAI 的 AI 模型中被观察到。针对这一问题,有老哥提出了非常有效的兵法 hhh:
有点东西啊!自己国家有一个牛逼的 AI 真的太重要了!
说实话,搞“降智”策略,短期看好像是省钱了,但长远来看,绝对是个坑。 这招就跟饮鸩止渴一样,眼前成本是降下来了,但后面埋的雷更大。
现在竞争这么激烈,虽然企业确实要在成本、体验、创新这三者之间找个平衡点,但是肯定不是偷偷“降智”这么简单粗暴。
真正的突破永远不是妥协退让,如果持续优化算法、改进系统架构、更智能地配置资源,其实完全有可能在保证服务质量的前提下,合理控制成本的 ~
现在用户都贼精,已经见过这么多好东西了,对 AI 懂的越来越多,胃口也越来越大。 现在是用户有了非常大的话语权,已经可以说了算了,如果你敢随便糊弄用户体验,用户立马就跑了。。。
家人们,你们怎么想的 ~ 欢迎评论区和我们一起讨论!
领取专属 10元无门槛券
私享最新 技术干货