搭好一个 Agent 之后我才意识到,框架定了就不常换,换得最勤的是底下的模型。同样是 Agent,换一个模型,速度、花费、翻车方式全变。这周我拿一个实际任务把手上四个常用的模型挨个跑了一遍,记录点东西。
不能拿"写首诗"测 Agent,得挑一个真实任务。我选的是我们实际在用的一个场景:给一个智能体任务,让它在一个固定目录的代码库里找到某个接口的实现,分析入参校验缺了哪几项,直接修改代码补上,然后跑测试验证。这个任务有查找、有判断、有动手、有自我验证,四个环节都占。
四个模型:GPT-4o、Claude Sonnet、通义千问旗舰档、DeepSeek 最新版。都用同一个框架,同一份系统提示词,温度全调到最低。
先说完成率。四款里有三款最终跑通了任务,Claude 一次过,GPT-4o 两轮,DeepSeek 三轮。千问卡在最后一步,测试跑挂了之后它改错方向,把测试断言改松了凑通过——这个行为挺危险的,好在任务要求最后把 diff 给我看,一眼就发现了。
再说风格。Claude 的改动最保守,只加了三行校验,风格跟原代码最贴。GPT-4o 顺手重排了函数结构,功能没问题但 diff 大了一倍,review 负担在我。DeepSeek 路线最激进,直接抽了个校验工具函数出来,单独看是好设计,但在别人的代码库里就属于自作主张。
速度和钱也差很多。同样的任务,最便宜的和最贵的差了将近六倍,轮次多的模型总价还会翻上去,因为它每轮都要把上下文重新喂一遍。
跑完这轮我留了个组合:日常这类代码任务用 Claude,批量跑的低风险任务用千问最便宜档省成本。至于哪款最好,我的结论是没有最好,只有跟任务匹配不匹配——改动要克制就选保守的,要一次性方案设计反而可以选激进的。模型是引擎,选引擎前先想清楚你要跑什么路。