火热的Jev决策小模型-核心价值究竟在哪里，补足了大模型什么短板？原创

哈喽，大家好，我是人月聊it，今天简单的聊一下JA这个决策小模型，因为最近这个小模型相当的火，所以说刚好录一期视频，简单的聊一下我今天整个视频准备尽量把它讲简单一点，就是这个决策小模型究竟能够干什么，第二个就是对谁有用，第三个我们真实的业务场景里面究竟可以怎么用。首先来讲一下这个决策小模型它干什么？Java这个小模型是type safe AI这么一个创业公司发布的一个也是基于transformer架构的小模型，它其实还有另外一个名字叫system one系统一模型。而且借鉴了我们讲的就是思考的快与慢，这本书里面的一个说法，就是说他的决策更多的是要基于经验和直觉进行决策，而不是像传统大模型的思维链，所以说它整个决策的效率相当高。那么这个小模型究竟能够做什么事情？我举一个简单的例子，大家就容易理解，比如说我现在有有一篇1000字的低代码的文章。

如果用传统的大模型，我可以对这篇文章进行扩写，可以进行改写，可以把这篇文章总结为300字到500字的核心的内容概要，那么这些事情GIF小模型通通不能做，这个小模型能够做的是，你可以问他这篇文章是不是在讲D代码，你可以给他两个选择，这篇文章究竟在讲D代码还是在讲AI编程？这些事情Java才能够做，所以说我们把它叫做这个模型，它的核心不是内容生成，而是决策，只是这种决策它又做了一个简单的分类，这个决策有可能是做判断，有可能是做选择，也有可能是做分类，或者叫分类聚合。如果再讲简单一点，介入这个小模型，它一般只能做判断题和选择题，它不能够做填空题，它更不能够帮你写一篇作文。也正是这个原因，我就谈到了另外一个关键点，就是这个模型对于我们日常的普通事业端用户来讲，基本上没有啥作用。

大家一定要理解我们面对的一个问题，面对的一个业务场景，它绝对不是简单的只做一个判断了事，它里面前期还涉及到问题的定义、梳理、分析，后期还涉及到你判断完以后，你怎么样去执行，去行动。判断或者是路由只是做完这件事情里面相当少的一部分阶段或者是环节。好了，那这个小模型如果你们想去验证，想去自己做一些测试，怎么做呢？直接上到Type C的官方网站，你注册一个账号。注册完账号以后，你其实就已经可以生成APK，拿到这个apik以后，你看还是不知道怎么用，很简单，现在不是有大模型了吗？你把它的实际的快速开始指南的这一页网页丢给大模型，让大模型给你分析我究竟怎么样安装，怎么样使用。

然后大模型就会告诉你，诶，它会自动帮你，比如说把这个skill技能包装好，然后告诉你具体的一些使用的用法，包括我自己在用的时候，其实很简单，我就让大模型帮我写了一个直接对接到街舞API的这么一个简单的网页。这个网页就是对我接近小100篇关于本体论的文章去做相关的知识索引，然后基于这些文章帮我去做判断，帮我去做分类聚合。但是这小模型它本身。实际上的你的素材加上你最终的决策加起来不能超过32K，所以说你给了他太大的文章以后，他还要再去做切片，去见索引。完了以后才是重排序和最终的决策，这些内容其实大家都可以去简单的验证和试用一下。

第三个点就是还是回到街舞这个小模型，为什么？3~4天的时间搞得这么火热，它究竟解决了传统大模型里面什么样的一些问题？简单来讲还是回来就是我们对于一个任何一个业务场景和问题的解决。在整个的过程中，它实际上涉及到三类大的事情，第一个就是意图识别加判断路由，第二个就是已经是一个固定精确的事情，他可能去执行一段精确的代码，第三个事情就是充分的利用大模型的思维链，他要去做内容生成，或者是叫分析推理。原来的意图识别、路由和分析推理都是大模型在做，但是意图识别和路由这个判断本身可能也比较耗时间，也要消耗大量的脱坑才能做出相关的决策。

那么这个时候这个路由判断能不能够交给类似于街舞这种决策小模型做，这个完完全全是可行的，包括我问AI的时候，我就说实际上大模型在处理我们的业务问题，他去做完意图识别判断，其实并没有说他一定要耗费多长的时间，但是在里面有一个关键的点。你如果当前是1000个并发同时在问呢？如果在这种场景下面，比如说你企业也大有私有的大模型，你会发现大量的瓶颈就已经挡在了意图识别这么一个地方了，而实际这个事情它可以交给决策小模型去做，决策小模型做完以后，它起到一个关键的作用就是叫分流，因为你问的100个问题决策完以后，发现80个问题可以直接转到精确的代码执行，或者80个问题可以直接转到知识库检索，但这些东西它其实是没必要通过大模型的。

实际上流入到大模型的只有20%的问题就可以了。这样的话，我们说的我的决策判断和我的大模型的能力就可以做到进一步的充分的融合。它不是单个模型能够解决的事情，真正的业务场景往往需要的是一个混合模型。结合到本体论也是一样的道理，包括类似于结合到plentytier的本体论。本体建模其实一样，我们可以引入决策模型，那引入决策模型究竟干什么用呢？一样的，当我有一个问题场景的时候，我可以先过介这么一个决策小模型。然后这个时候他就会给出一个带了置信度的判断。有了这个判断以后，如果置信度高，已经是一个比较准确的问问题，它可以直接去执行相关的代码，或者是直接去触发action进行回血。只有知信度低，或者是他没办法给出一个精确判断的，我才需要进入到后面的AI大模型的融合推理。

比如说我们常说的一个供应链的场景，当现在客户的交期延期以后。决策模型他可能首先已经分析出来，这个就是应该进行补货，而且这个的执行度高达90%。那我这个时候完完全全可以直接触发一个不获指令，调用action回血到供应链系统就完事了。当我最终分析了这个客户问题以后，我没办法给出一个精确的选择，那在这个时候我可能才是把这个流量路由到我的大模型里面，让大模型进一步的去采集数据，去进行相关的异常分析，归因分析，最后给出一个大模型的综合判断，这样的话，我们的决策小模型和我们的大模型的分析推理就做到了一种天然的融合，这个其实是一个可行可落地的一个很好的思路。好了，今天关于Java小模型或者叫决策模型简单的思考就跟大家分享到这里，希望对大家有所启发，再见。