最近,名为 Meditron 70B 的医疗大语言模型正式开源发布了。本来大语言模型的开源发布,也不是什么稀奇的事情,因为如今开源的大模型实在是太多了。不过细查了一下,似乎它是第一个在 70B 规模上进行开源的医疗模型。那如果能够普遍商用,确实能提高医疗水平。
根据声明,它的性能能够超越 GPT3.5,距离 GPT4 大概还有 5% 的水平差距。在 7B 的小模型上,它的性能大概超过了 Llama-27B 的两倍。不过如果 Meditron 真的超越了 GPT4,估计它也不会开源分享出来了。
Meditron 是在 Llama-2 的底层模型基础上进行了大量医学数据的微调优化。它的医学知识库更新到了 2023 年 8 月,可以说是非常新的。今天就来分享一下如何下载这个模型,并在本地与它进行交流。Windows 和 Mac 系统都兼容支持。
下载并解压缩后,就可以得到 Meditron 的可执行文件。双击运行它,然后根据提示进行简单的安装设置。设置好用户名和密码后,它就安装完成了。
接下来打开命令行工具,输入「ollama run meditron 70B」启动这个 70B 大小的 Meditron 模型。如果您的计算机配置不够,也可以选择运行较小的 7B 版本。
第一次运行会自动下载模型参数,大概需要 46G 空间。下载完成就可以完全离线使用了。我们可以提问测试一下,比如「胃痛应该怎么治疗?」它可以生成几种治疗胃痛的方法。如果进一步询问食物中毒要怎么处理,它也可以给出建议。可以看出,它的问答质量确实比 GPT-3.5 更高一些,但与 GPT-4 相比还有一定差距。
在 Windows 系统上使用也很简单。下载 LM Studio 这个应用,下一篇我详细讲解一下这个软件。
搜索并安装 Meditron 模型。根据模型大小设置与计算机性能相匹配的版本。我可以看到它占用的 CPU 和内存资源。加载完成后点击「New Chat」就可以开始提问交流了。
总的来说,Meditron 70B 表现还是不错的,在医疗健康领域有着独特的应用价值。而 7B 的小模型就只适合简单地玩一下。感兴趣的同学可以尝试一下这个医疗模型。
领取专属 10元无门槛券
私享最新 技术干货