AIGC：StableLM 简介

Freedom123

发布于 2024-03-29 15:36:35

1150

发布于 2024-03-29 15:36:35

文章被收录于专栏：DevOps

简介

众所周知，去年初创公司 Stability AI 发布的 AI 图像生成工具 Stable Diffusion，成为一种革命性的图像模型，也使 AI“文生图”实现了飞速的发展。满载着大家对其“不再局限于开发图像生成”和“开源”的期待，在 4 月 20 日， Stability AI 宣布推出开源大型语言模型（LLM）—— StableLM。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-s7TmKDFi-1686562001136)(C:\Users\86186\AppData\Roaming\Typora\typora-user-images\image-20230423171552820.png)]

据 Stability AI 官方报道，StableLM 模型还处于 Alpha 阶段，参数比较少，只有 30 亿和 70 亿个参数，之后还会推出有 150 亿到 650 亿参数的模型。作为一个类 ChatGPT 模型，StableLM 模型可以生成文本和代码，并为一系列下游应用程序提供动力，能为小而高效的模型通过适当的培训提供高性能。

然而，与 ChatGPT、Bard 等模型相比，StableLM 最大的“优势”莫过于可供每一个人下载并部署在本地，就连笔记本也可以跑起来。

正如 Stability AI 在报道中坦言的：“语言模型将成为我们数字经济的支柱，我们希望每个人都在他们的设计中拥有发言权。”

StableLM 目前已在 GitHub 开源，其高性能低消耗等特点快速吸引了一大波AI爱好者的关注，不到一天时间，星标已接近 6000 Stars。

应用实践

值得一提的是，StableLM 的发布主要得益于 Stability AI 在 EleutherAI (一个非营利性研究中心)开源早期语言模型方面的经验，其语言模型包括 GPT-J 、 GPT-NeoX 和 Pythia套件，它们基于 The Pile 开源数据集训练。StableLM是基于一个新的实验数据集训练出来的，该数据集基于The Pile构建，但规模是原来的3倍，包含1.5万亿个标记内容。尽管其参数只有30到70亿（相比之下，GPT-3有1750亿个参数），但这个数据集的丰富性使得StableLM在对话和编码任务中表现出惊人的高性能。

Stability AI 还表示，作为概念验证，他们还使用了斯坦福大学 Alpaca程序对模型进行了微调，使用了五个最近的对话代理数据集的组合：斯坦福大学的Alpaca、Nomic-AI的gpt4all、RyokoAI 的ShareGPT52K 数据集、Databricks 实验室的 Dolly 和 Anthropic 的 HH，并把这些模型发布为 StableLM-Tuned-Alpha。目前，在官方博客中， Stability AI 也展示了 70 亿参数微调模型在“文本对话、创作内容、编写代码”几个方面的示例：

在对话方面，当提问“你会对即将高中毕业的朋友说些什么”，StableLM 回答说：“你们应该为自己的成就、工作、交友等方面感到骄傲，并对自己的未来抱以期望。”
面对“写一封邮件”的任务，StableLM 也是可以依照信件的格式，清晰的罗列出相关内容。

StableLM 还可以完成一首 rap 的歌词：

在面对“用 C 语言编写可以计算机生命意义”的问题上，StableLM 在“解答未果”后，还用幽默的口吻调侃道：“生命的实际意义会有更复杂的成分，例如社会、哲学等。”

不仅如此，StableLM模型还允许商业化，但开发人员需要遵守CCBY-SA-4.0许可条款之下，自由地检查、使用和调整 StableLM 基础模型。

小结

伴随着 StableLM 在 GitHub 上的开源，国内外网友也展开了热议，而万万没想到的是，许多网友在试用后，竟开始疯狂抨击 StableLM 的效果：“我试图用它生成的所有东西，但最后我都没有采纳。”；“StableLM 的‘开源’是唯一的优势了吧”；“它的回答结果真的平平无奇，不是我想要的”；“中文水平可以说是‘绝望’，可以把人逼疯”。但是，也有网友帮忙解释道：“毕竟 Alpha 版本的参数量目前较小”；“我还是相信在不久的将来， StableLM 会进步的”；“能大方开源，已经让我欣慰了”。此外， StableLM 模型“开源”的安全性等问题也备受大家关注。众所周知，去年在 Stable Diffusion 发布后，Stability AI 遭到了很多艺术家的投诉和起诉。因此，很多人对 StableLM 表示怀疑：“ 不知道是否还会引发诉讼”、“害怕又发生剽窃问题”。与此同时，不少人担心有人会利用开源来撰写钓鱼链接的文案和协同软件攻击等。对此， Stability AI 官方表示：“我们开源我们的模型，以提高透明度并促进信任。研究人员可以’深入了解’来验证性能，研究可解释性技术，识别潜在风险并帮助制定保障措施” 。