【周末瞎想】LLM应该如何落地？

每周总得有点思考。

最近LLM的发展依旧如火如荼，各类行业新闻层出不穷。

除了做LLM本身的技术，如何将LLM结合具体行业、结合具体产品进行落地，是很多公司在探索的。

这周我也针对自己负责的业务，思考了一下如何和LLM结合，创造新的业务价值点。

从LLM出发，想想可以怎么用

文生文、文生图、AI agent，这些是LLM当前一些比较典型的能力。

我先尝试从这些能力出发，想想可以如何利用。

一个典型的代表就是通过文生文，实现Text2SQL、chat2DB等类似场景，通过自然语言输入转化为SQL或其他数据库查询语言。

业界的项目挺多，结合openai的API写了个Demo快速体验了一下：

初步看效果还可以。结合表结构信息作为prompt，能够准确翻译我的问题，把“统计下最新的3个app”翻译为SQL，并且附带了相关具体字段返回。

但是我马上想了下，

我的用户真的需要这个功能吗？？

我们团队的用户主要是研发同学，写SQL是最基本的能力，写SQL的时间花费和写自然语言基本相当，甚至可能会更快一点。

但是，如果自然语言转SQL不是百分之一百准确，那用于调整SQL语句的时间就完全是浪费的。

这个功能可能更适合BI分析的非研发用户去使用。

所以，有的能力看似很有噱头，但在我的用户那里，可能并不需要。

从用户出发，想想可以怎么用

那回到业务本身呢，我的用户的痛点和需求是什么？

常常不知道新的平台功能怎么用。

遇到自研组件异常不知道如何定位。

遇到线上问题无法快速找到根因。

这些常见问题能用LLM解决吗？

通过prompt或者RAG来实现「特定领域知识问答」或者「自动根因分析」 应该能比较好的解决以上问题，提升研发效率，减少人工答疑和运维，

从用户出发，从用户的痛点和需求出发，相信能取得不错的效果。

所以，LLM应该如何落地？

用乔布斯关于技术和业务关系的一段论述作为结尾：