有趣实验分享 | 百川智能的 baichuan-7B 能猜到我的心思？

beyondGuo

发布于 2023-09-01 11:26:38

2790

发布于 2023-09-01 11:26:38

文章被收录于专栏：SimpleAI

昨天的文章里，有一小部分是展示百川智能的 baichuan-7B 的 LoRA 微调的结果，其中有一个点我在跟实验室里老师同学讨论的时候大家觉得很有意思，这里分享给读者：

做信息抽取实验的时候：baichuan 会自动把文中的“巨硬”识别为“微软”并抽出来，把“亚牛逊”识别为“亚马逊”抽取出来，把“谷嘎”识别为“谷歌”......而相比之下，ChatGPT，ChatGLM都是文中是什么，就抽取出来什么。

下面是我胡编乱造的一段新闻（纯属娱乐，不构成投资建议hhh）：

ChatGPT的提出对谷嘎、万度的搜索业务产生巨大打击，传统搜索引擎的作用性降低了。与此同时，OChat，Linguo等新兴语义搜索公司，迅速推出自己的类ChatGPT模型，并结合进自家搜索引擎，受到了很多用户的青睐。腾势、艾里等公司表示会迅速跟进ChatGPT和AIGC的发展，并预计在年底前推出自己的大模型。大型图片供应商视觉中国称ChatGPT对公司业务暂无影响，还在观望状态。（本文图片来自视觉中国，上观新闻为您报道。）更多报道：- 亚牛逊公司关于AIGC的表态 - 巨硬公司昨日在A股上市

（改编不是乱编，戏说不是胡说）

然后我使用的 instruction 是：

---
请从上文中抽取出所有公司，以及对应的在本文中的情感倾向（积极、消极、中性）以及原因。
请用这样的格式返回：
{"ORG":..., "sentiment":..., "reason":...}

先看看 ChatGPT（3.5）的效果：

{"ORG": "谷嘎", "sentiment": "消极", "reason": "ChatGPT的提出对谷嘎的搜索业务产生巨大打击"}
{"ORG": "万度", "sentiment": "消极", "reason": "ChatGPT的提出对万度的搜索业务产生巨大打击"}
{"ORG": "OChat", "sentiment": "积极", "reason": "新兴语义搜索公司迅速推出自己的类ChatGPT模型，并受到很多用户的青睐"}
{"ORG": "Linguo", "sentiment": "积极", "reason": "新兴语义搜索公司迅速推出自己的类ChatGPT模型，并受到很多用户的青睐"}
{"ORG": "腾势", "sentiment": "积极", "reason": "表示会迅速跟进ChatGPT和AIGC的发展，并预计在年底前推出自己的大模型"}
{"ORG": "艾里", "sentiment": "积极", "reason": "表示会迅速跟进ChatGPT和AIGC的发展，并预计在年底前推出自己的大模型"}
{"ORG": "视觉中国", "sentiment": "中性", "reason": "称ChatGPT对公司业务暂无影响，还在观望状态"}
{"ORG": "亚牛逊", "sentiment": "中性", "reason": "没有提及具体的情感倾向和原因"}
{"ORG": "巨硬", "sentiment": "中性", "reason": "没有提及具体的情感倾向和原因"}

很棒哈。

接下来看经过我特殊微调之后的 ChatGLM-6B 的效果：

{"ORG": "谷嘎", "sentiment": "消极", "reason": "搜索业务受到打击"}
{"ORG": "万度", "sentiment": "消极", "reason": "搜索业务受到打击"}
{"ORG": "OChat", "sentiment": "积极", "reason": "迅速推出自己的类ChatGPT模型，并结合进自家搜索引擎，受到了很多用户的青睐"}
{"ORG": "Linguo", "sentiment": "积极", "reason": "迅速推出自己的类ChatGPT模型，并结合进自家搜索引擎，受到了很多用户的青睐"}
{"ORG": "腾势", "sentiment": "积极", "reason": "会迅速跟进ChatGPT和AIGC的发展，并预计在年底前推出自己的大模型"}
{"ORG": "艾里", "sentiment": "积极", "reason": "会迅速跟进ChatGPT和AIGC的发展，并预计在年底前推出自己的大模型"}
{"ORG": "视觉中国", "sentiment": "中性", "reason": "表示ChatGPT对公司业务暂无影响，还在观望状态"}
{"ORG": "亚牛逊", "sentiment": "中性", "reason": "关于AIGC的表态"}
{"ORG": "巨硬", "sentiment": "中性", "reason": "昨日在A股上市"}

也不错哈，毕竟是用ChatGPT的数据打标来训练的。

接下来就是重头戏了，百川这小子，给我整了点惊喜（惊吓），下面是经过我特殊微调之后的 baichuan-7B 的效果：

{"ORG":"谷歌","sentiment":"消极","reason":"受到ChatGPT的影响，其作用性下降"}
{"ORG":"百度","sentiment":"消极","reason":"同样受到ChatGPT的影响，其作用性下降"}
{"ORG":"腾讯","sentiment":"中性","reason":"没有明确表达态度或情绪"}
{"ORG":"阿里巴巴","sentiment":"中性","reason":"没有明确表达态度或情绪"}
{"ORG":"视觉中国","sentiment":"中性","reason":"目前还没有明显表现出来受ChatGPT的影响，但仍在观察之中"}
{"ORG":"亚马逊","sentiment":"中性","reason":"该公司对于AIGC的态度是谨慎而保守的，并没有给出具体评价"}
{"ORG":"微软","sentiment":"中性","reason":"该公司的股价已经上涨到历史新高，并且宣布将在国内市场进行二次上市，因此对其未来的发展持乐观态度"}

啊 ???

先不讨论抽取的情感、原因对不对的问题，我胡编乱造的公司名字，你咋都给我掰回来了啊？本来是乱编的新闻，这这这就说不清了啊！

当然，惊吓过后，我们冷静思考一下为什么会有这样的现象，以及这个可以说明什么。这个实验结果，我也跟实验室里老师同学们讨论了一下，觉得这个是个很有意思的点，值得分析。

首先，虽然微调之后，baichuan 没有听我的话按照我的本意，把原文中的原词给抽出来，但是，它全部做了正确的转换，这说明 baichuan 是深刻理解这些词的内涵的。

它某种意义上，确实把一个概念的不同叫法，甚至是戏谑的、现编的叫法，给打通语义了，而且是根据上下文来理解一个词究竟是什么。

比如说”巨硬“，这是流传已久的互联网老梗了，大家知道是对”微软“的戏称，这个 baichuan 可以理解，说明训练语料是足够广泛的；
但同时，”谷噶“、”腾势“、”艾里“，这些都是我现编的，互联网上应该（几乎）没有这样的语料，但是呢，baichuan 成功地通过上下文的理解，猜到了我是根据哪些公司名改编而来的。

这就有点东西了，从这个意义上讲，baichuan 的预训练过程，我觉得是挺成功的。

目前放出来的 baichuan-7B，是一个基座模型，本身不具备 chat 的能力和服从 instruction 的能力。我这里展示的例子，是我拿 1 万多条 instruction tuning 语聊来专项训练得到的，可以在形式上服从我的指令，但是从正确性上确实不还够，但是如果等它们把 SFT 甚至 RLHF 的版本放出来之后，再进行这样的 instruction tuning，我估计效果会很不错。

最后，欢迎大家使用我这里提供的 github repo (https://github.com/beyondguo/LLM-Tuning)，来轻松微调你自己的 LLM：