介绍
ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型,基于 [General Language Model (GLM)] 架构,具有 62 亿参数。结合模型量化技术,用户可以在消费级的显卡上进行本地部署(INT4 量化级别下最低只需 6GB 显存)。 ChatGLM-6B 使用了和 ChatGPT 相似的技术,针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练,辅以监督微调、反馈自助、人类反馈强化学习等技术的加持,62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答,
安装
安装常规的软件python 3.8以上
安装git LFS 下载模型用
```
git clone https://github.com/THUDM/ChatGLM-6B.git
cd ChatGLM-6B
pip install -r requirements.txt
pip install gradio
python web_demo.py
```
下载模型(保证安装了GIT LFS)
```
git clone https://huggingface.co/THUDM/chatglm-6b
```
下载完成后,把运行的web_demo.py或者其它文件里面的模型径路修改
API部署
首先需要安装额外的依赖 `pip install fastapi uvicorn`
```
python api.py
```
默认部署在本地的 8000 端口,通过 POST 方法进行调用
```
curl -X POST "http://127.0.0.1:8000" \
-H 'Content-Type: application/json' \
-d '{"prompt": "你好", "history": []}'
```
得到的返回值为
```
{
"response":"你好!我是人工智能助手 ChatGLM-6B,很高兴见到你,欢迎问我任何问题。",
"history":[["你好","你好!我是人工智能助手 ChatGLM-6B,很高兴见到你,欢迎问我任何问题。"]],
"status":200,
"time":"2023-03-23 21:38:40"
}
```
注意
MAC用户运行的时候打开运行文件,把这一段换掉
```
# model = AutoModel.from_pretrained("chatglm-6b", trust_remote_code=True).half().cuda()
model = AutoModel.from_pretrained("chatglm-6b", trust_remote_code=True).half().to('mps')
领取专属 10元无门槛券
私享最新 技术干货