[大模型]QAnything的docker安装方法

什么是QAnything？

QAnything (Question and Answer based on Anything) 是致力于支持任意格式文件或数据库的本地知识库问答系统，可断网安装使用。

您的任何格式的本地文件都可以往里扔，即可获得准确、快速、靠谱的问答体验。

目前已支持格式: PDF(pdf)，Word(docx)，PPT(pptx)，XLS(xlsx)，Markdown(md)，电子邮件(eml)，TXT(txt)，图片(jpg，jpeg，png)，CSV(csv)，网页链接(html)，更多格式，敬请期待...

特点

• 数据安全，支持全程拔网线安装使用。
• 支持跨语种问答，中英文问答随意切换，无所谓文件是什么语种。
• 支持海量数据问答，两阶段向量排序，解决了大规模数据检索退化的问题，数据越多，效果越好。
• 高性能生产级系统，可直接部署企业应用。
• 易用性，无需繁琐的配置，一键安装部署，拿来就用。
• 支持选择多知识库问答。

架构

为什么是两阶段检索?

知识库数据量大的场景下两阶段优势非常明显，如果只用一阶段embedding检索，随着数据量增大会出现检索退化的问题，如下图中绿线所示，二阶段rerank重排后能实现准确率稳定增长，即数据越多，效果越好。

QAnything使用的检索组件BCEmbedding有非常强悍的双语和跨语种能力，能消除语义检索里面的中英语言之间的差异，从而实现：

• 强大的双语和跨语种语义表征能力【基于MTEB的语义表征评测指标】。
• 基于LlamaIndex的RAG评测，表现SOTA【基于LlamaIndex的RAG评测指标】。

一阶段检索（embedding）

• 更详细的评测结果详见Embedding模型指标汇总。

二阶段检索（rerank）

• 更详细的评测结果详见Reranker模型指标汇总

基于LlamaIndex的RAG评测（embedding and rerank）

NOTE:

• 在WithoutReranker列中，我们的bce-embedding-base_v1模型优于所有其他embedding模型。
• 在固定embedding模型的情况下，我们的bce-reranker-base_v1模型达到了最佳表现。
• bce-embedding-base_v1和bce-reranker-base_v1的组合是SOTA。
• 如果想单独使用embedding和rerank请参阅：BCEmbedding

LLM

开源版本QAnything的大模型基于通义千问，并在大量专业问答数据集上进行微调；在千问的基础上大大加强了问答的能力。 如果需要商用请遵循千问的license，具体请参阅：通义千问

🚀 最近更新

• 2024-04-03: 支持在纯Python环境中安装；支持混合检索。 - 详见👉 v1.3.0
• 2024-01-29: 支持自定义大模型，包括OpenAI API和其他开源大模型，GPU需求最低降至GTX 1050Ti，极大提升部署，调试等方面的用户体验 - 详见👉 v1.2.0
• 2024-01-23: 默认开启rerank，修复在windows上启动时存在的各类问题 - 详见👉 v1.1.1
• 2024-01-18: 支持一键启动，支持windows部署，提升pdf，xlsx，html解析效果 - 详见👉 v1.1.0

开始之前

在GitHub上加星，即可立即收到新版本的通知！

• 🏄 在线试用QAnything
• 📚 在线试用有道速读
• 🛠️ 想只使用BCEmbedding(embedding & rerank)
• 📖 常见问题
• 👂️需求反馈 | 让我听见你的声音

开始

安装方式

我们提供三种安装方式：

• 纯python环境安装
• docker安装
• 断网安装

不同安装方式对应的特性如下表:

纯python环境安装

不想用docker环境安装的，我们提供了纯Python版本安装教程，纯python环境的安装仅作为demo体验，不建议生产环境部署。

• 支持纯CPU安装运行(检索部分跑在CPU上，大模型调用在线API)
• 支持Mac安装运行

docker环境安装

必要条件

For Linux

For Windows with WSL Ubuntu子系统

step1: 下载本项目

git clone https://github.com/netease-youdao/QAnything.git

step2: 进入项目根目录执行启动脚本

• 📖 QAnything_Startup_Usage
• 执行 bash ./run.sh -h 获取详细的LLM服务配置方法

cd QAnything
bash run.sh  # 默认在0号GPU上启动

（注意）如果自动下载失败，您可以从以下三个地址之一手动下载模型。

（可选）指定单GPU启动

（可选）指定单GPU启动 - 推荐 Windows10/Windows11 WSL2 用户使用此方式运行 QAnything

（可选）指定单GPU启动 - 推荐 GPU Compute Capability >= 8.6 && VRAM >= 24GB 使用此方式运行 QAnything

（可选）指定多GPU启动

step3: 开始体验

前端页面

运行成功后，即可在浏览器输入以下地址进行体验。

• 前端地址: http://your_host:8777/qanything/

API

如果想要访问API接口，请参考下面的地址:

• API address: http://your_host:8777/api/
• For detailed API documentation, please refer to QAnything API 文档

DEBUG

如果想要查看相关日志，请查看QAnything/logs/debug_logs目录下的日志文件。

• debug.log
  • 用户请求处理日志
• sanic_api.log
  • 后端服务运行日志
• llm_embed_rerank_tritonserver.log（单卡部署）
  • LLM embedding和rerank tritonserver服务启动日志
• llm_tritonserver.log（多卡部署）
  • LLM tritonserver服务启动日志
• embed_rerank_tritonserver.log（多卡部署或使用openai接口）
  • embedding和rerank tritonserver服务启动日志
• rerank_server.log
  • rerank服务运行日志
• ocr_server.log
  • OCR服务运行日志
• npm_server.log
  • 前端服务运行日志
• llm_server_entrypoint.log
  • LLM中转服务运行日志
• fastchat_logs/*.log
  • FastChat服务运行日志

关闭服务

bash close.sh

断网安装

windows断网安装

如果您想要断网安装QAnything，您可以使用以下命令启动服务。

# 先在联网机器上下载docker镜像
docker pull quay.io/coreos/etcd:v3.5.5
docker pull minio/minio:RELEASE.2023-03-20T20-16-18Z
docker pull milvusdb/milvus:v2.3.4
docker pull mysql:latest
docker pull freeren/qanything-win:v1.2.x  # 从 [https://github.com/netease-youdao/QAnything/blob/master/docker-compose-windows.yaml#L103] 中获取最新镜像版本号。

# 打包镜像
docker save quay.io/coreos/etcd:v3.5.5 minio/minio:RELEASE.2023-03-20T20-16-18Z milvusdb/milvus:v2.3.4 mysql:latest freeren/qanything-win:v1.2.1 -o qanything_offline.tar

# 下载QAnything代码
wget https://github.com/netease-youdao/QAnything/archive/refs/heads/master.zip

# 把镜像qanything_offline.tar和代码QAnything-master.zip拷贝到断网机器上
cp QAnything-master.zip qanything_offline.tar /path/to/your/offline/machine

# 在断网机器上加载镜像
docker load -i qanything_offline.tar

# 解压代码，运行
unzip QAnything-master.zip
cd QAnything-master
bash run.sh

Linux断网安装

如果您想要断网安装QAnything，您可以使用以下命令启动服务。

# 先在联网机器上下载docker镜像
docker pull quay.io/coreos/etcd:v3.5.5
docker pull minio/minio:RELEASE.2023-03-20T20-16-18Z
docker pull milvusdb/milvus:v2.3.4
docker pull mysql:latest
docker pull freeren/qanything:v1.2.x  # 从 [https://github.com/netease-youdao/qanything/blob/master/docker-compose-linux.yaml#L104] 中获取最新镜像版本号。

# 打包镜像
docker save quay.io/coreos/etcd:v3.5.5 minio/minio:RELEASE.2023-03-20T20-16-18Z milvusdb/milvus:v2.3.4 mysql:latest freeren/qanything:v1.2.1 -o qanything_offline.tar

# 下载QAnything代码
wget https://github.com/netease-youdao/QAnything/archive/refs/heads/master.zip

# 把镜像qanything_offline.tar和代码QAnything-master.zip拷贝到断网机器上
cp QAnything-master.zip qanything_offline.tar /path/to/your/offline/machine

# 在断网机器上加载镜像
docker load -i qanything_offline.tar

# 解压代码，运行
unzip QAnything-master.zip
cd QAnything-master
bash run.sh

常见问题

常见问题