0代码！教会你用Doris+DeepSeek+Dify搭建ChatBI系统（附完整DSL）

一臻数据

发布于 2025-04-02 06:28:37

1.9K00

代码可运行

文章被收录于专栏：一臻数据一臻数据

运行总次数：0

代码可运行

前言

Apache Doris作为一款基于 MPP 架构的高性能、实时分析型数据库，DeepSeek作为国产Top的大语言模型，Dify作为88K✨的AI应用开发平台，三者合力打造的ChatBI系统，让对话式BI变得触手可及。

整个Doris ChatBI系统工作流程非常清晰：

用户提需求 → DeepSeek进行Text2SQL → Doris执行查询 → DeepSeek分析 → 可视化BI展示

接下来，直接实战体验 ⬇️

从0搭建ChatBI系统

步骤一：准备Doris环境并导入数据

首先安装Apache Doris，并生成导入TPC-H数据。这个数据集包含了客户、订单和供应商等维度的核心表，非常适合演示ChatBI功能。

🔗 Doris环境部署：https://doris.apache.org/zh-CN/docs/install/deploy-manually/integrated-storage-compute-deploy-manually

🔗 TPC-H数据导入：https://doris.apache.org/zh-CN/docs/benchmark/tpch

步骤二：准备Dify环境

可以基于Docker搭建：https://github.com/langgenius/dify

也可以直接使用Dify Cloud：https://cloud.dify.ai/apps

环境初始化后，创建空白应用，选择Chatflow并进行简单配置后创建。

步骤三：Dify流程编排

Dify实现的Doris ChatBI流程如下：

1️⃣ Input

需求输入，由对话窗口输入，不用做额外的配置操作。

2️⃣ Text2SQL

LLM节点，本次配的是DeepSeek V3，主要作用是定义自然语言转SQl的核心规则、数据库表信息映射、查询技巧、查询示例、注意事项和输出格式。

例如（演示版，详细配置见DSL附件）：

# 你是数据分析专家，精通Apache Doris，能够根据用户的问题生成高效的SQL查询， 详细规则如下

## 核心规则
1. 仅使用提供的表和字段
2. 确保SQL语句兼容Doris语法
3. 输出一个完整的SQL语句，无注释
...

## 数据库表结构（TPC-H 决策支持基准）
### 1. customer（客户表表）
...

## 查询技巧
### 聚合函数
- COUNT(): 计算数量
- AVG(): 计算平均值
- SUM(): 计算总和
- MAX()/MIN(): 获取最大/最小值
...

## 查询示例
### 1. 客户订单分布数量查询
...

## 注意事项 
1. 合理使用JOIN条件
2. 注意日期格式的一致性
3. 使用适当的sql语句以提高查询效率

## 输出格式
1. 只能输出一个结果的sql语句
2. 其它非sql内容必须过滤掉再输出

3️⃣ SQL Formatting

由于LLM生成的结果可能会带换行符或者一些强行解释文字导致SQL没法直接执行，所以通常会有做一些SQL格式化动作：

import re  

def main(text2sql: str) -> dict:
    text2sql = text2sql.replace('```sql\n', ' ').replace('\n```', ' ').replace('\n', ' ').strip()
    text2sql = re.sub(r'(LIMIT \d+;).*', r'\1 ', text2sql, flags=re.IGNORECASE)
    return {
        "text2sql": text2sql,
    }

4️⃣ Doris Execute

这块可以直接用Database插件的SQL Execute，但需要在安装完插件后，配置授权一下可通信的Doris集群URL，例如：

mysql+pymysql://{user}:{passwd}@{fe_ip}:9030/tpch

5️⃣ Json Result（可选）

查询结果进行JSON格式规范：

{{ json_result }}

6️⃣ Doris ChatBI

LLM节点，配的是DeepSeek V3，主要作用是定义Doris查询结果转可视化BI的核心规则、可视化图表Echart格式定义、处理流程、分析维度、注意事项和输出格式。

例如（演示版，详细配置见DSL附件）：

# Doris ChatBI数据分析专家工作指南

## 核心规则
1. 直接分析已提供数据，默认数据已满足查询条件。
2. 整理SQL查询结果：
   - 以Markdown表格格式输出，放置在输出开头。
   - 以ECharts图表配置项格式输出，放置在最后。图表配置应尽量简洁，避免过多冗余配置项。
...

## 数据处理流程
1.接收JSON格式查询结果
2.验证数据完整性
3.进行统计分析
4.生成分析报告

## 常见分析维度
1.订单分析
- 订单数量
- 订单分布
- 订单趋势

2.客户分布
- 下单数量
- 地区分布
- 消费分布
...

## 特殊情况处理
- 空数据集：直接返回"没有查询到相关数据"
- 异常值：如实报告，不作主观判断
- 数据缺失：说明缺失情况，不补充假设数据

## 输出格式
如果上游数据库查询没有结果，则直接结合echarts返回 一个空白图，图中告知：没有查询到相关数据；
如果有数据则结合echarts，将数据用适合的图形进行可视化展示