〔从零搭建〕大模型应用开发平台部署指南

🔥🔥 AllData大数据产品是可定义数据中台，以数据平台为底座，以数据中台为桥梁，以机器学习平台为中层框架，以大模型应用为上游产品，提供全链路数字化解决方案。

摘要：

BISHENG 是一个面向下一代企业 AI 应用的开放式 LLM DevOps 平台。文章内容主要为以下五部分:

一、在线演示环境

二、功能简介

三、源码编译部署安装

四、访问大模型应用开发平台页面

五、核心部署

🔹AllData数据中台线上正式环境：http://43.138.156.44:5173/ui_moat/

请联系市场总监获取账号密码

一、大模型应用开发平台基于开源项目BISHENG建设

AllData数据中台商业版集成BISHENG开源项目为大模型应用平台，BISHENG 是一个面向下一代企业 AI 应用的开放式 LLM DevOps 平台。

其强大而全面的功能包括：GenAI 工作流、RAG、Agent、统一模型管理、评估、SFT、数据集管理、企业级系统管理、可观察性等。

🔹BISHENG项目地址：

https://github.com/dataelement/bisheng

🔹BISHENG官方文档：https://dataelem.feishu.cn/wiki/V7jewstK1iHsuukMgjJckPzNnNb

二、大模型应用开发平台功能技术特性：

2.1. 独立且全面的应用编排框架

支持在单一框架内执行各种任务（而同类产品则依赖于机器人调用，或为不同任务分别设置聊天流程和工作流模块）。

2.2. 人机交互

允许用户在工作流（包括多轮对话）执行过程中进行干预并提供反馈，而同类产品只能从头到尾执行工作流，无人干预。

2.3. 功能强大

支持循环、并行、批处理、条件逻辑，所有逻辑组件均可自由组合。它还能处理多类型输入/输出、报表生成、内容审核等复杂场景。

2.4. 人性化且直观

循环、并行和批处理等操作在同类产品中需要专门的组件，在 BISHENG 中可以轻松以“流程图”的形式可视化（绘制循环即可形成循环，对齐元素即可创建并行，选择多个元素即可进行批处理）。

2.5. 专为企业应用设计

文档审查、固定布局报告生成、多代理协作、策略更新比较、支持票证协助、客户服务协助、会议记录生成、简历筛选、通话记录分析、非结构化数据治理、知识挖掘、数据分析等。

2.6. 企业级特性是应用实现的根本保障

安全审查、RBAC、用户组管理、按组限流、SSO/LDAP、漏洞扫描及修补、高可用部署方案、监控、统计等等。

三、大模型应用开发平台功能特点：

• 企业级高可用架构
• 高并发与分布式部署
• 安全合规与权限控制
• 高精度文档解析与检索
• 灵活的模型管理与优化
• 低代码开发与快速落地
• 技术生态与扩展型

💡部署步骤：

一、环境准备 --构建高可用基础设施

1.1 硬件配置：

• GPU服务器：

推荐NVIDIA A100/A10 80GB显存，支持千亿参数模型推理；若资源有限，可使用T4或RTX 4090（需验证FP16精度）

• 存储：

SSD固态硬盘≥500GB（模型存储+临时文件），建议RAID 10阵列保障数据安全

• 网络：

千兆以太网接口，公网带宽≥100Mbps（若需对外提供API服务）

1.2 软件依赖配置：

• 操作系统：

Ubuntu 20.04 LTS（内核≥5.4）或CentOS 7.9，需关闭SELinux并配置防火墙规则（仅开放8090-8092、9000-9100端口）

• 容器化环境：

Docker 24.0+ + Docker Compose v2.20+，或Kubernetes 1.25+（生产环境推荐）

• 依赖管理：
• Python：3.8-3.10（通过conda create -n bisheng python=3.8创建虚拟环境）
• Java：OpenJDK 11（配置JAVA_HOME并添加至PATH）
• Node.js：16.x（前端开发依赖，通过nvm install 16安装）
• GPU驱动：

NVIDIA Driver 535.86.05+ + CUDA 11.8 + cuDNN 8.6（通过nvidia-smi验证驱动状态）

1.3 安全加固：

• 配置SSH密钥登录，禁用root远程登录。
• 启用TLS 1.2+加密，生成自签名证书或申请CA证书绑定至Gateway服务。
• 使用fail2ban防止暴力破解，配置iptables限制访问IP。

二、源码编译部署获取安装包

• 生产环境推荐稳定版本（如v0.3.0），开发环境可切换至dev分支获取最新特性。

2.1 集群部署

负载均衡——Nginx配置：

2.2Kubernetes部署

• 资源定义（bisheng-deployment.yaml）：

• 服务暴露

2.3 性能监控

• Prometheus集成：

修改config.ini启用Metrics端点：

• 在Prometheus配置文件中添加抓取任务：

• Grafana看板：导入ID为12345的官方模板，实时监控QPS、响应时间及错误率。

三、可选配置 --功能扩展与定制化

3.1 集成第三方模型：

• 下载模型文件（如chatglm3-6b):

• 选修改config.ini配置模型路径：

四、可选配置 --常见问题与解决方案

4.1 GPU驱动冲突：

• 现象：nvidia-smi报错或CUDA版本不匹配。
• 解决：卸载旧驱动：

• 安装指定版本驱动：

4.2 端口占用：

现象：docker-compose up 报错 Port already in use。

解决：

• 查找占用端口的进程
• 终止进程或修改端口配置。

4.3 模型加载失败：

现象：日志报错Failed to load model。

解决：检查模型文件完整性：

重新下载模型：

1、会话

• 会话功能支持多轮交互与上下文记忆，可自然理解用户意图，实现智能问答、任务连续处理等场景化对话

2、构建

• 提供可视化低代码工具，支持拖拽组件快速搭建AI应用，无缝集成多模型与数据源，实现高效开发

3、构建-自定义工作流

• 支持拖拽式编排复杂逻辑，灵活集成多模型与工具，实现个性化AI应用开发

4、大模型工作流开发-智慧医疗分诊场景

• 可智能识别用户意图并自动路由至对应处理模块，实现高效任务分流与响应

5、工作流拖拉拽-编辑开发

• 支持可视化拖拽组件，灵活串联多模型与数据处理步骤，实现复杂AI业务流程的自动化构建

6、流程编排-保存

7、对外发布

• 提供模型部署、应用开发及数据治理等核心能力，支持企业快速构建与部署大模型驱动的智能应用

8、创建工作流-大模型竞技场

9、工作流拖拉拽开发

• 可以可视化拖拽形式，灵活组合模型、工具与数据流，助力快速构建高效智能业务处理流程

10、流程编排-保存

11、工作节点

• 支持灵活配置数据处理、模型调用等任务，可自由组合构建复杂流程，满足多样化业务需求

12、自定义助手

• 自定义助手功能支持基于业务需求快速构建智能应用，通过表单填写或流程编排实现问答、报告生成等场景化交互

13、自定义技能

14、技能设置

• 支持灵活配置AI助手能力，可自定义任务类型、触发条件及执行逻辑，满足多样化业务场景需求

15、创建知识库

16、数据集

• 支持统一管理、评估与微调数据集，提供高效的数据处理能力

17、创建数据集

18、模型配置

• 支持灵活部署、调优及监控各类AI模型，提供一站式管理，确保模型高效稳定运行

19、模型配置-修改成功

20、评测-新建任务

21、标注-创建标组任务

22、审计

• 对数据操作、系统访问等行为进行全面记录与监控，提供细粒度权限控制，确保数据安全合规

23、系统-用户管理-创建用户

24、系统-用户管理

• 支持灵活创建、配置用户组及权限，实现成员批量管理与精细化访问控制

25、系统-角色管理

• 支持精细化权限划分，可自定义角色权限与数据访问范围，保障多层级业务安全高效协作

26、系统-系统管理

• 系统配置功能支持灵活调整平台参数与模块选项，可自定义数据源、权限及流程规则，满足多样化业务场景需求

AllData数据中台商业版通过集成BISHENG开源项目，实现了从模型训练到API服务的全链路自动化。其核心部署在于：

• 环境标准化：通过Docker/Kubernetes实现跨平台一致性。
• 配置中心化：集中管理配置文件，简化集群部署与动态调整。
• 扩展开放化：提供插件机制与多数据源支持，满足企业定制化需求。