首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >Windows系统本地部署LocalGPT构建自己的私有知识库

Windows系统本地部署LocalGPT构建自己的私有知识库

作者头像
ImAileen
发布于 2024-06-18 02:31:50
发布于 2024-06-18 02:31:50
34300
代码可运行
举报
运行总次数:0
代码可运行

前言

本文主要介绍如何本地部署LocalGPT并实现远程访问,由于localGPT只能通过本地局域网IP地址+端口号的形式访问,实现远程访问还需搭配cpolar内网穿透。

LocalGPT这个项目最大的亮点在于:

1.使用LLM的力量,无需互联网连接,就可以向你的文档提问。100%私密,任何数据都不会离开你的执行环境。你可以摄取文档并提问,无需互联网连接!

2.使用LangChain和Vicuna-7B以及InstructorEmbeddings构建。可以借助LangChain构建更高级能力的pipeline。

环境准备
  • windows10
  • Git
  • python3.11.4
  • C++编译器

下载安装依赖过程中需要C++编译器,我们先提前安装C++编译器,进入微软官方下载vs2022工具:

https://visualstudio.microsoft.com/visual-cpp-build-tools/

下载后打开进行安装,我们勾选第一个C++桌面开发,然后点击右下角安装,接下来等待安装完成即可

1. localGPT部署

localGPT在Github 上面开源了,我们可以在里面复制克隆地址,把项目克隆到本地

GitHub 地址: https://github.com/PromtEngineer/localGPT

通过Git 把项目克隆到本地windows目录,在目录中打开Powershall,执行:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
git clone https://github.com/PromtEngineer/localGPT.git

即可看到克隆下来的localGPT

进入localGPT目录

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
cd localGPT

下载安装依赖,然后等待完成即可

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
pip install -r requirements.txt
2. 启动和使用

打开localGPT目录,可以看到一个文件夹,叫:SOURCE_DOCUMENTS,我们只需把文档放到该目录下

这里测试,放入一个java编程思想文档

然后打开我们刚刚的命令行,下面命令提取数据,此处如果出现错误,可以尝试访问国外网站!

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
python ingest.py

没有报错表示正常

然后运行localGPT_API,运行会有点慢.可以稍等一下,这里运行的时候可以指定使用电脑GPU运行服务端,这样可以加快执行速度,详细可以参考Github上文档

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
python run_localGPT_API.py

启动后我们可以看到api 接口端口号和地址,注意,这个窗口不能关闭,需保持运行,因为web ui 界面需要和这个api 接口保持通信

接下来启动web ui 服务,重新在localGPT目录打开一个新的Powershell命令行窗口,然后进入localGPTUI目录

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
cd localGPTUI

进入后执行启动web ui 界面命令

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
python localGPTUI.py

启动后可以看到访问的地址和端口号,端口号是:5111

我们打开浏览器,输入上面的web ui 服务地址和端口号,即可看到操作的web ui 界面

在输入框中,输入需要对你文档提问的信息,然后点击search

即可看到返回我们上传的文档里面内容,到了这里,启动安装即完成了,下面设置远程访问

3. 安装cpolar 内网穿透

cpolar内网穿透工具,永久免费且不限制流量,支持http/https/tcp协议,无需公网IP,也不用设置路由器,使用简单。

cpolar官网:https://www.cpolar.com/

访问cpolar官网,注册一个账号,然后下载并安装客户端,具体安装教程可以参考官网文档教程。

  • windows系统:在官网下载安装包后,双击安装包一路默认安装即可。
  • linux系统:支持一键自动安装脚本,详细请参考官网文档——入门指南

cpolar安装成功后,在浏览器上访问本地9200端口【http://localhost:9200】,使用cpolar账号登录。

4. 创建公网地址

点击左侧仪表盘的隧道管理——创建隧道,创建一个我们上面的localGPT 的web ui 的5111隧道

  • 隧道名称:可自定义命名,注意不要与已有的隧道名称重复
  • 协议:选择http
  • 本地地址:5111
  • 域名类型:免费选择随机域名
  • 地区:选择China vip

点击创建

隧道创建成功后,点击左侧的状态——在线隧道列表,查看所生成的公网地址,有两种访问方式,一种是http 和https

5. 公网地址访问

我们使用http公网地址访问,可以看到,我们访问到了localGPT web UI 界面,这样一个公网地址访问就创建好了

6. 固定公网地址

由于以上使用cpolar所创建的隧道使用的是随机公网地址,24小时内会随机变化,不利于长期远程访问。因此我们可以为其配置二级子域名,该地址为固定地址,不会随机变化【ps:cpolar.cn已备案

注意需要将cpolar套餐升级至基础套餐或以上,且每个套餐对应的带宽不一样。【cpolar.cn已备案】

登录cpolar官网,点击左侧的预留,选择保留二级子域名,地区选择china vip top ,然后设置一个二级子域名名称,填写备注信息,点击保留

保留成功后复制保留的二级子域名地址

登录cpolar web UI管理界面,点击左侧仪表盘的隧道管理——隧道列表,找到所要配置的隧道,点击右侧的编辑

修改隧道信息,将保留成功的二级子域名配置到隧道中

  • 域名类型:选择二级子域名
  • Sub Domain:填写保留成功的二级子域名
  • 地区: China VIP

点击更新

更新完成后,打开在线隧道列表,此时可以看到随机的公网地址已经发生变化,地址名称也变成了保留和固定的二级子域名名称

最后,我们使用固定的公网地址访问localGPT webui 界面可以看到访问成功,一个永久不会变化的远程访问方式即设置好了

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2024-06-17,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
Dify开源大语言模型(LLM) 应用开发平台如何使用Docker部署与远程访问
Dify 是一款开源的大语言模型(LLM) 应用开发平台。它融合了后端即服务(Backend as Service)和 LLMOps 的理念,使开发者可以快速搭建生产级的生成式 AI 应用。即使你是非技术人员,也能参与到 AI 应用的定义和数据运营过程中。
屿小夏
2024/04/12
4.2K0
Dify开源大语言模型(LLM) 应用开发平台如何使用Docker部署与远程访问
公网访问全能知识库工具AFFINE,Notion的免费开源替代
AFFiNE 是一个全新的开源项目,旨在克服 Notion 和 Miro 在安全和隐私方面的一些局限性。它的设计目标是帮助用户将会议记录、待办事项、文档中的目标、视频会议白板上的头脑风暴以及客户访谈中获得的反馈信息集中到一个统一的平台上。通过AFFiNE,用户可以更好地存储、集成和管理所有工作流程。
鸽芷咕
2023/12/25
8031
公网访问全能知识库工具AFFINE,Notion的免费开源替代
本地部署持续集成工具Jenkins并配置公网地址实现远程自动化构建
本文主要介绍如何在Linux CentOS 7中安装Jenkins并结合cpolar内网穿透工具实现远程访问管理本地部署的Jenkins服务.
E绵绵
2024/08/06
2310
本地部署持续集成工具Jenkins并配置公网地址实现远程自动化构建
Windows系统本地安装配置Apache服务器并实现公网环境远程连接
本文主要分享一下在Windows系统如何安装与配置Apache服务,并结合内网穿透工具实现公网环境远程访问本地内网部署的Apache服务。
aosei
2024/08/03
1.2K0
Windows系统本地安装配置Apache服务器并实现公网环境远程连接
如何使用Docker部署WPS Office服务并实现无公网IP远程处理文档表格
wps-office是一个在Linux服务器上部署WPS Office的镜像。它基于WPS Office的Linux版本,通过Docker容器化的方式提供了一个完整的WPS Office环境,使得用户可以在Linux服务器上轻松地使用WPS Office进行文档处理、表格制作和幻灯片演示等操作。
@小森
2024/04/16
8030
如何使用Docker部署WPS Office服务并实现无公网IP远程处理文档表格
如何使用VNC+Cpolar实现Windows电脑公网远程控制Ubuntu系统桌面
SVN 是 subversion 的缩写,是一个开放源代码的版本控制系统,通过采用分支管理系统的高效管理,使得多个人可以共同开发同一个项目,实现共享资源,实现最终集中式的管理。Subversion作为一个通用的系统,可用来管理任何类型的文件,其中包括程序源码。
走在努力路上的自己
2024/04/10
3140
如何使用VNC+Cpolar实现Windows电脑公网远程控制Ubuntu系统桌面
在Windows系统中集成DeepSeek R1模型,通过Anything LLM构建定制化知识库
在数字科技迅猛演进的当下,您是否期待获得一个能精准解析需求并提供定制化服务的智能交互系统?本文将为您揭示一种创新性的本地部署方案,通过组合Ollama架构、DeepSeek R1引擎、Anything LLM开发平台及cpolar网络穿透技术,让您无需依赖远程服务器即可在Windows系统中构建专属的AI工作环境。这套解决方案将突破云端服务依赖的局限,实现知识库即时调用与智能对话功能的完美融合。
FGGIT
2025/06/10
2530
在Windows系统中集成DeepSeek R1模型,通过Anything LLM构建定制化知识库
VanBlog博客搭建流程结合内网穿透异地远程管理本地个人站点
今天和大家分享如何在Linux Ubuntu系统搭建一款轻量级个人博客VanBlog,并结合cpolar内网穿透软件生成公网地址,轻松实现随时随地远程访问本地部署的站点。无需公网IP,也不用设置反向代理那么麻烦。
YY的秘密代码小屋
2024/09/11
1810
VanBlog博客搭建流程结合内网穿透异地远程管理本地个人站点
Linux系统部署KubeSphere自动化运维平台并实现远程访问管理项目
本文主要介绍如何在Linux CentOS搭建Kubernetes并结合Cpolar内网穿透工具,实现远程访问,根据官网的安装方式,在Linux 上以All-in-One模式安装KubeSphere,设备需要提前安装好Docker并运行。
aosei
2024/04/27
4300
Linux系统部署KubeSphere自动化运维平台并实现远程访问管理项目
如何使用Docker安装Swagger Editor并实现与团队成员共享和协作编辑文档
本文主要介绍如何使用Docker安装部署Swagger Editor并且结合Cpolar内网穿透工具实现远程访问,当然,这里是方便演示,所以在docker安装,有些在项目中已经集成了,也是一样的设置远程方式的方法。
aosei
2024/05/26
2580
如何使用Docker安装Swagger Editor并实现与团队成员共享和协作编辑文档
低成本实战:用Docker+Dify搭建企业级私有化AI服务平台指南
各位小伙伴们,大家好!今天我们要来一场技术大冒险,手把手教你如何在Linux Ubuntu系统上使用Docker快速部署大语言模型应用开发平台Dify,并且借助神奇的内网穿透工具cpolar,在没有公网IP或云服务器的情况下也能让朋友们轻松访问你的本地Dify服务。是不是听起来很带劲?
命运之光
2025/04/06
9840
低成本实战:用Docker+Dify搭建企业级私有化AI服务平台指南
如何使用Docker部署Apache+Superset数据平台并远程访问?
Superset是一款由中国知名科技公司开源的“现代化的企业级BI(商业智能)Web应用程序”,其通过创建和分享dashboard,为数据分析提供了轻量级的数据查询和可视化方案。Superset在数据处理和可视化方面具有强大的功能,能够满足企业级的数据分析需求,并为用户提供直观、灵活的数据探索和展示方式。通过Superset,用户可以轻松地从海量数据中提取有价值的信息,帮助企业做出更加明智的决策。另外,团队协作进行数据分析,可以结合国内流行的内网穿透工具实现公网的实时远程访问数据。
程思扬
2023/11/21
1.8K0
如何使用Docker部署Apache+Superset数据平台并远程访问?
Windows系统搭建AFFiNE知识库并发布公网远程访问详细流程
本文主要介绍如何在Windows系统使用Docker部署开源协作知识库AFFiNE,并结合cpolar内网穿透工具实现公网环境远程访问本地部署的AFFiNE。
屿小夏
2024/05/29
4450
Windows系统搭建AFFiNE知识库并发布公网远程访问详细流程
使用Docker部署Nightingale开源观测分析工具并实现远程访问
本文主要介绍如何在本地Linux系统部署 Nightingale 夜莺监控并结合cpolar内网穿透工具实现远程也可以访问,提高运维效率。解决本地部署后无法远程访问的难题。
大海里的番茄
2024/08/14
3290
使用Docker部署Nightingale开源观测分析工具并实现远程访问
Linux系统搭建DataEase并结合内网穿透实现任意设备公网查看本地数据
DataEase 是开源的数据可视化分析工具,帮助用户快速分析数据并洞察业务趋势,从而实现业务的改进与优化。是开源的数据可视化分析工具,帮助用户快速分析数据并洞察业务趋势,从而实现业务的改进与优化。
ImAileen
2024/03/16
3740
Linux系统搭建DataEase并结合内网穿透实现任意设备公网查看本地数据
自建类ChatGPT服务:本地化部署与远程访问教程
本文介绍了如何在Windows 10系统上,通过使用Text generation web UI和cpolar内网穿透工具,搭建和远程访问自建类ChatGPT服务。文章详细介绍了安装Text generation web UI和语言模型、安装cpolar内网穿透工具、创建公网地址和固定公网地址的步骤,帮助读者快速搭建并远程访问自定义的大型语言模型。
猫头虎
2024/04/08
7760
自建类ChatGPT服务:本地化部署与远程访问教程
Windows系统安装ESXI结合内网穿透工具实现远程访问管理界面
本文和大家分享如何安装与配置VMware ESXi 7.0,结合cpolar内网穿透工具配置公网地址,轻松实现远程访问和管理本地ESXi服务器的具体步骤和配置方法。
FGGIT
2024/10/15
2810
Windows系统安装ESXI结合内网穿透工具实现远程访问管理界面
强大的机器数据管理平台Splunk Enterprise本地部署与远程访问实战教程
本文主要介绍如何简单几步,结合cpolar内网穿透工具实现随时随地在任意浏览器,远程访问在本地Windows系统部署的Splunk Enterprise 数据管理平台,提高工作效率。
YY的秘密代码小屋
2024/08/12
2110
强大的机器数据管理平台Splunk Enterprise本地部署与远程访问实战教程
Linux系统部署JumpServer堡垒机并实现无公网IP远程访问
本文主要介绍如何本地安装JumpServer堡垒机并结合cpolar内网穿透实现任意浏览器远程访问JumpServer Web管理界面.
E绵绵
2024/06/18
4290
Linux系统部署JumpServer堡垒机并实现无公网IP远程访问
Linux系统一键部署Nexus Maven私有仓库结合内网穿透实现远程管理
本文主要介绍在Linux中使用Docker来一键部署Nexus Maven私有仓库工具并结合Cpolar内网穿透实现远程访问Nexus进行管理.
E绵绵
2024/08/06
4120
Linux系统一键部署Nexus Maven私有仓库结合内网穿透实现远程管理
推荐阅读
Dify开源大语言模型(LLM) 应用开发平台如何使用Docker部署与远程访问
4.2K0
公网访问全能知识库工具AFFINE,Notion的免费开源替代
8031
本地部署持续集成工具Jenkins并配置公网地址实现远程自动化构建
2310
Windows系统本地安装配置Apache服务器并实现公网环境远程连接
1.2K0
如何使用Docker部署WPS Office服务并实现无公网IP远程处理文档表格
8030
如何使用VNC+Cpolar实现Windows电脑公网远程控制Ubuntu系统桌面
3140
在Windows系统中集成DeepSeek R1模型,通过Anything LLM构建定制化知识库
2530
VanBlog博客搭建流程结合内网穿透异地远程管理本地个人站点
1810
Linux系统部署KubeSphere自动化运维平台并实现远程访问管理项目
4300
如何使用Docker安装Swagger Editor并实现与团队成员共享和协作编辑文档
2580
低成本实战:用Docker+Dify搭建企业级私有化AI服务平台指南
9840
如何使用Docker部署Apache+Superset数据平台并远程访问?
1.8K0
Windows系统搭建AFFiNE知识库并发布公网远程访问详细流程
4450
使用Docker部署Nightingale开源观测分析工具并实现远程访问
3290
Linux系统搭建DataEase并结合内网穿透实现任意设备公网查看本地数据
3740
自建类ChatGPT服务:本地化部署与远程访问教程
7760
Windows系统安装ESXI结合内网穿透工具实现远程访问管理界面
2810
强大的机器数据管理平台Splunk Enterprise本地部署与远程访问实战教程
2110
Linux系统部署JumpServer堡垒机并实现无公网IP远程访问
4290
Linux系统一键部署Nexus Maven私有仓库结合内网穿透实现远程管理
4120
相关推荐
Dify开源大语言模型(LLM) 应用开发平台如何使用Docker部署与远程访问
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验