在数字科技迅猛演进的当下,您是否期待获得一个能精准解析需求并提供定制化服务的智能交互系统?本文将为您揭示一种创新性的本地部署方案,通过组合Ollama架构、DeepSeek R1引擎、Anything LLM开发平台及cpolar网络穿透技术,让您无需依赖远程服务器即可在Windows系统中构建专属的AI工作环境。这套解决方案将突破云端服务依赖的局限,实现知识库即时调用与智能对话功能的完美融合。
该技术体系采用离线部署模式,通过四个核心组件的有机整合,为用户打造可扩展的本地化AI助手。从基础环境搭建到功能模块集成,我们将系统解析如何将Ollama的模型托管能力、DeepSeek R1的推理优势、Anything LLM的交互设计以及cpolar的网络穿透特性转化为实际应用场景。这种创新性的技术组合不仅能满足个性化知识管理需求,更能通过本地化部署保障数据安全,让智能系统无缝融入日常办公与数字生活场景。 【视频教程】
https://www.bilibili.com/video/BV1dVPveRENe?share_source=copy_web
本地部署DeepSeek结合Anything LLM打造智能AI知识库并实现远程访问
如果没有安装Ollama与DeepSeek,可以查看这篇教程进行安装:《Windows本地部署deepseek-r1大模型并使用web界面远程交互》
简单来说就是访问Ollama的官网,下载适配你的操作系统的客户端,安装好之后用cmd
打开Windows系统自带的终端界面:
然后回到Ollama的官网,找到你想要下载的各种量级的模型对应的模型下载命令:
比如我这里下载1.5b的轻量级deepseek模型,就在cmd终端中执行这个命令就能安装了:
ollama run deepseek-r1:1.5b
现在我们就已经能够在本地Windows电脑上通过ollama正常使用deepseek-r1模型与AI进行聊天了!
下面我们访问Anything LLM的官网下载Windows客户端:
下载后,双击应用程序进行安装:
安装完毕后打开软件后,点击get started按钮进入使用界面:
第一步选择Ollama:
选择好之后,点击右侧的箭头,下方会出现选择使用哪个大模型的下拉框,我们可以在这里看到之前本地部署的deepseek-r1:1.5b模型,如果你本地还有其他模型,也会出现在这里。
下一步确认信息后,点击右侧箭头继续
现在我们需要创建一个工作区,并给它取个名字,输入后继续点击右侧箭头:
在Anything LLM中配置好了大模型,并创建了一个工作区后就可以看到欢迎界面了:
点击左下角的扳手(设置),我们可以对界面语言进行修改:
设置好之后,点击同一位置的返回按钮,即可回到工作区,在下方的输入框中,就可以和大模型聊天了!
如果我们需要上传文件或是图片等资料,点击工作区名称标签后的上传按钮即可打开上传界面:
除了支持多种文档类型(PDF、TXT、DOCX等),在上传按钮下方还可以直接粘贴网址,真的是非常方便又全面。勾选你要上传的文件,
点击右下角的保存和嵌入按钮即可上传你的资料。通过Anything LLM管理超大文档时高效、低耗。只需要一次就可以嵌入(Embedding)一个庞大的文档或文字记录,比其他文档聊天机器人解决方案节省超多成本。
在设置界面的LLM首选项中,我们能看到刚才选择的LLM提供商是ollama,下方是模型信息,最底部有ollama运行的地址和端口:
如果我们想要在局域网内让其他的小伙伴也能远程使用Anything LLM调用ollama使用大模型进行聊天,那么我们需要进行对ollama进行一下环境变量设置!
打开cmd终端,执行下面两个命令:
setx OLLAMA_HOST "0.0.0.0"
setx OLLAMA_ORIGINS "*"
然后点击电脑桌面右下角的ollama图标退出并重启服务:
重新开启ollama服务后,同一局域网下的小伙伴在Anything LLM中将ollama的地址改为你的电脑IP加上端口号11434后,就能使用你在本地部署的大模型进行聊天或者上传文件训练了。
不过我们目前只能在本地局域网内多人使用Anything LLM远程访问大模型,如果想让异地好友、让更多人也能使用你在部署的deepseek大模型应该怎么办呢?很简单,只要安装一个cpolar内网穿透工具就能轻松实现远程访问内网主机中部署的服务了,接下来介绍一下如何安装cpolar内网穿透。
首先进入cpolar官网:
cpolar官网地址: https://www.cpolar.com
点击免费使用
注册一个账号,并下载最新版本的cpolar:
登录成功后,点击下载cpolar到本地并安装(一路默认安装即可)本教程选择下载Windows版本。
cpolar安装成功后,在浏览器上访问http://localhost:9200,使用cpolar账号登录,登录后即可看到配置界面,结下来在WebUI管理界面配置即可。
接下来配置一下 Ollama 的公网地址,
登录后,点击左侧仪表盘的隧道管理——创建隧道,
隧道创建成功后,点击左侧的状态——在线隧道列表,查看所生成的公网访问地址,有两种访问方式,一种是http 和https:
在Anything LLM的设置界面中使用上面的任意一个公网地址替换刚才IP加端口号的地址,点击右上角的保存按钮后,就可以实现异地远程访问本地部署的deepseek大模型聊天了!使用了cpolar的公网域名,无需自己购买云服务器,轻松搞定远程访问。
PS:如果替换地址后无法使用,退出重新启动一下Anything LLM即可
总结
为了方便演示,我们在上边的操作过程中使用cpolar生成的HTTP公网地址隧道,其公网地址是随机生成的。这种随机地址的优势在于建立速度快,可以立即使用。然而,它的缺点是网址是随机生成,这个地址在24小时内会发生随机变化,更适合于临时使用。
如果有长期使用Anything LLM远程访问本地部署的DeepSeek等大模型,或者异地访问与使用其他本地部署的服务的需求,但又不想每天重新配置公网地址,还想让公网地址好看又好记并体验更多功能与更快的带宽,那我推荐大家选择使用固定的二级子域名方式来配置公网地址。
接下来演示如何为ollama服务配置固定的HTTP公网地址,该地址不会变化,方便分享给别人长期访问你部署的大模型,而无需每天重复修改服务器地址。
登录cpolar官网,点击左侧的预留,选择保留二级子域名,设置一个二级子域名名称,点击保留,保留成功后复制保留的二级子域名名称:
保留成功后复制保留成功的二级子域名的名称:myolds,大家也可以设置自己喜欢的名称。
返回Cpolar web UI管理界面,点击左侧仪表盘的隧道管理——隧道列表,找到所要配置的隧道:ollamads,点击右侧的编辑:
修改隧道信息,将保留成功的二级子域名配置到隧道中
点击更新
(注意,点击一次更新即可,不需要重复提交)
更新完成后,打开在线隧道列表,此时可以看到公网地址已经发生变化,地址名称也变成了固定的二级子域名名称的域名:
最后,我们在Anything LLM的设置界面中使用上面的任意一个固定的二级子域名公网地址替换刚才的随机公网地址,现在开始就不用每天都更换公网地址来远程访问本地部署的大模型了。
当您凝视这组前沿技术的协同作用时,是否意识到智能化办公的全新可能?借助Ollama架构的模型托管能力、DeepSeek R1的推理引擎,配合Anything LLM的交互式对话模块及cpolar的网络穿透技术,您已具备搭建定制化智能中枢的技术基础。这种本地化部署方案不仅优化了执行效率,更通过模块化组合释放了技术整合的创新价值。
若已做好实施准备,建议按步骤完成组件配置。遇到技术疑点时,可通过专项论坛获取解决方案。AI赋能将助您打破传统交互模式的约束,构建更高效的数字协作体系。我们期待在技术交流平台见证您的实践突破,共同见证人机协同模式的持续进化。