Loading [MathJax]/jax/input/TeX/config.js
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >轻松上手!五分钟学会利用llamafile和cpolar实现远程访问本地大模型

轻松上手!五分钟学会利用llamafile和cpolar实现远程访问本地大模型

作者头像
YY的秘密代码小屋
发布于 2025-01-17 00:12:20
发布于 2025-01-17 00:12:20
11200
代码可运行
举报
文章被收录于专栏:C++系列C++系列
运行总次数:0
代码可运行

前言

无论是工作还是生活,强大的 AI 工具已经成为了我们的得力助手。但你有没有遇到过这样的情况:当你需要在不同的设备上使用这些大型语言模型时,却发现网络环境不稳定或者配置过程繁琐无比?这不仅影响了你的工作效率,还可能让你的心情大打折扣。

今天,我们要给大家带来一个好消息!我们找到了一种全新的解决方案——利用 llamafile和cpolar 内网穿透工具来实现远程访问本地的千问Qwen 7B大型语言模型。这个方法不仅能帮你随时随地轻松使用 AI 工具,还能大大简化部署和配置的过程,提高安全性和稳定性。

1. 下载llamafile

windows 点击下面下载地址,可以下载llamafile,下载后是一个压缩包,需要解压 https://www.modelscope.cn/api/v1/models/bingal/llamafile-models/repo?Revision=master&FilePath=llamafile-0.6.2.win.zip

下载后,解压压缩文件,可以看到一个llamafile.exe文件,这样就下载成功了,不需要去点击这个文件,下面我们直接下载我们的大语言模型

image-20240822150143720
image-20240822150143720

2. 下载大语言模型

进入这个链接::https://www.modelscope.cn/models/bingal/llamafile-models/,可以下载相应的大语言模型,本例下载的是第一个模型,同时是演示超过4G的模型如何在windows 结合llamafile去运行,如果低于4G的模型,可以有更简单的运行方式,具体可以看一下该链接里的介绍方法

image-20240822150841840
image-20240822150841840

下载好后,我们把下载的大语言模型和上面我们下载的llamafile.exe 文件放在一起,然后就可以运行了.下面开始运行,运行也是非常的简单

image-20240822151053594
image-20240822151053594

3. 运行大语言模型

在当前目录下面,点击左上角文件,直接打开powershell 命令窗口

image-20240822151933218
image-20240822151933218

然后执行下面命令,其中: .\llamafile-0.6.2.exe 表示运行llamafile, .\Qwen-7B-Chat-q4_0.llamafile表示运行自己下载的大语言模型, -ngl 999 表示调用GPU显卡运行,后面则是web 界面访问端口,8080 可以自己修改,后面-host 默认即可

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
.\llamafile-0.6.2.exe -m .\Qwen-7B-Chat-q4_0.llamafile -ngl 9999 --port 8080 --host 0.0.0.0

执行后,我们可以看到一些信息,没有报错表示运行成功,会默认跳转到浏览器打开对应的界面,如果没有跳转,可以手动访问一下

image-20240822153039876
image-20240822153039876

打开浏览器,我们可以看到 llama 的web ui 界面,这样表示启动就成功了

image-20240822153313531
image-20240822153313531

在最下面的输入框输入即可对话,这样就成功运行了一个大语言模型,不需要安装其他一下各种依赖配置,简单几步就运行成功了,如果我们需要换成其他的模型,同样按照上面运行的方式运行即可,本地成功后,下面我们安装cpolar 内网穿透,实现远程也可以访问,方便在外面的时候也可以使用我们大语言模型

image-20240822153457179
image-20240822153457179

4. 安装Cpolar工具

本例介绍的是windows系统,所以cpolar安装在windows上,点击下面地址访问cpolar官网,注册一个账号,然后下载并安装客户端.

Cpolar官网:https://www.cpolar.com

  • windows系统:在官网下载安装包后,双击安装包一路默认安装即可。

cpolar安装成功后,在浏览器上访问本地9200端口【http://localhost:9200】,使用cpolar账号登录,即可看到Cpolar 管理界面,然后一切设置只需要在管理界面完成即可!

20230130105810
20230130105810

5. 配置远程访问地址

在管理界面点击左侧仪表盘的隧道管理——创建隧道,创建一个llamafile web ui 界面的公网http地址隧道!

  • 隧道名称:可自定义命名,注意不要与已有的隧道名称重复
  • 协议:选择http
  • 本地地址:8080 (上面运行模型的时候指定的端口)
  • 域名类型:免费选择随机域名
  • 地区:选择China vip

点击创建(点击一次创建按钮即可,不要重复点击!)

image-20240822155400700
image-20240822155400700

隧道创建成功后,点击左侧的状态——在线隧道列表,查看所生成的公网访问地址,有两种访问方式,一种是http 和https,两种都可以访问

image-20240822155553737
image-20240822155553737

6. 远程访问对话界面

在浏览器输入上面我们创建的Cpolar 公网域名,可以看到访问成功了

image-20240822155710007
image-20240822155710007

同样在最下面输入对话信息即可完成对话,因为我们是指定使用GPU运行,其响应速度更快,模型对话回复时间更短,这样,一个远程访问的公网地址就设置好了.

image-20240822155854762
image-20240822155854762

小结

为了更好地演示,我们在前述过程中使用了cpolar生成的隧道,其公网地址是随机生成的。这种随机地址的优势在于建立速度快,可以立即使用。然而,它的缺点是网址由随机字符生成,不太容易记忆。另外,这个地址在24小时内会发生随机变化,更适合于临时使用。

我一般会使用固定二级子域名,原因是我希望将网址发送给同事或客户时,它是一个固定、易记的公网地址(例如:llamatest.cpolar.cn),这样更显正式,便于流交协作。

7. 固定远程访问地址

如要配置二级子域名,需要点击进入和登录Cpolar官网,点击左侧的预留,选择保留二级子域名,设置一个二级子域名名称,点击保留:

image-20240822160543758
image-20240822160543758

保留成功后复制保留成功的二级子域名的名称

image-20240822160627601
image-20240822160627601

返回登录cpolar web UI管理界面,点击左侧仪表盘的隧道管理——隧道列表,找到所要配置的隧道,点击右侧的编辑

image-20240822160710901
image-20240822160710901

修改隧道信息,将保留成功的二级子域名配置到隧道中

  • 域名类型:选择二级子域名
  • Sub Domain:填写保留成功的二级子域名

点击更新(注意,点击一次更新即可,不需要重复提交)

image-20240822160744095
image-20240822160744095

更新完成后,打开在线隧道列表,此时可以看到公网地址已经发生变化,地址二级名称变成了我们自己设置的二级子域名名称

image-20240822160822878
image-20240822160822878

再次打开浏览器,输入我们固定的cpolar公网地址,可以看到同样访问成功了,这样一个固定的地址就设置好了,不用再担心地址会变化!

image-20240822160927003
image-20240822160927003

通过本文的学习,相信你已经掌握了如何利用 llamafile和cpolar内网穿透工具实现远程访问本地大语言模型的方法。无论在机场、咖啡馆甚至是家里,你只需要打开笔记本电脑或者手机,就能立即连接到你的本地大模型,进行高效的工作或学习。这不仅是一个技术上的突破,更是我们在这个数字化时代提升生产力的重要手段。

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2025-01-16,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
从零开始搭建你的专属AI平台Dify与远程访问轻松管理调用本地大模型
大家好!今天我们要聊聊如何在Linux Ubuntu系统上使用Docker快速部署大语言模型应用开发平台Dify,并借助神奇的内网穿透工具cpolar,在没有公网IP或云服务器的情况下也能让别人轻松访问你的本地Dify服务。是不是很酷?
FGGIT
2025/04/04
8840
从零开始搭建你的专属AI平台Dify与远程访问轻松管理调用本地大模型
Windows本地部署Ollama+qwen本地大语言模型Web交互界面并实现公网访问
本文主要介绍如何在Windows系统快速部署Ollama开源大语言模型运行工具,并安装Open WebUI结合cpolar内网穿透软件,实现在公网环境也能访问你在本地内网搭建的大语言模型运行环境。
屿小夏
2024/04/18
13.7K0
Windows本地部署Ollama+qwen本地大语言模型Web交互界面并实现公网访问
自建类ChatGPT服务:本地化部署与远程访问教程
本文介绍了如何在Windows 10系统上,通过使用Text generation web UI和cpolar内网穿透工具,搭建和远程访问自建类ChatGPT服务。文章详细介绍了安装Text generation web UI和语言模型、安装cpolar内网穿透工具、创建公网地址和固定公网地址的步骤,帮助读者快速搭建并远程访问自定义的大型语言模型。
猫头虎
2024/04/08
7620
自建类ChatGPT服务:本地化部署与远程访问教程
如何在本地服务器创建Llama2大语言模型聊天服务并发布公网实现远程访问
本文主要分享如何在群晖NAS本地部署并运行一个基于大语言模型Llama 2的个人本地聊天机器人并结合内网穿透工具发布到公网远程访问。本地部署对设备配置要求高一些,如果想要拥有比较好的体验,可以使用高配置的服务器设备.
YY的秘密代码小屋
2024/06/22
2520
如何在本地服务器创建Llama2大语言模型聊天服务并发布公网实现远程访问
Code Llama大语言模型的本地部署与使用Text Generation Web UI远程访问
本文将探讨如何在本地环境中部署Text Generation Web UI,并搭建Code Llama大语言模型,同时结合cpolar内网穿透技术,实现对Code Llama的远程访问。
E绵绵
2024/11/15
1940
Code Llama大语言模型的本地部署与使用Text Generation Web UI远程访问
本地部署文字生成音乐AI工具MusicGPT并使用浏览器远程访问使用
今天和大家分享一下在Windows系统电脑上本地快速部署一个文字生成音乐的AI创作服务MusicGPT,并结合cpolar内网穿透工具实现随时随地远程访问使用进行AI音乐的创作与体验。
aosei
2024/09/28
2340
本地部署文字生成音乐AI工具MusicGPT并使用浏览器远程访问使用
本地部署AI应用开发平台Dify并配置Ollama大语言模型实现公网远程访问
本篇文章介绍如何将Dify本地私有化部署,并且接入Ollama部署本地模型,实现在本地环境中部署和管理LLM,再结合cpolar内网穿透实现公网远程访问Dify。
aosei
2024/09/07
1.2K0
本地部署AI应用开发平台Dify并配置Ollama大语言模型实现公网远程访问
Windows环境安装Ollama接入llama2模型并通过MaxKB与AI远程对话
在本文中,我们将详细介绍如何在Windows环境中本地运行大语言模型框架Ollama,并下载大语言模型LLaMA2。接着,我们会使用MaxKB将这个本地运行的大语言模型导入到知识库中,创建一个属于自己的智能问答应用。整个过程无需公网IP或域名,只需借助cpolar内网穿透工具即可实现!
命运之光
2025/01/14
5970
Windows环境安装Ollama接入llama2模型并通过MaxKB与AI远程对话
Linux部署WBO创作白板结合cpolar实现公网远程访问在线协作
WBO在线协作白板是一个自由和开源的在线协作白板,允许多个用户同时在一个虚拟的大型白板上画图。该白板对所有线上用户实时更新,并且状态始终保持。它可以用于许多不同的目的,包括艺术、娱乐、设计和教学,使用起来也非常有趣。
aosei
2024/03/29
1810
Linux部署WBO创作白板结合cpolar实现公网远程访问在线协作
Dify开源大语言模型(LLM) 应用开发平台如何使用Docker部署与远程访问
Dify 是一款开源的大语言模型(LLM) 应用开发平台。它融合了后端即服务(Backend as Service)和 LLMOps 的理念,使开发者可以快速搭建生产级的生成式 AI 应用。即使你是非技术人员,也能参与到 AI 应用的定义和数据运营过程中。
屿小夏
2024/04/12
4.2K0
Dify开源大语言模型(LLM) 应用开发平台如何使用Docker部署与远程访问
无公网IP也能建站:在Linux上使用VanBlog和cpolar实现远程访问
今天,我将与大家分享如何在Linux Ubuntu系统上搭建一款轻量级的个人博客——VanBlog,并利用cpolar内网穿透软件生成公网地址,从而轻松实现随时随地的远程访问,无需公网IP,也不必繁琐地设置反向代理。
命运之光
2024/11/15
1740
无公网IP也能建站:在Linux上使用VanBlog和cpolar实现远程访问
轻松上手!五分钟快速部署OpenObserve云原生平台与远程管理
大家好!今天我们要聊一个非常强大的可观测工具——OpenObserve。这个基于Rust的云原生可观察性平台,不仅可以处理海量数据,还能让你在几分钟内快速部署并运行。最重要的是,它还支持远程访问,完美解决你随时随地管理的需求。
大海里的番茄
2024/12/06
4810
轻松上手!五分钟快速部署OpenObserve云原生平台与远程管理
五分钟在Windows电脑部署MusicGPT进行在线AI音乐创作
本文主要介绍如何在你的 Windows 电脑上快速部署一款文字生成音乐的 AI 创作服务——MusicGPT,并且通过 cpolar 内网穿透工具实现随时随地远程访问。这样一来,无论你身处何地,都可以轻松进行音乐创作!
命运之光
2024/12/20
2550
五分钟在Windows电脑部署MusicGPT进行在线AI音乐创作
几分钟搞定远程开发环境!OpenHands本地Linux部署与远程访问
各位技术大咖、编程狂热者们,今天我要给大家揭秘一款绝对能让你秒变码界英雄的神器——OpenHands。这不仅仅是一个基于人工智能的软件开发代理平台,它简直就是你的私人智能小助手,帮你搞定从代码编写到命令行操作再到网页浏览的一切繁琐任务,效率翻倍不是梦!如果你也想解锁在Linux系统中安装并利用cporal内网穿透技术实现远程访问的新技能,那就跟着我一起探索这个神奇的‘魔法’吧!
YY的秘密代码小屋
2025/04/10
2770
几分钟搞定远程开发环境!OpenHands本地Linux部署与远程访问
如何本地安装AFFiNE并将服务发布至公网实现团队远程访问协作
本文主要介绍如何在Windows系统使用Docker部署开源协作知识库AFFiNE,并结合cpolar内网穿透工具实现公网环境远程访问本地部署的AFFiNE。
YY的秘密代码小屋
2024/05/04
8760
如何本地安装AFFiNE并将服务发布至公网实现团队远程访问协作
群晖NAS使用Docker部署大语言模型Llama 2结合内网穿透实现公网访问本地GPT聊天服务
Llama 2是一款开源的大语言模型,其中训练的数据目前已经达到7B级别,在上下文长度为4K下的单轮与多轮对话中表现出色,部署运行Llama 2同时需要借助一个框架Ollama.
屿小夏
2024/04/10
2.5K3
群晖NAS使用Docker部署大语言模型Llama 2结合内网穿透实现公网访问本地GPT聊天服务
Windows11轻松部署开源AI生图软件Fooocus与远程访问使用指南
本篇文章将介绍如何在本地Windows11电脑部署开源AI生图软件Fooocus,并结合Cpolar内网穿透工具轻松实现公网环境远程访问与使用。
YY的秘密代码小屋
2024/11/05
2790
Windows11轻松部署开源AI生图软件Fooocus与远程访问使用指南
使用MaxKB添加本地部署的Ollama大语言模型搭建智能聊天系统
cpolar是一种安全的内网穿透服务。它能够将内网下的本地服务器通过安全隧道暴露至公网,使得公网用户可以正常访问内网服务。cpolar支持多种操作系统,包括Windows、Mac和Linux,同时支持多种协议,如TCP、UDP和HTTP等,这使得它适用于各种不同的开发和生产环境,并能够灵活地与内网设备进行通信。
FGGIT
2024/10/15
1K0
使用MaxKB添加本地部署的Ollama大语言模型搭建智能聊天系统
在Linux使用docker本地部署JSON Crack并实现远程访问界面
我们运行 JSON Crack 后,在浏览器输入Linux局域网IP加8888端口,即可成功访问 JSON Crack 管理界面,下面安装介绍安装Cpolar内网穿透工具,实现无公网也可以远程访问本地 JSON Crack 界面
FGGIT
2024/10/15
1950
在Linux使用docker本地部署JSON Crack并实现远程访问界面
Docker部署Nexus Maven私服并实现远程访问Nexus界面
Cpolar内网穿透是一种安全的内网穿透云服务,可以将内网下的本地服务器通过安全隧道暴露至公网,使得公网用户可以正常访问内网服务。它支持HTTP、HTTPS、TCP协议端口映射。
鸽芷咕
2023/12/27
6150
Docker部署Nexus Maven私服并实现远程访问Nexus界面
推荐阅读
从零开始搭建你的专属AI平台Dify与远程访问轻松管理调用本地大模型
8840
Windows本地部署Ollama+qwen本地大语言模型Web交互界面并实现公网访问
13.7K0
自建类ChatGPT服务:本地化部署与远程访问教程
7620
如何在本地服务器创建Llama2大语言模型聊天服务并发布公网实现远程访问
2520
Code Llama大语言模型的本地部署与使用Text Generation Web UI远程访问
1940
本地部署文字生成音乐AI工具MusicGPT并使用浏览器远程访问使用
2340
本地部署AI应用开发平台Dify并配置Ollama大语言模型实现公网远程访问
1.2K0
Windows环境安装Ollama接入llama2模型并通过MaxKB与AI远程对话
5970
Linux部署WBO创作白板结合cpolar实现公网远程访问在线协作
1810
Dify开源大语言模型(LLM) 应用开发平台如何使用Docker部署与远程访问
4.2K0
无公网IP也能建站:在Linux上使用VanBlog和cpolar实现远程访问
1740
轻松上手!五分钟快速部署OpenObserve云原生平台与远程管理
4810
五分钟在Windows电脑部署MusicGPT进行在线AI音乐创作
2550
几分钟搞定远程开发环境!OpenHands本地Linux部署与远程访问
2770
如何本地安装AFFiNE并将服务发布至公网实现团队远程访问协作
8760
群晖NAS使用Docker部署大语言模型Llama 2结合内网穿透实现公网访问本地GPT聊天服务
2.5K3
Windows11轻松部署开源AI生图软件Fooocus与远程访问使用指南
2790
使用MaxKB添加本地部署的Ollama大语言模型搭建智能聊天系统
1K0
在Linux使用docker本地部署JSON Crack并实现远程访问界面
1950
Docker部署Nexus Maven私服并实现远程访问Nexus界面
6150
相关推荐
从零开始搭建你的专属AI平台Dify与远程访问轻松管理调用本地大模型
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档