首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

本地电脑通过Ollama配置大模型,全记录

这几天在弄老照片修复的工作流,正巧它需要通过Ollama安装大模型到电脑上,整个过程给大家重新温习一遍,在此做个记录。如果你的电脑配置还不错的话,也可以装一个。

一、Ollama安装

Ollama安装完之后并没有大模型可以用,它只是一个容器。作为一个开源框架,它是专门为本地机器上部署大语言模型而设置的。

1、下载

它提供了macOS、Linux、Windows三个平台的安装包。

安装过程非常简单,直接按提示点击下一步即可。

2、下载大模型

完成之后,你可以用任意方式打开一个命令提示栏,在其中输入相关下载命令。

命令如何找呢?此处仍然需要在Ollama网站的library中寻找你想要的大模型。

我之前下载了通义千问2.5:7b和llava两个模型。7b那里可以重新选择,根据你电脑的性能挑选,选择完毕后,点击箭头所指的复制按钮即可复制命令,如:ollama run qwen2.5

直接将这段命令复制到命令提示行中,回车即可自动下载。

模型下载目录为:C:\Users\admin\ .ollama,如果你不想下载到C盘,可以通过设置环境变量来改变

也可以通过命令行直接修改:

setx OLLAMA_MODELS "E:\Ollama"

修改完毕之后,需要重启ollama服务。

安装完成之后,就可以随便问问题啦!

3、关闭了咋办?

刚开始我关闭了命令提示行的对话框,结果不知道如何重新启动?

后来,仍然是按照安装时的命令重新输入的,才把它唤起。

另一种是使用Chatbox AI作为一个媒介来使用大模型,此种方法只需要安装Chat box,比较简单实用。

Chatbox AI:https://chatboxai.app/zh首次打开它会提示你,对模型进行配置。直接选中Ollama即可。如果你有API或者其他的大模型,也可以按需选择。

箭头所指的位置可以快速切换模型。

二、结语

一些不常用的操作安装,随时记录下来,以备后用。也希望这些过程能为大家解决同样的问题。

注意:了解大模型对硬件的需求,保持网络畅通,根据实际情况选择大模型。

我的飞书文档正在不断更新中,其中有很多大家日常要用到的资源,包括AI提示词、AI绘画提示词、影视资源以及很多无法分享的内容等。小伙伴们进群领取地址啦!

  • 发表于:
  • 原文链接https://page.om.qq.com/page/O7wHeW_pRjgD84gl9M7D6Rdw0
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券