Ollama是什么？安装部署指南原创

前言

此前写过2篇关于大模型思考的文章：《浅谈大模型时代的后台技术发展》、《AGI 时代的破局之道 》；对于大模型的本地部署和使用，下面我们了解一下。

Ollama是什么？

一个本地部署运行大模型的工具，一行命令一键启动，支持linux、windows和mac操作系统的安装。

Ollama支撑哪些大模型？

访问：https://ollama.com/library，列表下的大模型，它都支持。

图片

Ollama运行大模型的配置？

Ollama只是工具，部署不同的大模型，都对我们本地环境有不同的配置要求（内存大小、CPU、GPU等等），下面举例子：

Ollama下载的大模型在本地存储位置？

mac地址：/Users/xxx/.ollama/models

windos和linux在官网可查到地址说明，这里只用mac进行说明。

图片

ModelFile是什么？有什么作用？

用来创建自定义模型，作为一个配置文件去指定模型推理相关设置。

比如，我们要对大模型进行微调，需要修改模型推理的参数，此时要重新创建模型，可以通过modelfile调整参数来实现。

是否有Web_UI工具，方便进行交互式访问？

有的，仓库地址：https://github.com/ollama-ui/ollama-ui

安装完成之后，访问：

http://localhost:8000/?model=llama3%3Alatest

图片

如何评价一个大模型的快慢？

每秒钟的生成多少个TOKEN，来对大模型进行评价。

• 看日志

mac日志位置：/Users/xxx/.ollama/logs

Ollama的请求debug信息怎么看？

• 在mac日志文件可以看到。

图片

怎么评价大模型精度？

• 人工评价
• 测试集评价
• 利用其他大模型进行评价