高性能应用服务HAI - Llama3.1一键部署

一. 环境介绍

HAI已适配最强开源大语言模型Llama3.1的8B和70B版，用户可在HAI中快速启动Llama3.18B和70B版，进行测试并接入业务。

Llama3.1特点如下：

• 包含8B、70B和405B三个尺寸，最大上下文提升到了128K，支持多语言，代码生成性能优秀，具有复杂的推理能力。
• 从基准测试结果看，Llama 3.1超过了GPT-4 0125，与GPT-4o、Claude 3.5互有胜负。
• 提供开放/免费的模型权重和代码，许可证允许用户进行微调，将模型蒸馏到其他形式，并支持在任何地方部署。
• 提供Llama Stack API，便于集成使用，支持协调多个组件，包括调用外部工具。

二. 使用说明

1. 在“社区应用”选择“Llama3.1 8B”或“Llama3.1 70B”应用
2. 点击jupyterlab连接方式，进入terminal，执行如下命令行，即可启动服务

若选择的环境为“Llama3.1 8B”：ollama run llama3.1:8b

若选择的环境为“Llama3.1 70B”：ollama run llama3.1:70b