*随着生成式AI技术的不断进步，关于其未来发展方向的讨论也愈发激烈。究竟生成式AI的未来是在对话系统（Chat）中展现智慧，还是在自主代理（Agent）中体现能...

Chat GPT是由OpenAI开发的一种大型语言模型，它基于GPT（Generative Pre-trained Transformer）架构。GPT是一种基...

作者：乔克 公众号：运维开发故事 博客：https://jokerbai.com

github:https://github.com/taoshihan1991/goflylivechat

In today's fiercely competitive online market, an efficient and intelligent webs...

In today’s digital marketplace, where customer expectations evolve at lightning ...

本节我们简要介绍如何基于 transformers、peft 等框架，对 XVERSE-7B-Chat 模型进行 Lora 微调。Lora 是一种高效微调方法，...

XVERSE-7B 是由深圳元象科技自主研发的支持多语言的大语言模型（Large Language Model），参数规模为 70 亿，主要特点如下：

XVERSE-7B 是由深圳元象科技自主研发的支持多语言的大语言模型（Large Language Model），参数规模为 70 亿，主要特点如下：

XVERSE-7B 是由深圳元象科技自主研发的支持多语言的大语言模型（Large Language Model），参数规模为 70 亿，主要特点如下：

XVERSE-7B 是由深圳元象科技自主研发的支持多语言的大语言模型（Large Language Model），参数规模为 70 亿，主要特点如下：

MiniCPM 是面壁智能与清华大学自然语言处理实验室共同开源的系列端侧大模型，主体语言模型 MiniCPM-2B 仅有 24亿（2.4B）的非词嵌入参数量。

MiniCPM 是面壁智能与清华大学自然语言处理实验室共同开源的系列端侧大模型，主体语言模型 MiniCPM-2B 仅有 24亿（2.4B）的非词嵌入参数量。

MiniCPM 是面壁智能与清华大学自然语言处理实验室共同开源的系列端侧大模型，主体语言模型 MiniCPM-2B 仅有 24亿（2.4B）的非词嵌入参数量。

为便捷构建 LLM 应用，我们需要基于本地部署的 MiniCPM-2B-chat，自定义一个 LLM 类，将 MiniCPM-2B-chat 接入到 LangC...

MiniCPM 是面壁智能与清华大学自然语言处理实验室共同开源的系列端侧大模型，主体语言模型 MiniCPM-2B 仅有 24亿（2.4B）的非词嵌入参数量。

本节我们简要介绍如何基于 transformers、peft 等框架，对 LLaMA3-8B-Instruct 模型进行 Lora 微调。Lora 是一种高效微...

GLM4 兼容 OpenAI API 协议，所以我们可以直接使用 vLLM 创建 OpenAI API 服务器。vLLM 部署实现 OpenAI API 协议的...

在autodl平台中租一个4090等24G显存的显卡机器，如下图所示镜像选择PyTorch–>2.1.0–>3.10(ubuntu22.04)–>12.1 接...

在 01-ChatGLM4-9B-chat FastApi 部署调用 的 环境准备和模型下载基础上，我们还需要安装 langchain 包。如果不需要使用fas...