腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

综合排序丨最热优先丨最新优先

通用大模型VS垂直大模型

在人工智能这个充满无限可能的领域内，通用大模型和垂直大模型各有千秋。就我个人而言，在二者之间的选择上，并不存在偏向某一方的倾向。我觉得应当依据实际应用场景的具体需求，来挑选最为契合的大模型。通用大模型通用大模型，乃是旨在应对多种任务与数据类型的庞然大物级人工智能模型。在知识覆盖的广度方面，通用大模型无疑具有明显的优势。当我们对于当下所需模型所涉及的精确专业领域的界限感到模糊不清时，选择通用大模型无疑是一种明智之举。垂直大模型接下来谈谈垂直大模型。然而，由于垂直大模型的训练内容聚焦于当前行业，其涉猎的范围更集中，数据针对性更强，所以在提供专业咨询时往往更加精准、细致，这也正是垂直大模型的独特价值所在。因此，对于通用大模型或者垂直大模型，更倾向于哪一方不取决于个人想法，而是取决于用户需要。

六月的雨在Tencent

2024-12-30

8620

标签:

腾讯技术创作特训营S11#重启人生

【AI大模型】训练Al大模型

大模型超越AI 目前所指的大模型，是“大规模深度学习模型”的简称，指具有大量参数和复杂结构的机器学习模型，可以处理大规模的数据和复杂的问题，多应用于自然语言处理、计算机视觉、语音识别等领域。本文将探讨大模型的概念、训练技术和应用领域，以及与大模型相关的挑战和未来发展方向。大模型是指具有庞大参数数量的机器学习模型。传统的机器学习模型通常只有几百或几千个参数，而大模型则可能拥有数亿或数十亿个参数。训练大模型的挑战训练大模型需要应对一系列挑战，包括：以下是与大模型相关的一些代码示例：计算资源需求： import tensorflow as tf # 指定使用GPU进行训练 with tf.device 更智能的模型压缩技术：模型压缩和加速技术将继续发展，以减小大模型的计算和存储开销。更好的计算平台支持：为了支持训练和部署大模型，计算平台将继续改进，提供更强大的计算资源和工具。

2023-10-10

1.7K0

标签:

大模型与大模型的幻觉问题

参考大模型中的涌现 OpenAI 科学家：幻觉是大模型与生俱来的特性，而非缺陷大模型「幻觉」，看这一篇就够了｜哈工大华为出品大模型什么是大模型大语言模型（LLM）是基于海量文本数据训练的深度学习模型大模型的模型发展如下图涌现参考：大模型中的涌现什么是涌现？先从蚂蚁开始说起。蚂蚁是自然界中一种个体非常简单，但是群体能力非常强大的生物。如何解决大模型的「幻觉」问题？方向一：什么是大模型「幻觉」大模型出现幻觉，简而言之就是“胡说八道”。用文中的话来讲，是指模型生成的内容与现实世界事实或用户输入不一致的现象。 OpenAI 科学家 Andrej Karpathy关于大模型幻觉在 Karpathy 看来：从某种意义上说，大语言模型的全部工作恰恰就是制造幻觉，大模型就是「造梦机」。只有大模型助手存在幻觉问题。方向二：造成大模型「幻觉」的原因那么致使大模型产生幻觉的原因都有哪些？

IT从业者张某某

2024-01-04

2K0

标签:

原创 | 大模型扫盲系列——初识大模型

为了提高模型的性能，研究者们不断尝试增加模型的参数数量，从而诞生了大模型这一概念。本文将从大模型的原理、训练过程、prompt和相关应用介绍等方面进行分析，帮助读者初步了解大模型。为了提高模型的性能，研究者们不断尝试增加模型的参数数量，从而诞生了大模型这一概念。本文讨论的大模型将以平时指向比较多的大语言模型为例来进行相关介绍。训练三步骤初步认识了大模型长什么样了，接下来一起来看看如何训练出一个大模型。除这些外还包括算法优化、隐私和数据安全以及模型可解释性等方面的研究和应用，每天还有很多大模型的应用正在不断涌现，大模型在未来仍然有很大的发展潜力，国内的优秀大模型代表例如百度文心大模型也正在搭建全系统产业化的大模型全景大模型挑战大模型也存在一些现实挑战： 1.数据安全隐患：一方面大模型训练需要大量的数据支持，但很多数据涉及到机密以及个人隐私问题，如客户信息、交易数据等。

2023-11-22

21.4K0

标签:

别再“为了大模型而大模型”了

最近这两年，在很多公司里，大模型成了一种奇妙的存在。它不像一个技术工具，更像是一只突然闯进会议室的大象。领导一拍桌子： “我们也要上大模型！” 业务同事一听： “我们这个流程能不能加个大模型？” 但现在有些项目会直接说： “让大模型来判断吧。” 乍一听很高级，仔细一想很浪费。大模型当然能判断，但它不一定最适合判断。大模型天然消耗昂贵的GPU和电力，成本更高；大模型的参数量巨大，运算速度更慢；大模型基于语言的概率给出答案，结果不稳定，大模型内核原理对业务就是一个黑盒，无法说明，解释更困难；出了错还不好定位，你只能靠经验去猜不需要梳理业务流程了，大模型会自己理解；不需要总结专家经验了，大模型会自己推理；不需要定义评价标准了，大模型会自己判断；不需要建设知识库了，大模型会自己知道。七、别把大模型当神仙，要把它当同事我一直觉得，企业用大模型最健康的心态，不是“请神”，而是“招人”。

机器学习之禅

2026-06-01

1690

标签:

【AI大模型】Transformers大模型库（八）：大模型微调之LoraConfig

一、引言这里的Transformers指的是huggingface开发的大模型库，为huggingface上数以万计的预训练大模型提供预测、训练等服务。你可以直接使用一个框架训练你的模型然后用另一个加载和推理。 LoRA是一种用于微调大型语言模型的轻量级方法，它通过添加低秩矩阵到预训练模型的权重上来实现适应性调整，从而在不显著增加模型大小的情况下提升特定任务的性能。 task_type: 指定任务类型，如'CAUSAL_LM'，以确保LoRA适应正确应用到模型的相应部分。 get_peft_model(model, config) print_trainable_parameters(model) 三、总结本文简要介绍LoraConfig的配置参数情况，具体的机遇peft对大模型进行微调后面单独开一页详细讲解

2024-08-13

1K0

标签:

开源大模型与闭源大模型

在人工智能（AI）和机器学习（ML）的快速发展过程中，大模型（Large Models）已经成为推动技术进步的重要力量。当前，业界存在两种主要的大模型开发模式：开源大模型和闭源大模型。一、开源大模型开源大模型是指开发者将模型的代码和训练数据公开，使得任何人都可以访问、修改和使用这些资源。二、闭源大模型闭源大模型是指模型的代码和数据不对外公开，通常由商业公司开发和维护。代表性的闭源大模型包括OpenAI的GPT-3和Google的BERT。三、开源大模型与闭源大模型的对比 1.透明性与可控性：开源大模型的透明性更高，任何人都可以查看和验证其代码和数据，确保模型的行为符合预期。这对于学术研究和技术验证非常重要。闭源大模型通过控制代码和数据的访问，能够更好地保护用户隐私和数据安全，降低被恶意利用的风险。五、总结开源大模型和闭源大模型各有优缺点，适合不同的应用场景和需求。

2024-10-09

1.9K0

标签:

大语言模型-1.2-大模型技术基础

简介 1.2 大模型技术基础大语言模型预训练阶段会得到base model，本质上就是一个互联网文本模拟器，这个阶段需要上万台服务器训练几个月的时间，这个生成的模型可以认为是互联网的有损压缩。构建一个大语言模型大语言模型预训练（Pre-training）使用与下游任务无关的大规模数据进行模型参数的初始训练 ➢ 基于Transformer解码器架构，进行下一个词预测 ➢ 数据数量、数据质量都非常关键人类对齐（Human Alignment） ➢ 将大语言模型与人类的期望、需求以及价值观对齐 ➢ 基于人类反馈的强化学习对齐方法（RLHF）大模型的研发已经成为一项系统工程扩展定律（ Scaling Law) ➢ 通过扩展参数规模、数据规模和计算算力，大语言模型的能力会出现显著提升 ➢ 扩展定律在本次大模型浪潮中起到了重要作用大语言模型采用了与小型预训练语言模型相似的神经网络结构，从而获得更可靠的答案涌现能力与扩展定律的关系 ➢ 涌现能力和扩展定律是两种描述规模效应的度量方法大模型核心技术 ➢ 规模扩展：扩展定律奠定了早期大模型的技术路线，产生了巨大的性能提升

IT从业者张某某

2025-03-15

6410

标签:

【AI大模型】LLM主流开源大模型介绍

学习目标了解LLM主流开源大模型. 掌握ChatGLM、LLaMA、Bloom等基础大模型的原理 LLM主流大模型类别随着ChatGPT迅速火爆，引发了大模型的时代变革，国内外各大公司也快速跟进生成式AI市场，近百款大模型发布及应用目前，市面上已经开源了各种类型的大语言模型，本章节我们主要介绍其中的三大类： ChatGLM-6B：衍生的大模型（wenda、ChatSQL等） LLaMA：衍生的大模型（Alpaca、Vicuna BLOOM模型 BLOOM系列模型是由 Hugging Face公司的BigScience 团队训练的大语言模型。小结本小节主要介绍了LLM主流的开源大模型，对不同模型架构、训练目标、优缺点进行了分析和总结。

小言从不摸鱼

2024-09-24

1.4K0

标签:

【AI大模型】Transformers大模型库（十二）：Evaluate模型评估

一、引言这里的Transformers指的是huggingface开发的大模型库，为huggingface上数以万计的预训练大模型提供预测、训练等服务。你可以直接使用一个框架训练你的模型然后用另一个加载和推理。本文重点介绍Evaluate模型评估。二、Evaluate模型评估 2.1 概述 Transformers库中的evaluate API主要用于评估模型在特定数据集上的性能。下面是一个使用Python和Transformers库进行模型评估的基本步骤，假设你已经有了一个预训练模型和相应的数据集处理器。评估结果将包含各种指标，如准确率，具体指标还要取决于你的模型。

2024-08-13

1.2K0

标签: