腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

综合排序丨最热优先丨最新优先

开源大模型到底开源什么？

但大语言模型的“开源”完全不是这么一回事。先别管OpenAI现在名叫钮钴禄氏·CloseAI，就算哪天良心发现，真的要找回自己做一个名副其实的OpenAI，洗心革面把GPT-4给开源了。那么，现在很多研究者在呼吁的开源，到底是要开源什么呢？开源模型，具体来说，是开源训练好的模型参数。模型参数拿到手，基本上就能完整复现能力了。前面说过，模型这玩意距离能力复现就一步之遥，有很多人爱开源模型，也有很多人不爱开源模型，原因和上面差不多，还有一种是大公司大机构才敢用，官方辞令很多，譬如“出于社会责任考虑”，或者“安全伦理存在巨大风险这里为咱们的中文开源大语言模型打个Call吧，能讲中文还开源的大语言模型真的不多，清华放出来的ChatGLM-6B应该是佼佼者，而是真·单卡就能运行。这里说的是消费级显卡。最后就是开源数据集了，这项工作很重要，但也很容易被圈外忽视。现在中文大语言模型缺的东西很多，抱怨的也很多，还有一票人天天平替这个平替那个，实在不知道怎么想。

2023-09-09

1.7K0

标签:

开源大模型与闭源大模型

在人工智能（AI）和机器学习（ML）的快速发展过程中，大模型（Large Models）已经成为推动技术进步的重要力量。当前，业界存在两种主要的大模型开发模式：开源大模型和闭源大模型。一、开源大模型开源大模型是指开发者将模型的代码和训练数据公开，使得任何人都可以访问、修改和使用这些资源。三、开源大模型与闭源大模型的对比 1.透明性与可控性：开源大模型的透明性更高，任何人都可以查看和验证其代码和数据，确保模型的行为符合预期。这对于学术研究和技术验证非常重要。 3.资源共享与独占优势：开源大模型在资源共享方面表现突出，任何人都可以利用这些开源资源进行学习和研究，促进技术的普及和应用。闭源大模型通过控制代码和数据的访问，能够更好地保护用户隐私和数据安全，降低被恶意利用的风险。五、总结开源大模型和闭源大模型各有优缺点，适合不同的应用场景和需求。

2024-10-09

2K0

标签:

【AI大模型】LLM主流开源大模型介绍

学习目标了解LLM主流开源大模型. 掌握ChatGLM、LLaMA、Bloom等基础大模型的原理 LLM主流大模型类别随着ChatGPT迅速火爆，引发了大模型的时代变革，国内外各大公司也快速跟进生成式AI市场，近百款大模型发布及应用目前，市面上已经开源了各种类型的大语言模型，本章节我们主要介绍其中的三大类： ChatGLM-6B：衍生的大模型（wenda、ChatSQL等） LLaMA：衍生的大模型（Alpaca、Vicuna 、BELLE、Phoenix、Chimera等） Bloom：衍生的大模型（Bloomz、BELLE、Phoenix等） ChatGLM-6B模型 ChatGLM-6B 是清华大学提出的一个开源小结本小节主要介绍了LLM主流的开源大模型，对不同模型架构、训练目标、优缺点进行了分析和总结。

小言从不摸鱼

2024-09-24

1.4K0

标签:

google开源大模型-gemini

官网：https://deepmind.google/technologies/gemini/#introduction 简介 Gemini是谷歌公司发布的人工智能大模型，能够在从数据中心到移动设备等不同平台上运行 Gemini包括一套三种不同规模的模型：Gemini Ultra是最大、功能最强大的类别，被定位为GPT-4的竞争对手；Gemini Pro是一款中端型号，能够击败GPT-3.5，可扩展多种任务；Gemini “双子座”Ultra版本是首个在“大规模多任务语言理解”（MMLU）领域超越人类专家的模型。---百度百科 https://baike.baidu.com/item/Gemini/63729669? 晋朝分西晋和东晋两大时期，共历约150年。晋朝时期，中国北方游牧民族势力强大，屡屡入侵，导致西晋灭亡，东晋偏安南方。随着未来大模型的普及我们的工作肯定有一部分会通过AI来提高效率，所以可以提升了解并实践

2024-01-15

2.6K0

标签:

开源教育对话大模型 EduChat

EduChat 是华东师范大学计算机科学与技术学院的 EduNLP 团队开发的开源教育对话大模型。该项目主要研究以预训练大模型为基底的教育对话大模型相关技术，融合多样化的教育垂直领域数据，辅以指令微调、价值观对齐等方法，提供教育场景下自动出题、作业批改、情感支持、课程辅导、高考咨询等丰富功能，服务于广大老师在未来，开发者们将持续投入对基础模型的研究，并持续推出更为强大的 EduChat 版本，以丰富全球教育大模型生态，加速全球教育信息化进程。鉴于上述模型的局限性，我们要求开发者仅将开源的代码、数据、模型以及由该项目生成的衍生物仅用于研究目的，禁止用于商业用途，以及其他可能对社会带来危害的用途。 ---- ️ 参考链接： EduChat - 探索了针对教育垂直领域的对话大模型相关项目研发 EduChat 模型 - 在 educhat-base-002-7b 基础上，使用构建的教育领域多技能数据微调后得到

2023-07-10

2K0

标签:

AI模型：开源大语言模型bloom学习

作为一名开源爱好者，我非常不喜欢知识付费或者服务收费的理念，所以便有决心写下此系列，让一般大众们可以不付费的玩转当下比较新的开源大语言模型bloom及其问答系列模型bloomz。一、模型介绍 bloom是一个开源的支持最多59种语言和176B参数的大语言模型。 bigscience在hugging face上发布的bloom模型包含多个参数多个版本，本文中出于让大家都能动手实践的考虑，选择最小号的bloom-1b1版本，其他模型请自行尝试。 (checkpoint) #下载模型网速足够快的情况下等一会就下载好了，但通常情况下我们得ctrl+c打断代码运行，手动下载模型存放到对应位置，即.cache\huggingface\hub\models–bigscience–bloom 下载模型地址: https://huggingface.co/bigscience/bloom-1b1/tree/main 把如上图所示链接中的五个文件（不包含这个flax_model.msgpack）

2024-03-29

1.1K0

标签:

开源才是大模型的未来？

9月，百川智能宣布开源Baichuan-7B、13B两款大模型，其下载量目前已经突破500万，200多家企业申请部署开源大模型。有业内人士认为，未来90%的企业会倾向基于开源大模型发展。那么，开源是否真的是大模型的未来？开源大模型快速赶超开源大模型的核心理念是开放源代码，允许公众访问、使用、修改和分发模型的源代码。开源大模型的商业化挑战尽管开源已成为现阶段大模型发展的一种主流趋势，开源大模型的发展速度也远快于封闭生态系统，但并非所有的厂商都选择开源路线，也并不代表厂商会一直开源所有的大模型。比如，以开源切入大模型赛道的百川智能，在发布完Baichuan-7B、Baichuan-13B开源大模型后，参数更大的Baichuan-53B大模型则选择了闭源。开源与闭源大模型的协同演化实际上，开源大模型和闭源大模型各有优劣，且在不同的应用场景和需求下各有其适用性，两者并非绝对的对立面，而是可以在某些方面相互借鉴和融合。

科技云报道

2023-12-26

5620

标签:

大语言模型--开源数据集

Huggingface排行榜默认数据集 Huggingface开源大模型排行榜: Open LLM Leaderboard - a Hugging Face Space by HuggingFaceH4 本文主要介绍Huggingface开源大模型排行榜上默认使用的数据集以及如何搭建自己的大模型评估工具搭建大模型评估工具 1.下载数据集到本地 from datasets import load_dataset 2110.14168.pdf (arxiv.org) 数据集地址：gsm8k · Datasets at Hugging Face 语言：English 介绍：GSM8K是一个包含8.5k的小学数学题，主要用于测试大模型的数学和逻辑推理能力 arxiv.org/abs/2107.03374 数据集地址：openai/openai_humaneval · Datasets at Hugging Face 语言：English 介绍：OpenAI发布的测试大模型编程能力的数据集模型需要根据prompt生成对应的代码，并且执行模型生成的代码，看是否能跑通。

2024-09-18

2.3K0

标签:

huggingface-transformers

开源大语言模型LLMs汇总

大语言模型大语言模型（LLM）是指使用大量文本数据训练的深度学习模型，可以生成自然语言文本或理解语言文本的含义。 2023年3月15日，Open AI发布了多模态预训练大模型GPT4.0。 2023年2月，谷歌发布会公布了聊天机器人Bard，它由谷歌的大语言模型LaMDA驱动。开源大语言模型本文列举了截止到 2023 年 6 月 8 日开源的大语言模型 1、LLaMA 简介 meta 开源的 LLaMA LLaMA完全是在公共开源预训练数据上训练。 //arxiv.org/abs/2212.10560 代码：https://github.com/tatsu-lab/stanford_alpaca 4、PandaLLM 简介 Panda: 海外中文开源大语言模型骆驼(Luotuo)项目是由冷子昂 @ 商汤科技, 陈启源 @ 华中师范大学以及李鲁鲁 @ 商汤科技发起的中文大语言模型开源项目，包含了一系列语言模型。

机器学习AI算法工程

2023-09-04

3K0

标签:

中文对话大模型BELLE全面开源！

来源：高能AI本文约1000字，建议阅读5分钟模型调优仅使用由ChatGPT生成的数据，为中文指令提供更好的支持。中文对话大模型开源社区迎来了一名浓眉大眼的新成员！但是这样的技术不应该只被掌握在一家公司手中，因此BELLE项目应运而生了，他们的初衷是为了促进中文对话大模型开源社区的发展。为此，他们在三个方面做了初步的尝试，并已经开源了他们的研究成果。他们已经开源其中的150万数据。模型：大模型的训练往往具有较高的成本，而一个具备初步的能力的对话模型，将大大降低使用和科研的门槛。为此，他们基于Bloom和LLAMA，训练了出具效果的对话模型，并完全开放了这些模型的参数。轻量化：为了便于模型的部署和试用，BELLE团队同时开源了对话模型的量化版本。总结可以说BELLE的出现，大大促进了中文开源对话模型的发展，基于他们开源的数据和模型，更多的人可以尝试这些模型，更多的研究工作可以更快捷的展开。

2023-04-05

1K0

标签: