话说，BullshitGenerator 这个项目最初起源于知乎上一位网友的提问：“学生会退会申请六千字怎么写？”，本来很简单的一个问题，但是回答中很多跑偏题的，于是本项目的贡献者之一表示看不下去了，并“随便写了个项目”：狗屁不通文章生成器，帮助这位同学写了一篇退会申请。
Chinese version of GPT2 training code, using BERT tokenizer.
向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号：datayx 项目描述 本项目是一个带有超级详细中文注释的基于GPT2模型的新闻标题生成项目。 本项目参考了GPT2-Chinese、GPT2-chitchat、CDial-GPT、GPT2等多个GPT2开源项目，并根据自己的理解，将代码进行重构，添加详细注释，希望可以帮助到有需要的人。 本项目使用HuggingFace的transformers实现GPT2模型代码编写、训练及测试。 本项目通过Flask框架搭建了一个Web服务，将新
本部分，介绍中文的文本分类模型，适用于二分类、多分类等情况。使用transformers库。
语言模型是自然语言处理中的核心任务之一，它们用于预测文本中的下一个单词或生成与输入文本相关的新文本。本文将详细介绍如何使用Python实现一个语言模型，并通过这个模型进行文本生成。
一个神秘模型突然杀入众人视野，能力超越一众开源模型，甚至包括GPT-4。几乎所有人都在谈论它，服务器都被挤爆了。
在具体看论文之前，我们先来看看GPT-2，也是GPT家族巨人的惊人表现做一个开胃菜。在一个生成式任务上，OpenAI给出了这么一个开头：
最近，由于在大规模语料集上训练的大型Transformer-based语言模型的兴起（如著名的OpenAI-GPT2模型），社区对开放式语言生成的兴趣日益增加。GPT2、XLNet、CTRL这些开放式语言生成的结果令人印象深刻，除了得益于优化的transformer架构和大量无监督的训练数据外，「更好的解码方法」也发挥了重要作用。
2024 年 5 月 17 日，智源研究院举办大模型评测发布会，正式推出科学、权威、公正、开放的智源评测体系，发布并解读国内外 140 余个开源和商业闭源的语言及多模态大模型全方位能力评测结果。
商汤的大模型体系「日日新 SenseNova」今天刚刚发布了 4.0 版，不论语言能力还是文生图能力都有全面升级，还自带低门槛的落地工具。
就在刚刚，商汤新一代「日日新SenseNova 4.0」大模型体系全面升级，多项任务性能超越GPT-4。
在自然语言处理问题中，可从互联网上下载大量无标注数据，而针对具体问题的有标注数据却非常少，GPT 是一种半监督学习方法，它致力于用大量无标注数据让模型学习 “常识”，以缓解标注信息不足的问题。其具体方法是在针对有标签数据训练 Fine-tune 之前，用无标签数据预训练模型 Pretrain，并保证两种训练具有同样的网络结构。 GPT 底层也基于 Transformer 模型，与针对翻译任务的 Transformer 模型不同的是：它只使用了多个 Deocder 层。
作者：monychen，腾讯 IEG 应用研究员 简单来说，ChatGPT 是自然语言处理（NLP）和强化学习（RL）的一次成功结合，考虑到读者可能只熟悉其中一个方向或者两个方向都不太熟悉，本文会将 ChatGPT 涉及到的所有知识点尽可能通俗易懂的方式展现出来，有基础的同学可以选择性跳过一些内容。 GPT 的进化史 本节的主要目的是介绍自然语言处理中语言模型的一些基础知识，理解语言模型到底在做什么。 GPT 所谓的 GPT(Generative Pre-trained Transformer)，其实是 G
任务型对话中，一般包含ASR、语义理解、多轮状态追踪、会话策略、自然语言生成（NLG）模块，那么任务型对话中都有哪些生成的方法呢？
丰色 发自 凹非寺 量子位 | 公众号 QbitAI 用文字生成游戏关卡自己玩是一种什么样的体验？ GitHub今日热榜项目《GPT版马里奥》了解一下～ 瞧，你只需在文本框中输入“多点管道，多点敌人，少点障碍物，elevation低点”： 点击“Generate level”，就能获得自己的马里奥游戏了： 左边是玩耍区，按方向键和a、s、d键进行控制就能直接玩，右边则是根据你的要求生成的整体效果图。 随意设置这几个选项，还能解锁更多样式。 比如障碍物少一点的： 又或者是管道少一点、障碍物多一点的：
近年来，人工智能（AI）和自然语言处理（NLP）领域取得了显著进展。GPT-4作为OpenAI推出的最新一代生成式预训练变换器，代表了当前技术的巅峰。本文将详细探讨GPT-4的架构、工作原理、训练过程、以及其在各种应用中的创新运用。
然而这个 GPT-2 模型内含多达 15 亿个参数，过高的算力要求让大多数开发者望而却步。而且 OpenAI 还曾「出于对模型可能遭恶意应用的担忧，并不会立即发布所有预训练权重。」一时引发机器学习社区的吐槽。
随着 ChatGPT 的爆火，强化学习（Reinforcement Learning）和语言生成模型（Language Model）的结合开始变得越来越受人关注。
大模型排行榜链接地址为：https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
随着机器学习（Machine Learning, ML）和自然语言处理（Natural Language Processing, NLP）技术的快速进展，新算法具备生成文本的能力，这些文本也变得越来越接近人类写出的内容。GPT21就是其中一个算法，它被应用在很多开源项目2中。GPT2以WebText为训练集，WebText包含4500万条来自Reddit（一个对新闻进行评论的网络社区）的外链。其中占据外链内容前10的主要数据3来自Google，Archive，Blogspot，Github，NYTimes，WordPress，Washington Post，Wikia，BBC以及The Guardian。受过训练的GPT2模型能根据具体数据集再被进一步调校，比如说最终能够抓取某个数据集的风格或者能够做文档分类。
原文链接：https://github.com/fighting41love/funNLP
近日，人工智能行业龙头 OpenAI 的历史 首届开发者大会 揭幕。OpenAI 首席执行官山姆·奥特曼在接近45分钟的开幕演讲中，向全球开发者和ChatGPT用户展示了AI龙头即将推出的一系列产品更新。
今年，我们见识了许多令人眼花缭乱的机器学习的应用成果。其中OpenAI训练的GPT-2模型就展示出了惊艳的能力，它能够撰写出连贯而富有激情的论文，比当下其他所有的语言模型写的都好。
我制作了一个 csv 文件，其中包含我在 Medium.com 网站上使用 Parsehub 抓取的各种标签中最好的数据科学文章。csv 文件包含有关文章标题、使用的标签、作者、点在人数、回复数量等信息。该数据集可在 Kaggle 上获得，称为 Medium-Search-Dataset。
GPT 的全名：Generative Pre-Training，其论文标题是 Improving Language Understanding by Generative Pre-Training。
既然昨天才过完双十一，那么我们先看看这个预训练模型能生成什么样的故事。如下是我们给定前提「双十一」，中文 GPT-2 生成的第一个样本：
衡宇 发自 凹非寺 量子位 | 公众号 QbitAI 国产大模型队伍正当“百模大战”之际，现在又添一员—— BBT-2，全称BigBang Tansformer-2（乾元2），120亿参数的通用大模型。 以其为基础，项目团队还训练出了代码、金融、文生图等专业模型。 根据官方数据，其中的代码大模型在CSDN的自动编程评测标准上能达到C3，和GPT-3.5处于同一等级“条件自动编程”。 目前，专业的代码问答，已有demo可在线试玩～ 据悉，BBT系列模型其中3个即将开源到GitHub、UCloud和官网，开箱
借着ChatGPT的东风，我们来梳理下prompt范式的相关模型。本系列会以A Systematic Survey of Prompting Methods in Natural Language Processing这篇综述为基础，分门别类的整理下这几年比较有代表性的prompt模型。或许你还以其他形式看到过prompt概念，例如Demonstration，Instruction，In-Context learning，few-shot learning等等
在这篇机器学习新闻综述中，我们将回顾一些2019年以来在人工智能各个领域广泛传播或产生影响的重大新闻。此外，我们还将简要介绍一些有意思的人工智能应用程序，几款2019年发布的游戏，以及一些机器学习项目的开源数据集资源。
之前给学生上课的时候，我介绍过利用循环神经网络，仿照作家风格进行创作的机器学习模型。不过，那模型写出来的东西嘛……
---- 新智元报道 编辑：好困 拉燕 【新智元导读】微软突然放炸弹，「ChatGPT搜索引擎」必应史诗级更新，最强插件系统+超实用全新功能目不暇接！现在，无需排队，人人可用。 大的来了！ 就在刚刚，微软突然开放了搭载GPT-4的全新Bing聊天机器人。 划重点——所有人可用，而且再也不用排队等了！ 我们只需要有一个微软账户，然后打开Bing，或者Edge浏览器，就可以一秒进行体验。 功能一览 新的Bing不止能聊天，还能干好多别的事，微软一口气发布了一箩筐的新功能。 能问问题、搜索网页，甚至
作者：cheaterlin，腾讯CSIG后台开发专家 “AI 的 iPhone 时刻到来了”。非算法岗位的研发同学'被迫'学习 AI，产品岗位的同学希望了解 AI。但是，很多自媒体文章要么太严谨、科学，让非科班出身的同学读不懂；要么，写成了科幻文章，很多结论都没有充分的逻辑支撑，是‘滑坡推理’的产物。这篇文章从底层讲起，却不引入太多概念，特别是数学概念，让所有人都能对大模型的核心概念、核心问题建立认知。文章末尾也为需要严肃全面地学习深度学习的人给出了建议。 关于以 ChatGPT 为代表的大语言模型（LLM
之前给学生上课的时候，我介绍过利用循环神经网络，仿照作家风格进行创作的机器学习模型。
大部分前端程序员是不会写后端代码的，但大部分后端程序员都能写点前端代码。不过虽然能写，但也是照葫芦画瓢，修修改改的二把手刀选手。😂 小傅哥就是这样的二把刀前端，每次写前端都感觉像是屎上雕花，一点点扣哧 DIV、CSS 调整样式和数据。
自 2018 年谷歌发布 BERT 以来，预训练模型在自然语言处理（NLP）领域逐渐成为主流。今年 5 月份，OpenAI 推出的史上最大 AI 模型 GPT-3 更是引起了大量讨论。但是，目前 NLP 领域的预训练模型多针对英语语言，以英语语言数据为训练数据，例如 GPT-3：
自然语言处理（NLP）领域中，文本生成是一项引人注目的任务，它涉及到使用计算机来生成具有自然语言风格和语法的文本。本文将深入研究NLP在文本生成中的原理，介绍常见的技术方法，并提供一个基于Python和现代NLP库的简单实例，以帮助读者更好地理解和应用这一领域的知识。
摘要：本文主要解决在样本数量较少、样本不均衡或者需要提高模型的鲁棒性的场景下通过样本增强技术提升模型的泛化能力的问题。主要讲了近几年常用的样本增强技术，其中包括回译技术、词汇替换技术、随机噪声引入技术和生成式的方法等等。通过这些技术我们可以轻松的实现增加训练样本的目的。希望对样本增强技术感兴趣的小伙伴有所帮助。
该章节呢，我们主要是看一下关于国内外主流的大语言模型，通过它们都具备哪些特点，来达成对多模型有一个清晰的认知。对于 "多模型" 的 "多" ，大家一定要有个概念，很多小伙伴只知道 "ChatGPT" ，或者是只知道国内的一些大模型，对国外的大模型不是特别了解，所以该章节就提炼总结一下。
生成预训Transformer2 (GPT-2)，顾名思义，是基于Transformer 的。它使用注意力机制，这意味着它学会关注与上下文最相关的前一个单词，以便预测下一个单词。
今早一起床就看到François Chollet大神（Keras作者）发推，根据 GPT-2中量模型的超长距离记忆想到了一种简单的不基于机器学习的文本生成方式，居然神奇地复现了GPT-2的结果，方法很简单（只用了20分钟写代码），每次用要基于文本中的关键词，还有句末几个词，在谷歌直接搜索，然后将获取检索片段基于最后几个词连接起来，只要这样不停做甚至能生成GPT-2论文中那个发现神奇独角兽的例子。
随着科技的蓬勃发展，自然语言处理（NLP）技术在教育领域的应用正迎来革命性的变革。本文将深入剖析NLP在教育中的关键应用，旨在提供更加详细的信息，讨论如何通过智能辅导系统、学习内容个性化推荐以及自动评估与反馈等方面，重塑教育方式，提高学生学习体验。
这篇文章主要翻译DeepSpeed的Megatron-LM GPT2 ，Zero零冗余优化器技术，ZeRO-Offload技术。关于DeepSpeed 的Zero和ZeRO-Offload的技术原理大家也可以查看图解大模型训练之：数据并行下篇(ZeRO，零冗余优化) 这篇文章，文章里面对内存的计算和通信量的分析都很棒。
文本生成是自然语言处理中非常重要且热门的领域。摘要抽取、智能回复、诗词创作、生成标题、生成商品描述、机器人写新闻等等都属于文本生成的范畴，应用极其广泛。
作者：熊唯，黄飞 ，腾讯 PCG/QQ研发中心/CV应用研究组 AI 如果真的可以写代码了，程序员将何去何从？近几年，NLP 领域的生成式任务有明显的提升，那通过 AI 我们可以让代码自动完成后续补全吗？本文主要介绍了如何使用 GPT2 框架实现代码自动补全的功能。 如果 AI 真的可以自己写代码了，程序员将何去何从？ 我去年做过一个代码补全的小功能，打包为 androidStudio 插件，使用效果如下： 代码补全模型预测出的结果有时的确会惊吓到我，这也能学到~ 那如果给它见识了全世界的优秀
豆包 是字节跳动公司基于云雀模型开发的AI工具，提供聊天机器人、写作助手以及AI绘画等功能，它可以回答各种问题并进行对话，支持网页 Web 平台，iOS 以及安卓移动端。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
