首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

GPT2中文新闻标题生成

向AI转型的程序员都关注了这个号 机器学习AI算法工程   公众号:datayx 项目描述 本项目是一个带有超级详细中文注释的基于GPT2模型的新闻标题生成项目。...本项目参考了GPT2-Chinese、GPT2-chitchat、CDial-GPT、GPT2等多个GPT2开源项目,并根据自己的理解,将代码进行重构,添加详细注释,希望可以帮助到有需要的人。...本项目使用HuggingFace的transformers实现GPT2模型代码编写、训练及测试。...本项目通过Flask框架搭建了一个Web服务,将新闻摘要生成模型进行工程化,可以通过页面可视化地体验新闻标题生成效果。 本项目的代码详细讲解,可以自行阅读代码,也可查看代码注释介绍。...本项目的目的是带领大家走一遍GPT2生成模型的训练、测试及部署全部流程。

1.5K50

【Github】GPT2-Chinese:中文GPT2训练代码

作者是AINLP交流群里的杜则尧同学,提供了一份中文GPT2训练代码,使用BERT的Tokenizer。可以写诗,新闻,小说,或是训练通用语言模型。支持字为单位或是分词模式。支持大语料训练。...中文GPT2训练代码,使用BERT的Tokenizer。可以写诗,新闻,小说,或是训练通用语言模型。支持字为单位或是分词模式。支持大语料训练。 项目状态 目前项目主要架构已经稳定。...文件结构 generate.py 与 train.py 分别是生成与训练的脚本。 train_single.py 是 train.py的延伸,可以用于一个很大的单独元素列表(如训练一本书)。...eval.py 用于评估生成模型的ppl分值。 generate_texts.py 是 generate.py 的延伸,可以以一个列表的起始关键词分别生成若干个句子并输出到文件中。...注意 本项目使用Bert的tokenizer处理中文字符。 如果使用分词版的tokenizer,不需要自己事先分词,tokenizer会帮你分。

9.6K50
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    【Github】GPT2-Chinese:中文GPT2训练代码

    作者是AINLP交流群里的杜则尧同学,提供了一份中文GPT2训练代码,使用BERT的Tokenizer。可以写诗,新闻,小说,或是训练通用语言模型。支持字为单位或是分词模式。支持大语料训练。...中文GPT2训练代码,使用BERT的Tokenizer。可以写诗,新闻,小说,或是训练通用语言模型。支持字为单位或是分词模式。支持大语料训练。 项目状态 目前项目主要架构已经稳定。...文件结构 generate.py 与 train.py 分别是生成与训练的脚本。 train_single.py 是 train.py的延伸,可以用于一个很大的单独元素列表(如训练一本书)。...eval.py 用于评估生成模型的ppl分值。 generate_texts.py 是 generate.py 的延伸,可以以一个列表的起始关键词分别生成若干个句子并输出到文件中。...注意 本项目使用Bert的tokenizer处理中文字符。 如果使用分词版的tokenizer,不需要自己事先分词,tokenizer会帮你分。

    4.1K20

    【DeepSpeed 教程翻译】二,Megatron-LM GPT2,Zero 和 ZeRO-Offload

    Megatron-LM GPT2 如果你还没有阅读过入门指南,我们建议你在开始本教程之前先阅读该指南(https://www.deepspeed.ai/getting-started/ 这个指南的翻译在...在本教程中,我们将向 Megatron-LM GPT2 模型添加 DeepSpeed,Megatron-LM GPT2 是一个大而强的 transformer。...你可以按照Megatron-LM教程逐步操作,熟悉代码。...Saving fp32 state dict to pytorch_model.bin (total_numel=60506624) 当你保存checkpoint时,zero_to_fp32.py脚本会自动生成...zero-infinity-and-deepspeed-unlocking-unprecedented-model-scale-for-deep-learning-training/),本来想翻译下发现智源的一篇博客基本算是翻译版本了,所以大家可以看这篇中文版的

    2.3K10

    全套解决方案:基于pytorch、transformers的中文NLP训练框架,支持大模型训练和文本生成,快速上手,海量训练数据!

    全套解决方案:基于pytorch、transformers的中文NLP训练框架,支持大模型训练和文本生成,快速上手,海量训练数据!...模型训练 中文名称 文件夹名称 数据 数据清洗 大模型 模型部署 图解 中文文本分类 chinese_classifier ✅ ✅ ✅ ❌ ✅ 中文gpt2 chinese_gpt2 ✅ ✅ ✅ ✅ ❌...中文clip chinese_clip ✅ ✅ ✅ ❌ ✅ 图像生成中文文本 VisionEncoderDecoderModel ✅ ✅ ✅ ❌ ✅ vit核心源码介绍 vit model ❌ ❌ ❌...3.中文gpt2 本文,将介绍如何使用中文语料,训练一个gpt2 可以使用你自己的数据训练,用来:写新闻、写古诗、写对联等 我这里也训练了一个中文gpt2模型,使用了612万个样本,每个样本有512...https://huggingface.co/gpt2 https://huggingface.co/gpt2-large 4.中文clip模型 本文将介绍,如何从0到1的训练一个中文clip模型。

    1.2K30

    VOSviewer中文视频教程

    你一直想要的VOSviewer中文视频教程来了! ? 公众号写了一年多,第一次作者栏目出现的不是本人的名字。 因为这一篇文章,是我和几个研究生一起合作的。作者这一栏,最大可以写8个汉字。...文章发布之后,许多同学兴奋地表示这东西太有用了,然后跑来问我要教程。 这让我很疑惑,因为我明明在文末单独用一个章节,列出了相关教程啊。 他们的答案让我哭笑不得。 您给的链接,内容都是英文啊!...英文的教程,就不是教程了吗? 咱们学了这么多年英文,难道只是为了应付考试吗?检验你英语学习成果的时间到了啊! 慷慨激昂blablabla了半天,发现根本没人听。算了。...英文演示视频翻译工作由冯子鸥、吕慧芝、张思佳(天津师范大学管理学院研究生)共同完成; 中文演示视频录制及讲解工作由吴查科(天津师范大学管理学院研究生)完成。...视频 下面是完整的VOSviewer中文视频教程。希望能对大家学习掌握这款软件有帮助。 ? 讨论 你学习新知识的时候,英文能否派上用场?你觉得自己掌握英文读原始文献好,还是学习翻译后的资料好?

    8K21

    【NLP论文速递】文本生成中文诗歌生成、邮件主题生成、感知对话生成、文摘生成、会话响应生成

    2 中文诗歌生成 本文为了将修辞学应用到中文汉语诗歌的生成上,本文提出了一种用于现代汉语诗歌生成的修辞控制编码器。...中文分析链接:「自然语言处理(NLP)机器翻译」ACL&&中科院&&微信AI团队 3 电子邮件主题生成 本文提出并研究了电子邮件主题行生成任务:从电子邮件正文中自动生成电子邮件主题行。...中文分析链接:【真心推荐】「自然语言处理(NLP)」ACL && 阿里团队(舆论、立场检测)&& 耶鲁(电子邮件主题生成) 4 感知对话生成 本文的主要贡献有:1、提出了一种新的知识感知对话生成模型...中文分析链接:(含源码)「自然语言处理(NLP)」华南理工 && 腾讯AI Lab(基于知识库的感知对话生成) 5 文摘生成 本文提出了一种新的基于预训练的编码-解码器框架,该框架可以根据输入序列以两阶段的方式生成输出序列...中文分析链接:https://www.cnblogs.com/lauspectrum/p/10961112.html 6 会话响应生成 神经模型已成为对话响应生成的重要方法之一。

    1.5K10

    使用深度学习模型创作动漫故事,比较LSTM和GPT2的文本生成方法

    通过生成动画概要,我探索了两种文本生成技术,首先是使用相对陈旧的LSTM,然后使用经过微调的GPT2。 ? 在这篇文章中,您将看到AI创建这种废话开始的过程。。。...这只是为了使培训更容易(请查看GPT2部分以了解更多细节)。 删除符号。 一些描述也包含日文,所以这些也被删除了。 LSTM方式 传统的文本生成方法使用循环的LSTM单元。...GPT2没有同时使用transformer 编码器和解码器堆栈,而是使用了一个高栈的transformer 解码器。根据堆叠的解码器数量,GPT2转换器有4种变体。 ?...代码 我已经将GPT2与Hugging Face库中的线性模型一起用于文本生成。在这4个变体中,我使用了GPT2 small(具有117M个参数)。...LSTM和GPT2生成的提要之间的差异非常大!该模型不仅能够很好地捕获长期依赖关系,而且上下文始终保持不变。

    1K30
    领券