gpt2中文生成 - 腾讯云开发者社区 - 腾讯云

开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

GPT2中文新闻标题生成

向AI转型的程序员都关注了这个号机器学习AI算法工程公众号：datayx 项目描述本项目是一个带有超级详细中文注释的基于GPT2模型的新闻标题生成项目。...本项目参考了GPT2-Chinese、GPT2-chitchat、CDial-GPT、GPT2等多个GPT2开源项目，并根据自己的理解，将代码进行重构，添加详细注释，希望可以帮助到有需要的人。...本项目使用HuggingFace的transformers实现GPT2模型代码编写、训练及测试。...本项目通过Flask框架搭建了一个Web服务，将新闻摘要生成模型进行工程化，可以通过页面可视化地体验新闻标题生成效果。本项目的代码详细讲解，可以自行阅读代码，也可查看代码注释介绍。...本项目的目的是带领大家走一遍GPT2生成模型的训练、测试及部署全部流程。

1.7K5 0

【Github】GPT2-Chinese：中文的GPT2训练代码

作者是AINLP交流群里的杜则尧同学，提供了一份中文的GPT2训练代码，使用BERT的Tokenizer。可以写诗，新闻，小说，或是训练通用语言模型。支持字为单位或是分词模式。支持大语料训练。...中文的GPT2训练代码，使用BERT的Tokenizer。可以写诗，新闻，小说，或是训练通用语言模型。支持字为单位或是分词模式。支持大语料训练。项目状态目前项目主要架构已经稳定。...文件结构 generate.py 与 train.py 分别是生成与训练的脚本。 train_single.py 是 train.py的延伸，可以用于一个很大的单独元素列表（如训练一本书）。...eval.py 用于评估生成模型的ppl分值。 generate_texts.py 是 generate.py 的延伸，可以以一个列表的起始关键词分别生成若干个句子并输出到文件中。...注意本项目使用Bert的tokenizer处理中文字符。如果使用分词版的tokenizer，不需要自己事先分词，tokenizer会帮你分。

10.6K5 0

您找到你想要的搜索结果了吗？

是的

没有找到

【Github】GPT2-Chinese：中文的GPT2训练代码

作者是AINLP交流群里的杜则尧同学，提供了一份中文的GPT2训练代码，使用BERT的Tokenizer。可以写诗，新闻，小说，或是训练通用语言模型。支持字为单位或是分词模式。支持大语料训练。...中文的GPT2训练代码，使用BERT的Tokenizer。可以写诗，新闻，小说，或是训练通用语言模型。支持字为单位或是分词模式。支持大语料训练。项目状态目前项目主要架构已经稳定。...文件结构 generate.py 与 train.py 分别是生成与训练的脚本。 train_single.py 是 train.py的延伸，可以用于一个很大的单独元素列表（如训练一本书）。...eval.py 用于评估生成模型的ppl分值。 generate_texts.py 是 generate.py 的延伸，可以以一个列表的起始关键词分别生成若干个句子并输出到文件中。...注意本项目使用Bert的tokenizer处理中文字符。如果使用分词版的tokenizer，不需要自己事先分词，tokenizer会帮你分。

4.3K2 0

asciidoc生成中文PDF

使用asciidoctor或者org.asciidoctor.maven插件生成pdf文件时，会出现中文乱码。使用以下方法，不需要安装asciidoctor软件，也不需要修改字体设置。

3.8K0 0

使用深度学习模型创作动漫故事，比较LSTM和GPT2的文本生成方法

通过生成动画概要，我探索了两种文本生成技术，首先是使用相对陈旧的LSTM，然后使用经过微调的GPT2。 ? 在这篇文章中，您将看到AI创建这种废话开始的过程。。。...这只是为了使培训更容易(请查看GPT2部分以了解更多细节)。删除符号。一些描述也包含日文，所以这些也被删除了。 LSTM方式传统的文本生成方法使用循环的LSTM单元。...GPT2没有同时使用transformer 编码器和解码器堆栈，而是使用了一个高栈的transformer 解码器。根据堆叠的解码器数量，GPT2转换器有4种变体。 ?...代码我已经将GPT2与Hugging Face库中的线性模型一起用于文本生成。在这4个变体中，我使用了GPT2 small（具有117M个参数）。...LSTM和GPT2生成的提要之间的差异非常大！该模型不仅能够很好地捕获长期依赖关系，而且上下文始终保持不变。

1.2K3 0

基于Python生成中文测试数据

在测试中，我们经常需要批量的生成各种测试数据，尤其是需要生成大量的中文测试数据，例如姓名，地址等等。...下面我们先看一个直接写Python代码生成中文的实例 # -*- coding: utf-8 -*- __author__ = "苦叶子" """ 生成中文实例 """ import random...基于unicode码方式生成的汉字，因为总计约有2万多个汉字，因此在随机生成时，会很容易生成生僻字 2....看了上面简单的实例，是不是觉得生成汉字比较容易呢？那如何生成中文名字呢？你要不要自己试试？...from test_data_zh_CN import * """" 简单生成中文名 """ # 百家姓列表 FIRST_NAME = ['赵', '钱', '孙', '李', '周',

2.5K1 0

【NLP论文速递】文本生成、中文诗歌生成、邮件主题生成、感知对话生成、文摘生成、会话响应生成

2 中文诗歌生成本文为了将修辞学应用到中文汉语诗歌的生成上，本文提出了一种用于现代汉语诗歌生成的修辞控制编码器。...中文分析链接：「自然语言处理(NLP)机器翻译」ACL&&中科院&&微信AI团队 3 电子邮件主题生成本文提出并研究了电子邮件主题行生成任务:从电子邮件正文中自动生成电子邮件主题行。...中文分析链接：【真心推荐】「自然语言处理(NLP)」ACL && 阿里团队（舆论、立场检测）&& 耶鲁（电子邮件主题生成） 4 感知对话生成本文的主要贡献有：1、提出了一种新的知识感知对话生成模型...中文分析链接：(含源码)「自然语言处理(NLP)」华南理工 && 腾讯AI Lab（基于知识库的感知对话生成） 5 文摘生成本文提出了一种新的基于预训练的编码-解码器框架，该框架可以根据输入序列以两阶段的方式生成输出序列...中文分析链接：https://www.cnblogs.com/lauspectrum/p/10961112.html 6 会话响应生成神经模型已成为对话响应生成的重要方法之一。

1.8K1 0

基于GPT2制作一个chatbot

后半篇会大概尝试讲述一下GPT2的原理以及调优。话不多说，先来把这篇文章可能是最复杂的部分，开发与运行环境给准备好差不多完成demo一半了。 2.

2.3K6 2

全套解决方案：基于pytorch、transformers的中文NLP训练框架，支持大模型训练和文本生成，快速上手，海量训练数据！

全套解决方案：基于pytorch、transformers的中文NLP训练框架，支持大模型训练和文本生成，快速上手，海量训练数据！...模型训练中文名称文件夹名称数据数据清洗大模型模型部署图解中文文本分类 chinese_classifier ✅ ✅ ✅ ❌ ✅ 中文gpt2 chinese_gpt2 ✅ ✅ ✅ ✅ ❌...中文clip chinese_clip ✅ ✅ ✅ ❌ ✅ 图像生成中文文本 VisionEncoderDecoderModel ✅ ✅ ✅ ❌ ✅ vit核心源码介绍 vit model ❌ ❌ ❌...3.中文gpt2 本文，将介绍如何使用中文语料，训练一个gpt2 可以使用你自己的数据训练，用来：写新闻、写古诗、写对联等我这里也训练了一个中文gpt2模型，使用了612万个样本，每个样本有512...https://huggingface.co/gpt2 https://huggingface.co/gpt2-large 4.中文clip模型本文将介绍，如何从0到1的训练一个中文clip模型。

1.9K3 0

AI 提效指南：快速生成中文海报

前言即梦 AI 是一款专注于图像生成的工具，通过文本描述生成高质量图片。结合 DeepSeek（正向生成提示词）与豆包（图片反推提示词），可以更高效地批量产出中文海报，适用于设计与内容创作。...示例我是一个资深的品牌设计师,现在要设计一张中秋节海报，用于朋友圈海报，要求如下： 1.有月饼、圆月高挂 2.画面以红色、金色为主，主题"喜迎中秋佳节" 3.生成中文AI绘画提示词注意：要求相关的内容...反向推导提示词将图片和提示词模板一同交给生图 AI（此处用豆包），拿到“可直接生图”的中文提示词后，再复制到即梦 AI 进行生成。...**最终任务：** 将以上所有分析整合成一段完整、高质量、可直接使用的中文AI绘画提示词（600字以内），以Markdown代码框格式输出。...生成示例结语回顾一下：先用 DeepSeek 生成结构化的中文海报提示词，再把提示词交给即梦 AI 选择模型与宽高比生成海报；不满意就回到提示词或用修图工具反复迭代，必要时也可以用开发者工具下载无水印原图

2281 0

Java生成pdf文件，解决中文乱码问题

如下代码使用itext生成pdf文件，通过设置中文字体避免乱码。...String[] args) { // 创建一个Document对象 Document document = new Document(); try { // 生成名为...setNumberDepth(0); Paragraph title11 = new Paragraph( "This is Section 1 in Chapter 1中文

3.5K0 0

解决Linux html生成图片中文乱码

前言最近搞了一个需求，功能大概是通过html生成图片。功能是挺简单的吧？本地测试没什么问题，但是发服务器上，发现html生成的imgae中文乱码。解决过程首先google了一圈 ?...类似功能的框架，也出现了中文乱码问题，但是图片上渲染的中文是框框的形式。 ? 所以我们也可以排除掉乱码问题，因为乱码应该会展示字体，只是我们读不懂，这个框框说明缺少字库！...google一圈发现的却缺少了中文字体库，生成图片缺少什么字体就全部准备好。像我这里缺少微软雅黑，宋体等。...这里因为我的服务器已经装好中文字体插件了，因此直接进入正题，没有的可以看下这个文章https://blog.csdn.net/wlwlwlwl015/article/details/51482065 检查是否安装中文字体插件命令

9K5 1

奥特曼本人确认：神秘gpt2不是GPT-4.5！

最近，Sam Altman在哈佛大学演讲中，向所有人确认了这不是OpenAI下一代的模型。

2411 0

中文NLP笔记：11. 基于 LSTM 生成古诗

基于 LSTM 生成古诗 1. 语料准备一共四万多首古诗，一行一首诗 2.... sentence = sentence + next_char print(sentence) （5）predict 函数根据给出的文字，生成诗句...seed[1:] + next_char res += seed return res （6） data_generator 函数生成数据...作诗 text = input("text:") sentence = model.predict(text) print(sentence) ---- 学习资料：《中文自然语言处理入门实战

1.9K4 0

Python 识别中文生成带声调的拼音

本文记录使用 Python pypinyin 库获取中文声调拼音的方法。 pypinyin 将汉字转为拼音。可以用于汉字注音、排序、检索。特性根据词组智能匹配最正确的拼音。支持多音字。...安装 1 pip install pypinyin 使用引入库 12 import pypinyinfrom pypinyin import pinyin 基础用法向 pinyin 方法输入中文字符...]] 多音字在 pinyin 方法中加入参数 heteronym=True 识别多音字 1234 pinyin('冯',heteronym=True)-->[['féng', 'píng']] 生成一维嵌套列表

1.1K3 0

GitBook生成pdf出现中文不显示或乱码

也可以使用其他的字体文件，记得同步更改配置文件中fontSettings的属性值 --- 不存在truetype文件夹则新建 # mkdir -p /usr/share/fonts/truetype 4、重新生成...pdf --- 生成PDF文件 # gitbook pdf ./ .

2.2K3 0

基于Faker生成中文测试数据实例

上一篇基于Python生成中文测试数据讲解了如何使用python代码自己实现中文测试数据的生成，这篇我们分享如何基于Faker开源库来实现。...Faker 是一个可以让你生成伪造数据的Python包。...""" if __name__ == "__main__": # 创建faker实例，中文 # 如果要生成其他语言，则将zh_CN改成对应的语言执行 fake = Faker("zh_CN...") print("------ 生成5个姓名-----") for _ in range(5): print(fake.name()) print("\n-...----- 生成5个国家-----") for _ in range(5): print(fake.country()) print("\n------ 生成5个条码-

2.6K3 0

PHP使用fpdf生成pdf文件（含中文类）

<?php require('chinese.php'); $pdf = new PDF_Chinese(); $pdf->AddBig5Font();...

3.3K3 0

mybatis generator 生成实体类中文注释原

首先找到 org.mybatis.generator.core_1.3.5.201609070108.jar (位于eclipse\plugins)

1.8K2 0

神秘大模型一夜刷屏，能力太强被疑GPT-4.5，奥特曼避而不答打哑谜

（注意啊，是gpt2不是GPT-2）它有多强？ IMO国际数学奥林匹克竞赛的题目，一次答对。一次在PyOpenGL中生成旋转3D立方体。...而且名字上也很值得深究，gpt2更像是gpt2.0，似乎是ChatGPT层级的版本迭代。奥特曼看热闹不嫌事大，还发帖说：我确实对gpt2情有独钟。...中文能力也很到位如果想亲手测试这只神秘AI，目前唯一已知方式是在LMSYS大模型竞技场。首先打开竞技场网页，进入Direct Chat，就可以在模型选项里找到gpt2-chatbot。...在短暂的测试中，我们发现gpt2-chatbot中文能力也很到位。只要问题是中文的，无需特别强调就可以默认用中文回答，至少可以排除是Llama 3微调了。...△这样答也不算错虽然就算这样也不能排除是幻觉的可能性，或非GPT模型使用了ChatGPT生成的数据微调，但至少是稳定的。

2461 0

点击加载更多

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭