开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

使用领域文本预训练BERT/RoBERTa语言模型，估计需要多长时间？哪个更快？

使用领域文本预训练BERT/RoBERTa语言模型的时间取决于多个因素，包括数据集的大小、计算资源的可用性、模型的复杂度等。一般来说，预训练一个大型的BERT/RoBERTa模型可能需要数天甚至数周的时间。

在比较BERT和RoBERTa的速度时，RoBERTa通常会更快。这是因为RoBERTa在预训练过程中进行了一些优化，如更大的批量大小、更长的训练步数等，从而提高了训练速度。然而，具体的训练时间还是会受到硬件设备、数据集大小和训练参数等因素的影响。

需要注意的是，BERT/RoBERTa的预训练时间只是模型应用的一部分。在实际使用中，还需要进行微调和推理等步骤，这些步骤的时间也需要考虑进去。

对于BERT/RoBERTa语言模型的应用场景，它们在自然语言处理领域具有广泛的应用。可以用于文本分类、命名实体识别、情感分析、机器翻译等任务。腾讯云提供了自然语言处理相关的产品，如腾讯云智能语音、腾讯云智能机器翻译等，可以帮助开发者快速应用BERT/RoBERTa语言模型。

以下是腾讯云智能语音和腾讯云智能机器翻译的产品介绍链接地址：

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

重回榜首的BERT改进版开源了，千块V100、160GB纯文本的大模型

BERT 自诞生以来就展现出了卓越的性能，GLUE 排行榜上前几名的模型一度也大多使用 BERT。然而，XLNet 的横空出世，打破了 BERT 的纪录。不过，不久之后，剧情再次出现反转，Facebook 创建的改进版 BERT——RoBERTa，登上了 GLUE 排行榜榜首。

02

重回榜首的BERT改进版开源了，千块V100、160GB纯文本的大模型

BERT 自诞生以来就展现出了卓越的性能，GLUE 排行榜上前几名的模型一度也大多使用 BERT。然而，XLNet 的横空出世，打破了 BERT 的纪录。不过，不久之后，剧情再次出现反转，Facebook 创建的改进版 BERT——RoBERTa，登上了 GLUE 排行榜榜首。

05

[预训练语言模型专题] RoBERTa: 捍卫BERT的尊严

5-8:[BERT来临]、[浅析BERT代码]、[ERNIE合集]、[MT-DNN(KD)]

01

BERT, RoBERTa, DistilBERT, XLNet的用法对比

导读：BERT, RoBERTa, DistilBERT, XLNet到底哪家强？在不同的研究领域和应用场景如何选择成了大难题。凡事莫慌，这篇文章帮你理清思路。

02

乘风破浪的PTM：两年来预训练模型的技术进展

Bert模型自18年10月推出，到目前为止快两年了。它卜一问世即引起轰动，之后，各种改进版本的预训练模型（Pre-Training Model, PTM）与应用如过江之鲫，层出不穷。Bert及它的继任者们，确实也不负众望，在NLP各个领域攻城略地，所向披靡，多种NLP数据集竞赛榜单，连续多年被各种新出现的预训练模型霸榜，有些榜单，个别模型已经把指标刷到超过人类。

05

RoBERTa中文预训练模型，你离中文任务的「SOTA」只差个它

对于中文领域的预训练语言模型，我们最常用的就是 BERT 了，这并不是说它的效果最好，而是最为方便。昨天，国内开发者 brightmart 开源了最新的 RoBERTa 中文预训练语言模型，开发社区又有新的中文模型可以用了。

01

新一届最强预训练模型上榜，出于BERT而胜于BERT

【导读】预训练方法设计有不同的训练目标，包括语言建模、机器翻译以及遮蔽语言建模等。最近发表的许多论文都使用了微调模型，并预先训练了一些遮蔽语言模型的变体。然而，还有一些较新的方法是通过对多任务微调提高性能，结合实体嵌入，跨度预测和自回归预训练的多种变体。它们通常在更大数据上训练更大的模型来提高性能。本文的目标是通过复制、简化和更好地微调训练BERT，以作为更好理解上述方法的相对性能的参考值。

04

[预训练语言模型专题] XLNet：公平一战！多项任务效果超越BERT

感谢清华大学自然语言处理实验室对预训练语言模型架构的梳理，我们将沿此脉络前行，探索预训练语言模型的前沿技术，红框中为已介绍的文章，绿框中为本期介绍的XLNet，欢迎大家留言讨论交流。

02

NLP这两年：15个预训练模型对比分析与剖析

在之前写过的《NLP的游戏规则从此改写？从word2vec, ELMo到BERT》一文中，介绍了从word2vec到ELMo再到BERT的发展路径。而在BERT出现之后的这大半年的时间里，模型预训练的方法又被Google、Facebook、微软、百度、OpenAI等极少数几个玩得起游戏的核心玩家反复迭代了若干版，一次次的刷新我们这些吃瓜群众的案板上的瓜。

01

后BERT时代：15个预训练模型对比分析与关键点探究

在小夕之前写过的《NLP的游戏规则从此改写？从word2vec, ELMo到BERT》一文中，介绍了从word2vec到ELMo再到BERT的发展路径。而在BERT出现之后的这大半年的时间里，模型预训练的方法又被Google、Facebook、微软、百度、OpenAI等极少数几个玩得起游戏的核心玩家反复迭代了若干版，一次次的刷新我们这些吃瓜群众的案板上的瓜。

04

叫我如何相信你？聊一聊语言模型的校准

在实际的NLP业务场景中，我们经常遇到一个问题就是调阈值。因为我们需要把模型输出层sigmoid函数或者softmax函数给出的连续的预测概率转化成离散输出，所以需要一个阈值来决定你如何相信你的模型。特别是当应对的领域（domain）复杂多样，而训练数据来源比较单一的时候，如何选择一个比较平衡的阈值是一个尤为棘手的问题。

02

ChatGPT 与世界：对话式 AI 模型对比

来源：InfoQ AI前线本文约1000字，建议阅读5分钟本文简单介绍了 ChatGPT 的竞争对手中最突出的几个模型。作为一种人工智能语言模型，ChatGPT 已经成为自然语言处理领域最流行、最有效的工具之一。不过，值得注意的是，ChatGPT 并不是唯一一个 AI 语言模型。这几年，还出现了许多其他的模型，每个竞争对手都提供了独到的功能和优点。本文简单介绍了 ChatGPT 的竞争对手中最突出的几个模型。本文最初发布于 Analytics Vidhya。简介作为一种人工智能语言模型，C

01

后BERT时代：15个预训练模型对比分析与关键点探索（附链接）

在之前写过的《NLP的游戏规则从此改写？从word2vec, ELMo到BERT》一文中，介绍了从word2vec到ELMo再到BERT的发展路径。而在BERT出现之后的这大半年的时间里，模型预训练的方法又被Google、Facebook、微软、百度、OpenAI等极少数几个玩得起游戏的核心玩家反复迭代了若干版，一次次的刷新我们这些吃瓜群众的案板上的瓜。

03

2023年！自然语言处理（NLP）10 大预训练模型

语言模型是构建NLP应用程序的关键。现在人们普遍相信基于预训练模型来构建NLP语言模型是切实有效的方法。随着疫情阴霾的散去，相信NLP技术会继续渗透到众多行业中。在此过程中，肯定有很多同学会用到或者学习NLP预训练模型，为此作者整理了目前2023年NLP的十大预训练模型及论文，模型效果不分先后。

05

自然语言预训练模型大总结

先来一张图。本文主要援引复旦大学邱锡鹏教授的论文：NLP预训练模型综述，对预训练模型进行了一些梳理

02

BERT：我训练再久一点、数据量再大一点，就能重返SOTA

上个月，XLNet 在 20 项任务上全面超越了 BERT，创造了 NLP 预训练模型新记录，一时风光无两。但现在，XLNet 刚屠榜一个月，剧情再次发生反转：Facebook 的研究人员表示，如果训练得更久一点、数据再大一点，BERT 就能重返 SOTA。

02

BERT：我训练再久一点、数据量再大一点，就能重返SOTA

上个月，XLNet 在 20 项任务上全面超越了 BERT，创造了 NLP 预训练模型新记录，一时风光无两。但现在，XLNet 刚屠榜一个月，剧情再次发生反转：Facebook 的研究人员表示，如果训练得更久一点、数据再大一点，BERT 就能重返 SOTA。

03

「X」Embedding in NLP｜一文读懂 2023 年最流行的 20 个 NLP 模型

在上一篇文章中，我们已经科普了什么是自然语言处理（NLP）、常见用例及其与向量数据库的结合。今天，依然是「X」Embedding in NLP 系列专题，本文为初阶第二篇，我们将深入介绍在 2023 年爆火的大语言模型 NLP 模型，包括 BERT、XLNet 等基础模型和 GPT、PaLM 等。

01

机器学习理论 | 大型神经语言模型的对抗训练

泛化性和鲁棒性是设计机器学习方法的关键。对抗性训练可以增强鲁棒性，但过去的研究经常发现它会损害泛化能力。在自然语言处理（NLP）中，预训练的大型神经语言模型（如BERT）在各种任务的泛化方面表现出了令人印象深刻的增益，而且通过对抗性微调还可以得到进一步的改进。然而，这些模型仍然容易受到对抗性攻击。在本文中，我们证明了对抗性预训练可以提高泛化性和鲁棒性。我们提出了一种通用算法ALUM（Adversarial training for large neural LangUage Models，大型神经语言模型的对抗性训练），它通过在嵌入空间中施加扰动使对抗性损失最大化来调整训练目标。我们首次全面研究了对抗性训练的各个阶段，包括从头开始的预训练、在训练有素的模式下持续的预训练以及特定任务中的微调。ALUM在各种NLP任务上都比BERT获得了可观的收益，无论是在常规场景还是在对抗场景中。即使是在非常大的文本语料库上受过良好训练的模型，如RoBERTa，ALUM仍然可以从连续的预训练中获得显著的收益，而传统的非对抗性方法则不能。ALUM可以进一步与特定任务的微调相结合，以获得额外的收益。代码和预训练模型可在以下网址获得：https://github.com/namisan/mt-dnn。

03

完胜BERT！谷歌NLP预训练利器：小模型也有高精度，单个GPU就能训练 | 代码开源

ELECTRA是一种新预训练方法，它能够高效地学习如何将收集来的句子进行准确分词，也就是我们通常说的token-replacement。

00

21 个问题看 NLP 迁移学习的最新进展！

2018 年 10月，Bert 问世。从此，一波 NLP 迁移学习的研究热潮向我们袭来。

02

一文看尽2019年NLP前沿突破

它发表于2018年末，自那之后的一年，NLP和NLU(自然语言理解)领域有了较大的发展。

02

Facebook AI推出新模型RoBERTa，改进BERT的预训练方法

Facebook AI和华盛顿大学的研究人员设计了一些方法来增强谷歌的BERT语言模型，并在GLUE，SQuAD和RACE基准数据集中实现最先进的性能。BERT超过Google Brain的XLNet，又一次成为最强的NLP预训练模型。

02

ACL2021：预训练模型

How Good is Your Tokenizer? On the Monolingual Performance of Multilingual Language Models 本文主要针对在预训

02

重回榜首！Facebook开源加强版BERT，全面超越XLNet

今年六月，谷歌发布XLNet，指出并解决了BERT的缺点，在20多个指标上全面刷爆了BERT之前的成绩，数据、算力相比BERT增加了很多，也在业内引起了激烈讨论：到底该用BERT还是XLNet？

02

pytorch中文语言模型bert预训练代码

ACL2020 Best Paper有一篇论文提名奖，《Don’t Stop Pretraining: Adapt Language Models to Domains and Tasks》。这篇论文做了很多语言模型预训练的实验，系统的分析了语言模型预训练对子任务的效果提升情况。有几个主要结论：

01

当AI学会共情，港科大新研究赋予Chatbot同理心 | 一周AI最火论文

呜啦啦啦啦啦啦啦大家好，拖更的AI Scholar Weekly栏目又和大家见面啦！

02

Transformer 架构—Encoder-Decoder

最初的Transformer是基于广泛应用在机器翻译领域的Encoder-Decoder架构：

01

【NLP】预训练模型综述

摘要：近年来，预训练模型的出现将自然语言处理带入了一个新的时代。本文概述了面向自然语言处理领域的预训练模型技术。我们首先概述了预训练模型及其发展历史。并详细介绍自然语言处理领域的经典预训练模型，包括最经典的预训练模型技术和现在一系列新式的有启发意义的预训练模型。然后梳理了这些预训练模型在自然语言处理领域的优势和预训练模型的两种主流分类。最后，对预训练技术的未来发展趋势进行了展望。

01

特定领域知识图谱融合方案：文本匹配算法之预训练Simbert、ERNIE-Gram单塔模型等诸多模型【三】

文本匹配任务在自然语言处理中是非常重要的基础任务之一，一般研究两段文本之间的关系。有很多应用场景；如信息检索、问答系统、智能对话、文本鉴别、智能推荐、文本数据去重、文本相似度计算、自然语言推理、问答系统、信息检索等，但文本匹配或者说自然语言处理仍然存在很多难点。这些自然语言处理任务在很大程度上都可以抽象成文本匹配问题，比如信息检索可以归结为搜索词和文档资源的匹配，问答系统可以归结为问题和候选答案的匹配，复述问题可以归结为两个同义句的匹配。

04

Longformer详解

Longformer是一种可高效处理长文本的模型，出自AllenAI 2020年4月10日。目前已经开源，而且可以通过huggingface快速使用

01

Facebook 自然语言处理新突破：新模型能力赶超人类 & 超难 NLP 新基准

自然语言理解（NLU）和语言翻译是一系列重要应用的关键，包括大规模识别和删除有害内容，以及连接世界各地不同语言的人们。尽管近年来基于深度学习的方法加速了语言处理的进展，但在处理大量标记训练数据不易获得的任务时，现有系统的处理水平仍然是有限的。

01

原创 | 从ULMFiT、Transformer、BERT等经典模型看NLP 发展趋势

自然语言处理（Natural Language Process，简称NLP）是计算机科学、信息工程以及人工智能的子领域，专注于人机语言交互，探讨如何处理和运用自然语言。自然语言处理的研究，最早可以说开始于图灵测试，经历了以规则为基础的研究方法，流行于现在基于统计学的模型和方法，从早期的传统机器学习方法，基于高维稀疏特征的训练方式，到现在主流的深度学习方法，使用基于神经网络的低维稠密向量特征训练模型。

03

Facebook 自然语言处理新突破：新模型能力赶超人类 & 超难 NLP 新基准

自然语言理解（NLU）和语言翻译是一系列重要应用的关键，包括大规模识别和删除有害内容，以及连接世界各地不同语言的人们。尽管近年来基于深度学习的方法加速了语言处理的进展，但在处理大量标记训练数据不易获得的任务时，现有系统的处理水平仍然是有限的。

03

势如破竹！169 篇论文带你看 BERT 在 NLP 中的 2019 年！

2019 年，可谓是 NLP 发展历程中具有里程碑意义的一年，而其背后的最大功臣当属 BERT ！

02

AI最佳应用篇——什么时候需要微调你的大模型（LLM）？

在AI盛起的当下，各类AI应用不断地出现在人们的视野中，AI正在重塑着各行各业。相信现在各大公司都在进行着不同程度的AI布局，有AI大模型自研能力的公司毕竟是少数，对于大部分公司来说，在一款开源可商用的大模型基础上进行行业数据微调也正在成为一种不错的选择。

05

ICLR 2020 | 完胜 BERT，谷歌最佳 NLP 预训练模型开源，单卡训练仅需 4 天

并且，在同等计算资源的情况下，ELECTRA 的性能优于现有方法；而在参数量只有 1/30 的情况下，取得不逊于最先进 BERT 系列模型的性能。

03

J Cheminform｜DeepSA：深度学习驱动的化合物可合成性预测

2023年11月2日，上海科技大学白芳老师团队在J Cheminform上发表文章DeepSA：a deep-learning driven predictor of compound synthesis accessibility。

01

从零训练一个超越预训练的NLP模型

本文基于Arxiv上的一篇论文NLP From Scratch Without Large-Scale Pretraining: A Simple and Efficient Framework，清华的几位研究者提出一种任务驱动的语言模型TLM（Task-driven Language Modeling）。不需要大规模的预训练，从零训练一个大模型也能取得SOTA的效果，源码在yaoxingcheng/TLM

02

一网打尽：14种预训练语言模型大汇总

预训练语言模型是NLP中的核心之一，在pretrain-finetune这一阶段的NLP发展中发挥着举足轻重的作用。预训练语言模型的无监督训练属性，使其非常容易获取海量训练样本，并且训练好的语言模型包含很多语义语法知识，对于下游任务的效果会有非常明显的提升。本文首先介绍预训练语言模型的里程碑方法，然后进一步介绍学术界针对预训练语言模型中的问题提出的各种改进和创新，包括14个经典预训练语言模型。

04

Transformer预训练模型已经变革NLP领域，一文概览当前现状

在如今的 NLP 领域，几乎每项任务中都能看见「基于 Transformer 的预训练语言模型（T-PTLM）」成功的身影。这些模型的起点是 GPT 和 BERT。而这些模型的技术基础包括 Transformer、自监督学习和迁移学习。T-PTLM 可使用自监督学习从大规模文本数据学习普适性的语言表征，然后将学到的知识迁移到下游任务。这些模型能为下游任务提供优质的背景知识，从而可避免从头开始训练下游任务。

06

自然语言处理中的预训练模型（上）

本文是最近比较火的一篇关于预训练模型的综述「Pre-trained Models for Natural Language Processing: A Survey」的阅读笔记。由于篇幅较长，所以分成两篇发送。

02

改进版 BERT 打败 XLNet ，Facebook 公布研究细节

去年 10 月，被誉为「最强 NLP 预训练模型」的 Bert 问世，横扫 11 项 NLP 任务记录。随后问世的 XLNet 打破了这些记录，在 20 项任务上全面超越 BERT。然而，不久前，Facebook 的最新成果，BERT 改进版本——RoBERTa 打败 XLNet 登上了 GLUE 排行榜榜首。

01

【哈工大SCIR笔记】自然语言处理中的迁移学习(上)

来源：Transfer Learning in Natural Language Processing Tutorial (NAACL 2019)

03

掌握 BERT：自然语言处理 (NLP) 从初级到高级的综合指南（2）

当您精通 BERT 后，就该探索先进技术以最大限度地发挥其潜力。在本章中，我们将深入研究微调、处理词汇外单词、领域适应，甚至从 BERT 中提取知识的策略。

02

BERT 之后的故事

BERT 通过改变 NLP 模型的训练方式迎来了 NLP 领域的 ImageNet 时刻。自此之后的预训练模型分别尝试从 mask 范围，多语言，下文预测，模型轻量化，预训练方式，模型大小，多任务等方向谋求新突破，有的效果明显，有的只是大成本小收益。

03

稠密检索新突破：华为提出掩码自编码预训练模型，大幅刷新多项基准

稠密检索是搜索、推荐、广告等领域的关键性技术；面向稠密检索的预训练是业界高度重视的研究课题。近期，华为泊松实验室联合北京邮电大学、华为昇思 MindSpore 团队提出“基于掩码自编码器的检索预训练语言模型 RetroMAE”，大幅刷新稠密检索领域的多项重要基准。而其预训练任务的简洁性与有效性，也为下一步技术的发展开辟了全新的思路。该工作已录用于自然语言处理领域顶级学术会议 EMNLP 2022。基于昇思开源学习框架的模型与源代码已向社区开放。

04

从BERT、XLNet到MPNet，细看NLP预训练模型发展变迁史

来自 | 知乎地址 | https://zhuanlan.zhihu.com/p/146325984

01

中文预训练模型！| 哈工大 && 科大讯飞提出多任务预训练模型LERT（含源码）

哈工大&讯飞提出了一种新的预训练语言模型LERT，该模型结合了三种语言特征，与掩模语言模型一起进行多任务预训练。实验结果显示，LERT算法能够显著提高各种预训练语言模型的性能。

01

自然语言处理中的迁移学习(上)

本文转载自公众号「哈工大SCIR」（微信ID：HIt_SCIR），该公众号为哈尔滨工业大学社会计算与信息检索研究中心（刘挺教授为中心主任）的师生的信息分享平台，本文作者为哈工大SCIR 徐啸。

03

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭