人工智能语言模型是一种利用机器学习算法来处理自然语言的技术，它能够自动完成翻译、文本生成、问题回答等任务，成为当今人工智能领域的重要研究方向之一。本文将介绍人工智能语言模型的历史，从最早的统计语言模型到当前最新的自监督学习模型。
什么是语言模型？通俗的来讲是判断一句话是否符合人说话的模型，如可以说”猫有四条腿“，却不能说”四条腿有猫“。因为”四条腿有猫“这样的表述不符合人们的正常语言规范。在语言模型的发展过程中，分别出现了专家语法规则模型，统计语言模型，神经网络语言模型三个阶段。其中，专家语法规则模型出现在语言模型的初始阶段，我们知道，每一种语言都有其特定的语法规则，因此在早期，人们设法通过归纳出的语法规则来对语言建模；统计语言模型则是对句子的概率分布建模，通过对大量语料的统计发现，符合人们正常语言规范的句子出现的概率要大于不符合语言规范的句子，如上述的“猫有四条腿”出现的概率要大于“四条腿有猫”的概率；神经网络语言模型是在统计语言模型的基础上，通过神经网络模型对句子的概率分布建模的方法。下面将从统计语言模型开始讲起。
在现代自然语言处理（NLP）领域，语言模型和变换器模型占据了重要位置。这些模型使得计算机能够理解和生成人类语言。我们将探讨它们的工作原理、应用场景以及主要区别。
图是一种普遍的数据结构，建模了节点之间的结构关系。在现实生活中，许多节点包含丰富的文本特征，这种图被称为文本图 (text-attributed graph [2])。例如，论文引用网络中包含了论文的文本和论文之间的引用关系；社交网络中包含了用户的文本描述和用户直接的交互关系。在文本图上的表示学习模型，可以应用于节点分类、链路预测等任务中，具有广泛的应用价值。
截至 2023 年 11 月，人类创造的人工智能工具已经取得了长足的进步，在自然语言处理、机器翻译、问答系统等领域取得了显著成果。当前走到了大语言模型阶段。
导读：这篇文章中作者尝试将 15 年的自然语言处理技术发展史浓缩为 8 个高度相关的里程碑事件，不过它有些偏向于选择与当前比较流行的神经网络技术相关的方向。我们需要关注的是，本文中介绍的许多神经网络模型都建立在同时代的非神经网络技术之上。在文章的最后，作者强调了这些有影响力的技术成果，它们为以后的 NLP 方法发展奠定了基础。
日前，在第二届北京智源大会语音与自然语言处理专题论坛上，国际自然语言处理著名学者、斯坦福人工智能实验室负责人Christopher Manning做了名为《Linguistic structure discovery with deep contextual word representations》的主题演讲。
导读： 这篇文章中作者尝试将 15 年的自然语言处理技术发展史浓缩为 8 个高度相关的里程碑事件，不过它有些偏向于选择与当前比较流行的神经网络技术相关的方向。我们需要关注的是，本文中介绍的许多神经网络模型都建立在同时代的非神经网络技术之上。在文章的最后，作者强调了这些有影响力的技术成果，它们为以后的 NLP 方法发展奠定了基础。
【新智元导读】CMU 语言技术研究所助理教授 Graham Neubig 将有关神经机器翻译和 seq2seq 各种模型的概要、重点以及部署技巧整理为一篇长达65页的教程发表于 arxiv，内容由浅入深，兼具实用性与启发性，值得收藏研读。 论文题目：神经机器翻译与 sequence-to-sequence 模型：一个教程 （Neural Machine Translation and Sequence-to-sequence Models: A Tutorial ） 论文下载地址：https://arxiv
预训练属于迁移学习的范畴。现有的神经网络在进行训练时，一般基于反向传播（Back Propagation，BP）算法，先对网络中的参数进行随机初始化，再利用随机梯度下降（Stochastic Gradient Descent，SGD）等优化算法不断优化模型参数。而预训练的思想是，模型参数不再是随机初始化的，而是通过一些任务进行预先训练，得到一套模型参数，然后用这套参数对模型进行初始化，再进行训练。
〇、序 之前一段时间，在结合深度学习做 NLP 的时候一直有思考一些问题，其中有一个问题算是最核心一个：究竟深度网络是怎么做到让各种 NLP 任务解决地如何完美呢？到底我的数据在 NN 中发什么了什么呢？ 并且，不少的 terms like： 词向量、word embedding、分布式表示、word2vec、glove 等等，这一锅粥的名词术语分别代表什么，他们具体的关系是什么，他们是否处于平级关系？ 出于对知识结构追求完整梳理的强迫症的老毛病，于是不停地查资料、思考、keep revolving……
选自arXiv 机器之心编译 参与：路雪、蒋思源 基于神经网络的语言模型能够学习不同的自然语言特征，性能也正在持续提升。萨尔大学在 ICASSP 2017 发表的论文中提出一种神经混合模型（NMM），
注意：本文已经更新，新版结合深度学习简介和发展历程，给出了更详尽的学习资料参考。新版链接：深度学习简介与学习资料参考（http://peteryuan.net/deep-learning-intro/） 本文主要介绍一些与神经网络和自然语言处理相关的经典教程、资料，以便初学者能有个比较清晰的学习参考。 从机器学习到深度学习 深度学习脱胎于神经网络，而神经网络又是一种机器学习的经典算法。因此，如果希望从理论上更深刻地掌握深度学习，建议了解相关的机器学习知识。 机器学习 Andrew Ng.（吴恩达）的机器学习
深度学习采用的模型一般比较复杂，指样本的原始输入到输出目标之间的数据流经过多个线性或非线性的组件。每个组件都对信息进行加工，并进而影响后续的组件。
自然语言处理领域正在从统计方法转变为神经网络方法。 自然语言中仍有许多具有挑战性的问题需要解决。然而，深度学习方法在一些特定的语言问题上取得了最新的成果。这不仅仅是深度学习模型在基准问题上的表现，基准问题也是最有趣的；事实上，一个单一的模型可以学习词义和执行语言任务，从而消除了对专业手工制作方法渠道的需要。 在这篇文章中，你会发现7个有趣的自然语言处理任务，也会了解深度学习方法取得的一些进展。 文本分类 语言建模 语音识别 字幕生成 机器翻译 文档摘要 问答（Q&A） 我试图专注于你可能感兴趣的各种类型的终
近两年，基于预训练+精调的研究范式，迅速席卷了整个 NLP 领域。这种研究范式被大家普遍认同为是 NLP 研究的革命性范式，在此之前则有“专家系统”、“统计模型”和“神经网络模型”等。
学习大型语言模型需要一定的数学和编程基础，如线性代数、微积分、Python编程等。同时，还需要不断地阅读相关文献和实践项目，以便深入理解大型语言模型的原理和应用。
选自arXiv 作者：Graham Neubig 机器之心编译 参与：李泽南、蒋思源 本文是一篇有关机器翻译的详细教程，适用于计算机科学本科背景的读者。据 Paper Weekly（ID：paperweekly）介绍，本论文来自 CMU LTI，内容包括了 Seq2Seq 方法的各个基础知识，包括 N-gram Language Model、Log Linear Language Model、NNLM、RNNLM、encoder-decoder、attention，是一本高质量教程，适合初学者学习。读者可以
语言模型（LM）是很多自然语言处理（NLP）任务的基础。早期的 NLP 系统主要是基于手动编写的规则构建的，既费时又费力，而且并不能涵盖多种语言学现象。直到 20 世纪 80 年代，人们提出了统计语言模型，从而为由 N 个单词构成的序列 s 分配概率，即：
通过前向传播使用 Softmax 计算字典中各个单词出现的概率 输出字典中所有词的概率
在介绍完了如何处理数据以及如何构造样本之后，就可以构建我们的神经网络语言模型了，下面是使用LSTM构建的语言模型的大体结构：
由于在公众号上文本字数太长可能会影响阅读体验，因此过于长的文章，我会使用"[L1]"来进行分段。这个系列将主要借鉴《Tensorflow实战Google学习框架》这本书，主要介绍实现语言模型的一些前期准备，后期会出更详细的文章。
漫谈神经语言模型之中文输入法 Speech Valley是原先的github项目Automatic Speech Recognition的正式库名称，之所以取名为Speech Valley，是希望这个项目不仅可以包括语音识别，也能处理Speaker Verification、Text-to-Speech等问题，近期公众号将围绕语言模型、中文语音识别、说话人身份识别、语音合成等诸多前沿领域撰写系列文章与代码实践。 构建好一个强大的语言模型以后，可以应用到非常多的领域，最基本也最常用的毫无疑问就是输入法了，
自然语言处理在大语言模型（Large Language Model, LLM）被提出之后，再次取得重大突破：
ShowMeAI为斯坦福CS224n《自然语言处理与深度学习(Natural Language Processing with Deep Learning)》课程的全部课件，做了中文翻译和注释，并制作成了GIF动图！
显然，仅知道这个答案并不是一件唯一重要的事情，除此之外，「了解其他三种范式是什么以及范式之间转化的内在逻辑的价值更加凸显」。这有两个好处：
十年前，IBM 的 Watson 获得了答题节目《Jeopardy!》的冠军，当时 IBM 宣称：「Watson 能够理解自然语言的所有歧义和复杂性。」然而，正如我们所看到的，Watson 随后在试图「用人工智能彻底改变医学」的过程中失败了，智能体所具备的语言能力与实际理解人类语言并不能完全划等号。
语言模型是自然语言处理中的核心模型，是对一句话的合理性进行度量的模型，比如“今天天气不错”就比“不错天气今天”要合理，如何对句子的合理性进行评价，是语言模型需要解决的核心问题。实现语言模型的基础从最初语言学家基于语言规则的度量，发展到现在的基于概率统计理论的度量，因此我们现在说的语言模型，基本都是指统计语言模型（Statistical Language Model）。
在字符上使用 CNN 或 LSTM 以获得基于字符的词表示的做法现在相当普遍，特别是对于形态信息重要或有许多未知单词的丰富的语言和任务，效果更加明显。据我所知，序列标签使用基于字符的表示（Lample 等人，2016；普兰克等人，2016），可以减轻在计算成本增加的情况下必须处理固定词汇表的需要，并支持完全基于字符的 NMT （Ling 等人， 2016；Lee 等人，2017）。
Google DeepMind最近在自己的视频博客上上传了一段视频，「简单明了地」演示了大语言模型的工作原理，引发了网友的激烈讨论。
语言模型常常与单词嵌入混淆。主要的区别在于，在语言模型中，单词顺序很重要，因为它试图捕捉单词之间的上下文，而在单词嵌入的情况下，只捕捉语义相似度(https://en.wikipedia.org/wiki/Semantic_similarity) ，因为它是通过预测窗口中的单词来训练的，而不管顺序如何。
有些问题，输入数据 X 和 输出数据 Y 都是序列，X 和 Y 有时也会不一样长。在另一些问题里，只有 X 或 只有 Y 是序列
前天我们翻译了微软关于NLP（自然语言处理）的PPT的概览部分，今天我们为大家带来了这份PPT的第二部分：同上次一样，我们将翻译内容放在图里的同时也写在了下面，大家可点开大图，也可按需自行查阅底部文字
自然语言处理（Natural Language Processing, NLP）是人工智能领域的一个重要分支，它致力于让计算机能够理解、解释、处理人类语言。在NLP中，语言模型是一个关键概念，它是对语言数据的统计学建模，用于预测给定上下文中的下一个单词或字符。随着技术的不断进步，语言模型的发展与应用变得日益广泛，为我们提供了许多强大的工具和应用场景。
作者：Mor Kapronczay翻译：陈之炎 校对：赵茹萱 本文约3600字，建议阅读7分钟语言模型预测单词或单词序列的概率分布，通过本文了解不同类型语言模型，以及可以用它们做什么。 图片：Shutterstock / Built In 过去十年中，从文本数据中提取信息的技术发生了巨大变化，自然语言处理这一术语已经超跃文本挖掘，成为该领域的主导方法。与此同时，该方法也发生了翻天覆地的变化。引发变化的主要驱动因素是语言模型的出现，它旨在从原始文本中提取有价值的见解，成为了许多应用程序的基础。 语言模型
【新智元导读】Facebook 在尝试使用“门卷积网络”的方法来为语言建模，最近，他们首次取得了超过递归神经网络方法建模方法的性能表现，性能了超越目前被认为是最好的 LSTM 方法。在 WikiText 数据集上，他们创造了新的性能记录。同时，在谷歌 Billion Word 基准上，单个GPU运行的横向对比中的表现也做到了最好。LSTM 目前在自然语言处理上有着广泛的应用，卷积的方法会替代递归的方法吗？本文将带来国内专家的深度解读。 语言模型对于语音识别系统来说，是一个关键的组成部分，在机器翻译中也是如
【新智元导读】斯坦福大学CS224n（全称：深度学习与自然语言处理）是自然语言处理领域很受欢迎的课程，由 Chris Manning 和 Richard Socher 主讲。本课程所有教学视频和课程材
本文主要由以下四部分组成：文本基本处理，文本语义分析，图片语义分析，语义分析小结。先讲述文本处理的基本方法，这构成了语义分析的基础。接着分文本和图片两节讲述各自语义分析的一些方法，值得注意的是，虽说分为两节，但文本和图片在语义分析方法上有很多共通与关联。最后我们简单介绍下语义分析在广点通“用户广告匹配”上的应用，并展望一下未来的语义分析方法
选自arXiv 机器之心编译 参与：李亚洲 日前，机器之心介绍了一种压缩手机端计算机视觉模型的方法。在这篇文章中，我们介绍了一篇论文，介绍和对比了手机端语言模型的神经网络压缩方法。 神经网络模型需要大量的磁盘与存储空间，也需要大量的时间进行推理，特别是对部署到手机这样的设备上的模型而言。 在目前的研究中，业内已有多种方法解决该难题。部分是基于稀疏计算，也包括剪枝或其他更高级的方法。总而言之，在将模型存储到磁盘时，这样的方法能够大大降低训练网络的大小。 但是，当用模型进行推理时，还存在其他问题。这些问题是由稀
导语：在本章中，我们将介绍如何使用深度学习来解决计算机视觉、语音识别、自然语言处理以及其他商业领域中的应用。首先我们将讨论在许多最重要的AI 应用中所需的大规模神经网络的实现。接着，我们将回顾深度学习
0.Roadmap 1. 模型 | 语言模型与词嵌入 2. 模型 | LSTM 3. 盘点 | 那些顶级会议 4. 模型 | Seq2Seq 和 Attention机制 看上去和CV存在不小的差别。以我粗浅地理解，主要原因有以下两点： 1）对输入的处理不同。 我们知道，计算机不认识一个单词，不懂得它的意思，也不知道它和哪些词意思相关联，和另外哪些词经常一起出现。 所以，对于自然语言的处理需要首先将词语表示为向量的形式(Word2Vec, GloVe等)，再把一个个词向量拼接为句子(Recursive & R
语言模型通俗的将就是判断一句话是不是正常人说出来的。统计语言模型是所有 NLP的基础，被广泛应用与语音识别、机器翻译、分词、词性标注和信息检索等任务。传统的统计语言模型是表示语言基本单位（一般为句子）的概率分布函数，这个概率分布也是该语言的生成模型。通俗的讲，如果一句话没有在语料库中出现，可以模拟句子的生成的方式，生成句子在语料库中的概率。一般语言模型可以使用各个词语条件概率的形式表示：
本文中，我们将介绍如何使用深度学习来解决计算机视觉、语音识别、自然语言处理以及其他商业领域中的应用。首先我们将讨论在许多最重要的AI 应用中所需的大规模神经网络的实现。接着，我们将回顾深度学习已经成功应用的几个特定领域。 尽管深度学习的一个目标是设计能够处理各种任务的算法，然而截至目前深度学习的应用仍然需要一定程度的特化。例如，计算机视觉中的任务对每一个样本都需要处理大量的输入特征(像素)，自然语言处理任务的每一个输入特征都需要对大量的可能值(词汇表中的词) 建模。 大规模深度学习 深度学习的基本思想基于
编者按：本文选自图书《Deep Learning》中文版第十二章部分内容，《深度学习》由全球知名的三位专家Ian Goodfellow、Yoshua Bengio和Aaron Courville撰写，是深度学习领域奠基性的经典教材。 在本章中，我们将介绍如何使用深度学习来解决计算机视觉、语音识别、自然语言处理以及其他商业领域中的应用。首先我们将讨论在许多最重要的AI 应用中所需的大规模神经网络的实现。接着，我们将回顾深度学习已经成功应用的几个特定领域。 尽管深度学习的一个目标是设计能够处理各种任务的算法，
编者按：本文选自图书《Deep Learning》中文版第十二章部分内容，《深度学习》由全球知名的三位专家Ian Goodfellow、Yoshua Bengio和Aaron Courville撰写，是深度学习领域奠基性的经典教材。 在本章中，我们将介绍如何使用深度学习来解决计算机视觉、语音识别、自然语言处理以及其他商业领域中的应用。首先我们将讨论在许多最重要的AI 应用中所需的大规模神经网络的实现。接着，我们将回顾深度学习已经成功应用的几个特定领域。 尽管深度学习的一个目标是设计能够处理各种任务的算法，然
【新智元导读】牛津大学和 DeepMind 联合推出了《NLP深度学习课程》，专攻基于深度学习的自然语言处理，涉及递归神经网络、B-P、LSTM、注意力网络、记忆网络、神经图灵机等技术要点。新智元整理了这门课程及其亮点。无论你是否专攻自然语言处理，对深度学习感兴趣的人都能从中受益。 在2017年1月开始的这个学期，牛津大学联合 DeepMind 自然语言研究团队，推出了“NLP深度学习”这门课程（Deep Learning for Natural Language Processing）。课程共 8 周。内
选自machinelearningmastery 机器之心编译 参与：Panda 对图像搜索和帮助视觉障碍者「查看」世界等应用而言，让图像带有文本描述是非常有价值的。使用人力标注显然不现实，而随着深度学习技术的发展，使用机器为图像自动生成准确的文本描述成为了可能。Jason Brownlee 博士的这篇文章对使用深度学习的图像描述进行了介绍，机器之心对本文进行了编译。 图像描述涉及到为给定图像（比如照片）生成人类可读的文本描述。这个问题对人类而言非常简单，但对机器来说却非常困难，因为它既涉及到理解图像的内容
5月初，Meta发布了一个可以执行多个不同任务的大型语言模型：Open pretraining Transformer (OPT-175B)。在过去几年里，大型语言模型（large language model，LLM）已经成为人工智能研究的热点之一。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
云直播
