2021年4月13日，Neves BJ等人在Journal of Cheminformatics杂志发表文章，文章使用分子指纹将分子表示为一段基于子结构的"句子"，通过学习子结构水平上的化学变化来预测逆合成反应。
从图中，我们很容易发现 ERNIE1.0 对于 BERT 的改进是在 MLM 任务。在论文，作者阐述了三种不同的 mask 技巧：
1 简介 BERT全称Bidirectional Enoceder Representations from Transformers，即双向的Transformers的Encoder。是谷歌于2018年10月提出的一个语言表示模型（language representation model）。 1.1 创新点 预训练方法（pre-trained）： 用Masked LM学习词语在上下文中的表示； 用Next Sentence Prediction来学习句子级表示。 1.2 成功 强大，效果好。出来之时，
当由于中风、肌萎缩侧索硬化症（ALS）或其他神经系统疾病而导致言语中断时，丧失说话能力可能是毁灭性的。
大数据文摘转载自学术头条 只要一个人的大脑神经活动还在，科学家们就有可能帮助失语瘫痪患者（由于严重声带和肢体瘫痪而交流受限）恢复应该有的交流能力。 脑机接口被寄予厚望，是近年来神经科学中最前沿的研究领域之一。 在一项最新研究中，来自美国加州大学旧金山分校的科研团队设计了一个神经假体，这种神经假体可以将脑活动转译为单个字母，实时拼出完整句子，展示在一名失语瘫痪患者面前。 据介绍，由该神经假体能构成的拼写系统能够以每分钟 29.4 个字符的速度生成句子，平均字符错误率仅为 6.13%，且可以推广到包含
前言 好久没有更新专栏，今天我们来看一个简单的Seq2Seq实现，我们将使用TensorFlow来实现一个基础版本的Seq2Seq，主要帮助理解Seq2Seq中的基础架构。 最基础的Seq2Seq模型
我们知道人类并不是从零开始思考东西，就像你读这篇文章的时候，你对每个字的理解都是建立在前几个字上面。你读完每个字后并不是直接丢弃然后又从零开始读下一个字，因为你的思想是具有持续性的，很多东西你要通过上下文才能理解。
他所需要做的，只是在脑中将字母“手写”出来，然后系统就会自动识别生成字母，一分钟可写90个字符。
让我们从一个问题开始，你能理解下面这句英文的意思吗？“working love learning we on deep”，答案显然是无法理解。那么下面这个句子呢？“We love working on deep learning”，整个句子的意思通顺了！我想说的是，一些简单的词序混乱就可以使整个句子不通顺。那么，我们能期待传统神经网络使语句变得通顺吗？不能！如果人类的大脑都感到困惑，我认为传统神经网络很难解决这类问题。
今天给大家介绍的是韩国江原国立大学Umit V.等人在2021年发表的一篇名为“Substructure-based neural machine translation for retrosynthetic prediction”的文章。随着机器翻译方法的快速改进，神经网络机器翻译开始在逆合成规划中发挥重要作用。作者利用无模板的序列到序列模型，将逆合成规划问题重新转化为语言翻译问题，不像先前的使用SMILES字符串来表示反应物和产物的模型，作者引入了一种新的基于分子碎片的方法来表示化学反应，并使用古本系数进行结果评估。结果表明，与目前最先进的计算方法相比，该方法能获得更好的预测结果。该方法解决了现有的逆合成方法产生无效SMILES字符串等主要缺陷。具体来说，我们的方法预测高度相似的反应物分子的准确率为57.7%。此外，作者的方法得到了比现有方法更稳健的预测。
目前，利用提示（Prompt）对预训练模型进行微调，并将其应用到下游任务中是非常常用的方法。（对Prompt不了解的小伙伴可以读一下我之前的文章：一文了解预训练模型 Prompt 调优）但是当应用于复杂标签的关系分类时，由于严格的提示限制，一般的Prompt Tuning方法难以处理具有任意长度的标签表达。受预训练生成模型的文本填充任务的启发，「本文提出了一种新的生成提示调整方法，即将关系分类重新表述为填充问题，从而摆脱了当前基于提示的方法的限制，完全利用了实体和关系类型的丰富语义」。实验证明了本文模型在完全监督和低资源设置下的有效性。
Doc2Vec 是一种无监督算法，可从可变长度的文本片段（例如句子、段落和文档）中学习嵌入。它最初出现在 Distributed Representations of Sentences and Documents 一文中。
AI 研习社按，Kaggle 上有各式各样的数据挖掘类比赛，很多参赛者也乐于分享自己的经验，从他人的经验中进行总结归纳，对自己的实践也非常重要。
更具体的任务有，在解析一段工作经历长文本的时候，我们希望提取其中的动宾组合来表示该应聘者之于此段工作经历的主要工作内容。以“ 了解市场情况 , 进行一些项目的商务谈判 ”为例，HanLP分词器的结果为“ 了解市场情况 , 进行一些项目的商务谈判 ”，此时可以提取的粗动宾组合有“了解- 情况 ”和“ 进行 - 谈判 ”，而我们更希望得到更加完整且意义更加丰富的宾语，因此需要将“市场 情况”合并为“市场情况”，将“商务 谈判”合并为“商务谈判”。因此，我们需要一个能够准确提取名词短语（Noun Pharse）的序列标注模型来克服NP字典召回不足的问题。
接下来我们就应用技术手段，基于Python，建立一个工具，可以阅读和分析川普的Twitter。然后判断每条特定的Twitter是否具有川普本人的性格。
标星★公众号 爱你们♥ 作者：Ali Alavi、Yumi、Sara Robinson 编译：公众号进行了全面整理 如你所见，我们手动复制了Trump的一条Twitter，将其分配给一个变量，并使用split()方法将其分解为单词。split()返回一个列表，我们称之为tweet_words。我们可以使用len函数计算列表中的项数。在第4行和第5行中，我们打印前面步骤的结果。注意第5行中的str函数。为什么在那里最后，在第9行中，我们循环遍历tweet_words：也就是说，我们逐个遍历tweet
随着机器翻译方法的快速改进，神经机器翻译已经开始在逆合成设计中发挥重要作用，为目标分子找到合理的合成路径。以往的研究表明，利用神经机器翻译的序列到序列框架是解决逆合成设计问题的一种有前途的方法。这项工作中，研究人员使用一个无模板的序列到序列的模型将逆合成设计问题重构为语言翻译问题。该模型是以端到端和完全数据驱动的方式进行训练。与之前翻译反应物和产物的SMILES字符串的模型不同，研究人员引入了一种基于分子片段的新的化学反应表示方式。事实证明，新方法比目前最先进的计算方法产生了更好的预测结果。新方法解决了现有逆合成方法的主要缺点，如生成无效的SMILES字符串。此外，研究人员的方法比现有的方法产生更稳健的预测。
本文为BOSS直聘联合北京大学提出的联合双边意愿与匹配的人岗推荐，可以让我们一窥 BOSS 直聘在匹配求职者与岗位背后的算法机理。目前，该论文已被信息检索领域国际会议CIKM2019接收。
一头大象有多重，对人类而言，“瞄”一眼可能就知道个大概。这体现的是人类对物体的物理属性的感知能力。
知乎专栏：机器不学习 作者：天雨栗 | 蚂蚁金服 | 数据算法 已授权刊登 前言 好久没有更新专栏，今天我们来看一个简单的Seq2Seq实现，我们将使用TensorFlow来实现一个基础版本的Seq2Seq，主要帮助理解Seq2Seq中的基础架构。 最基础的Seq2Seq模型包含了三个部分，即Encoder、Decoder以及连接两者的中间状态向量，Encoder通过学习输入，将其编码成一个固定大小的状态向量S，继而将S传给Decoder，Decoder再通过对状态向量S的学习来进行输出。 图中每一
学习、预测和压缩之间存在着密切的联系。ChatGPT的成功吸引了公众的广泛关注，并将学习与预测之间的联系推向了前沿。LLaMA和GPT-4等大型语言模型带来的主要进步是，它们能够根据已知的前几个单词（Token）来出色地预测段落中的下一个单词（Token）。
---- 新智元报道 来源：reddit 编辑：LRS 【新智元导读】Reddit扫盲贴火了！提问者对手写体生成技术惊呆了，寻求网友帮助探究背后原理，引来无数热心网友分析论文！其中有一位眼尖的网友发现可以上传手写体数据，但生成的数据并不好，于是怀疑作者是来骗数据的！ Reddit上一个问题火了！ 一个小哥访问了一个手写体生成的网站之后，感觉太不可思议了，想问一下是机器学习技术是怎么帮助生成手写体的？ 为了避免广告嫌疑，提问者声明：我不是制作这个的人，但它的工作原理是如此的令人着迷---- 我的笔
今天给大家介绍3篇EMNLP 2022中语言模型训练方法优化的工作，这3篇工作分别是：
今年八月，两篇背靠背《自然》文章展示了脑机接口在语言恢复方面的强大能力，单现有的语言脑机接口技术多是为「英文等字母语言」体系构建而成，针对「汉字等非字母体系」的语言脑机接口系统研究仍是空白。
先进神经芯片中心默罕默德·萨万教授团队，自然语言处理实验室张岳教授团队和朱君明教授团队联合发布了他们最新的研究结果：“A high-performance brain-sentence communication designed for logosyllabic language”.该研究实现脑机接口全谱汉语解码，一定程度弥补了国际上汉语解码脑机接口技术的空白。
这一章我们不聊模型来聊聊数据，解决实际问题时90%的时间其实都是在和数据作斗争，于是无标注，弱标注，少标注，半标注对应的各类解决方案可谓是百花齐放。在第二章我们也尝试通过多目标对抗学习的方式引入额外的NER样本，或者分词边界来提高people daily小样本数据集的效果。
在第一章中我们谈到，机器学习是用泛型算法告诉你一些有关数据的有趣结论，而这个过程中你不需要写任何与问题有关的特定代码。（如果你还没有读过第一章，现在先去读吧！机器学习原来这么有趣！【第一章】）
https://blog.csdn.net/u011239443/article/details/80119245
来源：gizmodo.com 编译：马文 【新智元导读】伏尼契手稿是一本内容不明的神秘书籍，里面充满着神秘的文字和插图。自从100多年前被发现以来，无数语言学家和密码学家对这部手稿进行了细致研究，但至今没有人能够破译出只言片语。现在，阿尔伯塔大学的NLP专家宣称利用AI技术能够破译这部天书。 伏尼契手稿是一本内容不明的神秘书籍，共240页，里面充满着编码一般的文字和神秘的插图。自从100多年前被发现以来，伏尼契手稿就一直令语言学家和密码学家困惑不解，至今没有人能够破译出只言片语。但最近，利用人工智能，加拿大
A Character-Centric Neural Model for Automated Story Generation
源：https://blog.insightdatascience.com/how-to-solve-90-of-nlp-problems-a-step-by-step-guide-fda605278e4e 一、收集数据 每一个机器学习问题都始于数据，比如一组邮件、帖子或是推文。文本信息的常见来源包括： 商品评价（来自 Amazon、Yelp 以及其他 App 商城） 用户产出的内容（推文、Facebook 的帖子、StackOverflow 的提问等） 问题解决（客户请求、技术支持、聊天记录） “社交媒
8 月 6 日，网易有道发布了一款全新的智能学习硬件：网易有道词典笔 2.0。该词典笔只要扫一扫就能自动识别生词、句子，并提供对应的释义、翻译与读音。重要的是，所有这些功能都可以在离线的情况下完成，包括 NMT 实现的整句翻译。当然，这支笔背后的技术不止这些，ASR（语音识别）和 NLU（自然语言理解）等技术也帮助其实现了在线的语音助手问答功能。
大数据文摘作品 编译：小饭盆、周佳玉、笪洁琼、钱天培 豆瓣水军检测、《权游》续写、越来越神的谷歌翻译...... 最近自然语言处理（NLP）的各路应用可是被玩得风生水起。 这些NLP应用看起来炫酷到没道理，但其实背后的原理并不难理解。 今天，文摘菌就来扒一扒最常用的自然语言处理技巧和模型，手把手教你做一个简单神奇的小应用。 不吹不黑，90%的NLP问题都能用类似方法解决。 今天这个教程从数据处理的三大阶段教你自然语言处理： 收集，准备、检查数据 建立简单的模型（包括深度学习模型） 解释、理解你的模型 整篇
每一个机器学习问题都始于数据，比如一组邮件、帖子或是推文。文本信息的常见来源包括：
由于缺少从一种语言到另一种语言的很多翻译示例——例如从英语到乌尔都语（Urdu），Facebook（脸书）公司已经开始使用无监督的机器学习来翻译其平台上的内容。
选自InsightDataScience 作者：Emmanuel Ameisen 机器之心编译 参与：白悦、李泽南 自然语言处理（NLP）与计算机视觉（CV）一样，是目前人工智能领域里最为重要的两个方
作者：Emmanuel Ameisen 来源：机器之心 本文为大家解析了人工智能领域中的自然语言如何处理。 自然语言处理（NLP）与计算机视觉（CV）一样，是目前人工智能领域里最为重要的两个方向。如
本次解读nature论文High-performance brain-to-text communication via handwriting。由斯坦福大学医学院、布朗大学和哈佛医学院的专家合作完成。
本文带你走进命名实体识别（NER）任务，首先介绍了解决NER任务的经典模型结构，然后通过3篇顶会论文介绍当缺少训练样本的时候，如何解决NER任务。
语言模型常常与单词嵌入混淆。主要的区别在于，在语言模型中，单词顺序很重要，因为它试图捕捉单词之间的上下文，而在单词嵌入的情况下，只捕捉语义相似度(https://en.wikipedia.org/wiki/Semantic_similarity) ，因为它是通过预测窗口中的单词来训练的，而不管顺序如何。
本文为雷锋字幕组编译的技术博客，原标题How to solve 90% of NLP problems: a step-by-step guide，作者Emmanuel Ameisen。 翻译 |
图1. 展示了未微调的BERT(bert-large-cased)无监督NER标记的句子样本
什么是循环神经网络（RNN）？它们如何运行？可以用在哪里呢？本文试图回答上述这些问题，还展示了一个 RNN 实现 demo，你可以根据自己的需要进行扩展。
本章我们将介绍 循环神经网络 Recurrent Neural Networks （RNNs），RNN的一大优点是为网络结构的搭建提供了很大的灵活性。通常情况下，我们提及的神经网络一般有一个固定的输入，然后经过一些隐藏层的处理，得到一个固定大小的输出向量（如下图左所示，其中红色表示输入，绿色表示隐藏层，蓝色表示输出，下同）。这种“原始”的神经网络接受一个输入，并产生一个输出，但是有些任务需要产生多个输出，即一对多的模型（如下图 one-to-many标签所示）。循环神经网络使得我们可以输入一个序列，或者输出一个序列，或者同时输入和输出一个序列。下面按照输入输出是否为一个序列对RNN进行划分，并给出每种模型的一个应用场景：
AiTechYun 编辑：yuxiangyu 左：给出电影海报，右：由MC-GAN生成的新电影片名。 文字是二维设计的需要突出的视觉元素。设计师花费大量时间来设计可以与其他元素的形状和纹理在视觉上兼容
论文：A Robustly Optimized BERT Pretraining Approach.
大数据文摘出品 编译：Fei、倪倪、什锦甜、钱天培 未来AI的主要应用是在建立能够学习数据然后生成原创内容的网络。这个想法已经充分应用于在自然语言处理（NLP）领域，这也是AI社区能够搭建出所谓语言模型的原因：语言模型的前提是学习句子在文章段落中的组成结构，从而生成新的内容。 在这篇文章中，我想尝试生成与很受欢迎的加拿大说唱歌手Drake(a.k.a. #6god)风格类似的说唱歌词，这肯定是件很有趣的事儿。 另外，我还想分享一下常规的机器学习项目渠道，因为我发现很多同学想做一些小项目，但不知道该从何处入手
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
