01 — 搜索基本过程 对于网页搜索，传统的过程可以理解为：用户提交POST，搜索引擎返回RESPONSE。最开始的搜索过程，用户基本上是提供关键词，然后搜索引擎进行字符串匹配，给出一些含有这些关键词的候选集网页candidates，然后采用rank模型进行排序，将得分最高的网页靠前显示给用户（当然，某些给了钱做广告的网页就是例外了）。 然而，现在的用户搜索越来越口语化和知识化，搜索引擎慢慢也向QA（问答系统）进行转变，不再仅仅是字符串匹配的过程了。例如用户搜索“刘德华”的妻子这个问题，搜
最近在处理文本多分类时，需要用到文本相似度计算，在github上找到了一个很不错的Python 第三方包。叫相识(Xiangshi)
最近碰到了文本相似度的问题，想到了猫猫数据中有品种的相关描述，于是用品种描述文本来研究一下文本相似度计算的。
每天给你送来NLP技术干货！ ---- ©作者 | 崔文谦 单位 | 北京邮电大学 研究方向 | 医学自然语言处理 编辑 | PaperWeekly 本文旨在帮大家快速了解文本语义相似度领域的研究脉络和进展，其中包含了本人总结的文本语义相似度任务的处理步骤，文本相似度模型发展历程，相关数据集，以及重要论文分享。 文本相似度任务处理步骤 通过该领域的大量论文阅读，我认为处理文本相似度任务时可以分为一下三个步骤： 预处理：如数据清洗等。此步骤旨在对文本做一些规范化操作，筛选有用特征，去除噪音。 文本表示：
text2vec, chinese text to vetor.(文本向量化表示工具，包括词向量化、句子向量化)
在文本处理中，比如商品评论挖掘，有时需要了解每个评论分别和商品的描述之间的相似度，以此衡量评论的客观性。
文本相似度度量就是衡量两个文本相似度的算法。主要包括两个步骤：将文本表示为向量（文本表示）；衡量两个向量的相似度（相似度度量）。
本文是刊载于《管理世界》2017 年第 12 期《多个大股东与企业融资约束——基于文本分析的经验证据》[1] 的阅读笔记。原论文参照 Hoberg 和 Maksimovic（2015）、Buehlmaier 和 Whited（2016）的方法，结合中国制度背景和语言习惯，采用文本分析方法构建了融资约束指标。本笔记主要记录其使用文本分析方法构建指标的过程。
本文介绍了LSF-SCNN模型在短文本分类和答案选择问题上的应用。首先，作者介绍了模型的基本原理和结构，然后详细阐述了模型在两个数据集上的实验结果。实验结果表明，模型在两个数据集上均获得了较高的准确率，在答案选择问题上表现尤为突出。
本文将从预备知识的概念开始介绍，从距离名词，到文本分词，相似度算法。
这个系列打算以文本相似度为切入点，逐步介绍一些文本分析的干货，包括分词、词频、词频向量、文本匹配等等。 上一期，我们介绍了文本相似度的概念，通过计算两段文本的相似度，我们可以： 对垃圾文本（比如小广告）进行批量屏蔽； 对大量重复信息（比如新闻）进行删减； 对感兴趣的相似文章进行推荐，等等。 那么如何计算两段文本之间的相似程度？上一篇我们简单介绍了夹角余弦这个算法，其思想是： 将两段文本变成两个可爱的小向量； 计算这两个向量的夹角余弦cos(θ)： 夹角余弦为1，也即夹角为0°，两个小向量无缝合体，则相似度
余弦相似度是利用两个向量之间的夹角的余弦值来衡量两个向量之间的相似度，这个值的范围在-1到1之间。
本来呢，pearson，kendall以及spearman这3个相关性公式就让人头疼了，但是最近我在教程：比较不同的肿瘤somatic突变的signature 发现两个不同算法的signature的相似性并不是和文章完全一致，原因是作者使用了一个cosine similarity（余弦相似度）的概念。
策略上需要通过自定义expression动态调整文本相似度算法, 而文本相似度算法对每个匹配(match query)都调用一次, 假设一个request中有10个match query, 每个match query平均匹配10w个文档(我们假设的极端些), 那么一个request会调用打分公式100w次.
巴伐利亚算法可以帮助软件高效地处理大量的事件流数据，提高管理效率和准确性，同时可以降低对系统资源的消耗，提高系统的性能和可靠性。
如果一张图片可以用一千个单词描述，那么图片中所能被描绘的对象之间便有如此多的细节和关系。我们可以描述狗皮毛的质地，要被追逐的飞盘上的商标，刚刚扔过飞盘的人脸上的表情，等等。
本博文本应写之前立的Flag：基于加密技术编译一个自己的Python解释器，经过半个多月尝试已经成功，但考虑到安全性问题就不公开了，有兴趣的朋友私聊讨论吧。 从本篇博客开始，本人将转化写作模式，由话痨模式转为极简模式，力求三言两语让各位看的明白。
如何无监督地训练一个神经检索模型是当前IR社区的研究热点之一，在今天我们分享的论文中，OpenAI团队尝试在大规模无监督数据上对GPT系列模型做对比预训练(Contrastive Pre-Training)，得到的 CPT-text模型 在文本匹配、语义搜索等任务上取得了优异的zero-shot性能。
这个系列打算以文本相似度为切入点，逐步介绍一些文本分析的干货，包括分词、词频、词频向量、TF-IDF、文本匹配等等。 第一篇中，介绍了文本相似度是干什么的； 第二篇，介绍了如何量化两个文本，如何计算余弦相似度，穿插介绍了分词、词频、向量夹角余弦的概念。 其中具体如何计算，在这里复习： 文本分析 | 余弦相似度思想 文本分析 | 词频与余弦相似度 文本分析 | TF-IDF ---- 度量两个文本的相似度，或者距离，可以有很多方法，余弦夹角只是一种。本文简单列了一下常用的距离。 需要注意的是，本文中列的方法，
模糊匹配是日常工作中经常遇到的问题。比如我们手上有一份多家上市公司的利润表（每行为一家公司）和一份这些公司的现金流量表（同样一行一家公司），但由于种种原因（比如利润表的公司名称是简称，而现金流量表的公司名称是全称）导致同一家公司在两份表中有不同的名称。只有当这两张表的公司名称一致时，我们才能合并这两份表，同时看到这些公司的总体情况。
这个系列打算以文本相似度为切入点，逐步介绍一些文本分析的干货。 第一篇中，介绍了文本相似度是干什么的； 第二篇，介绍了如何量化两个文本，如何计算余弦相似度，穿插介绍了分词、词频、向量夹角余弦的概念。 第三篇中，介绍了目前常用的相似度，以及相关 Python 包。 其中具体如何计算，在这里复习： 文本分析 | 余弦相似度思想 文本分析 | 词频与余弦相似度 文本分析 | TF-IDF 文本分析 | 常用距离/相似度 一览 ---- 假如我现在有 5 条文本数据，想计算两两之间的相似度，找出最相似的文本对（比
原文链接：海量数据文本相似度解决方式SimHash+分词方法+基于内容推荐算法 – 约翰史密斯 – CSDN博客
逆文档频率高，说明该词很少出现在其他文档。所以像是“你好”这类常用词，就会有很低的IDF，而专业词，比如“脱氧核糖核酸”就会有比较高的IDF。
随着2018年ELMo、BERT等模型的发布，NLP领域终于进入了“大力出奇迹”的时代。采用大规模语料上进行无监督预训练的深层模型，在下游任务数据上微调一下，即可达到很好的效果。曾经需要反复调参、精心设计结构的任务，现在只需简单地使用更大的预训练数据、更深层的模型便可解决。
关于自然语言处理重要的一个部分是文本摘要，文本摘要的提取涉及到分词、断句、文本权重问题；分词前文已述，断句通过正则表达式完成；文本权重又包括句子的tfidf权重、文本相似度权重和句子的位置权重；关于权重又涉及到归一化处理和权重的权值等等。总的来说提取的摘要质量要比之前的snownlp、sumy、goose直接拿来用效果要好一些。
实战是学习一门技术最好的方式，也是深入了解一门技术唯一的方式。因此，NLP专栏推出了实战专栏，让有兴趣的同学在看文章之余也可以自己动手试一试。
AIOps，即 Artificial Intelligence for IT Operations，智能运维。随着智能化时代的快速发展，企业内服务系统的数量不断增加，系统之间的关系也越来越复杂。如图，在传统运维方式中，运维工程师难以快速准确地对海量告警做出正确判断，导致服务停滞，并造成不可逆的损失。在AIOps智能运维下，智能化的判断告警故障定位非常值得深入探索。
当前，我们正在通过自监督学习的方式来训练越来越强大的基础模型。这些大型预训练模型(LPM)充当高效的压缩器，压缩大量互联网数据。这种压缩使得我们可以通过自然语言描述方便地提取这些模型中编码的知识。尽管还处于起步阶段，但这种方法显示出超越传统搜索引擎的潜力，成为知识和信息获取的优质来源。与改进搜索引擎的查询类似，提供给LPM的提示(Prompt)也必须精心设计。然而，与传统搜索引擎相比，提示的复杂性、模型响应的不可预测性带来了独特的挑战。为了理解LPM如何对各种提示做出反应，一些研究检验了重写提示以提高特异性的可行性。然而，在无法访问用户个人数据和行为的情况下，定制提示以准确满足用户的需求仍然具有挑战性。
随着人工智能技术的飞速发展，自然语言处理（NLP）在各个领域都展现出强大的应用潜力。音乐与创意产业作为充满艺术性和创新性的领域，也开始积极探索和应用NLP技术。本文将深入探讨NLP在音乐创作、推广、版权保护等方面的应用，通过实例展示NLP如何为音乐产业注入更多创意和效益。
基于Pytorch的Bert应用，包括命名实体识别、情感分析、文本分类以及文本相似度等(后续更新其他方向相关模块)，并有相关数据与深度训练优化方式api。各个子项目大都为开源工作，本项目仅做相应处理以及提供一个已训练的预测接口，方便需求者进行快速的使用。
每天给你送来NLP技术干货！ ---- 作者 | 高超尘 来源 | 开放知识图谱 排版 | PaperWeekly 论文标题： ESimCSE: Enhanced Sample Building Method for Contrastive Learning of Unsupervised Sentence Embedding 论文链接： https://arxiv.org/pdf/2109.04380.pdf 代码链接： https://github.com/caskcsg/ESimCSE 动机 对
每天给你送来NLP技术干货！ ---- ©作者 | 高超尘 单位 | 中国科学院信息工程研究所 来源 | 开放知识图谱 来自 | PaperWeekly 论文标题： ESimCSE: Enhanced Sample Building Method for Contrastive Learning of Unsupervised Sentence Embedding 论文链接： https://arxiv.org/pdf/2109.04380.pdf 代码链接： https://github.com/ca
在推荐系统领域，自然语言处理（NLP）技术的崭新应用正迅速改变着用户体验和推荐精度。本文将深入研究NLP在推荐系统中的关键角色，探讨其对个性化推荐、搜索排序和用户交互的积极影响。我们将通过详细的示例和实践代码演示NLP在推荐系统中的实际应用，让你更好地理解这一领域的前沿发展。
谷歌提供了以下几个版本的BERT模型，每个模型的参数都做了简单的说明，中文的预训练模型在11月3日的时候提供了，这里我们只需要用到中文的版本
以上是我们一个个IT领域工程师都会有的困惑，单个人精力有限，有的人擅长工程实践，有的人擅长算法模型，所以得需要找到一个中间衔接点，这个点就是 "Elasticsearch”
在4/5章我们讨论过用skip-thought，quick-thought任务来进行通用文本向量提取，当时就有一个疑问为什么用Bookcorpus这种连续文本，通过预测前一个和后一个句子的方式得到的文本向量，能在下游任务里取得比较好的效果呢？这一章我们来聊聊都有哪些SOTA通用文本框架，或许直接使用它们的场景已经不多，但你依旧能在各个前沿方法中看到它们的影子。我们会主要聊聊以下内容
NLP的接口能力包含词法分析、句法分析、篇章分析、向量技术等各方面技术，共涵盖了16种基本原子能力。具体能力可以参考https://cloud.tencent.com/document/product/271/35484
之前笔者写过一篇文章关于如何做搜索，但那篇文章的角度是从文本相似度角度写的。那种方式是目前发展的趋势，但是真正的搜索特别是网页搜索不可能在大范围的文本之间两两算相似度的。那样搜索引擎的效率会变得特别低下。本文将从字符串模糊匹配的角度介绍一下搜索引擎。 一般的搜索，要分为两个步骤：搜索和排序。搜索的方法有很多，为了高效一般进行字符串或关键词匹配，而用户提供的一些关键词可能不是数据库中保存的，例如使用倒排的方法很难找到Head节点，此处需要使用模糊匹配的方式。这里简单列举一下Learning-to-Rank排序
Gensim是一个用于自然语言处理的Python库，它提供了一系列工具，用于从文本语料库中提取语义信息、进行文本处理和主题建模等任务。本教程将介绍如何使用Gensim库进行文本处理和主题建模，涵盖以下内容：
一．项目背景 小说书架的产品思路是：在手机QQ浏览器这个平台上，给用户提供一个小说书架这样的小说阅读入口。通过这个入口阅读到的小说，是后台将从其它网页中抽取到小说的目录，内容进行过滤，拼接，存储等加工的，用户可以免费看到纯净的完整小说。小说书架有几个重要的特点：免费，追新能力强，内容完整而且正确。 “内容完整和正确”反映的是小说内容的质量，而一本网络小说往往有成百上千个章节，一个一章节一个章节，一本书一本书的去人工核对每一章的完整性和正确性是很不现实而且效率低下的，因此我们考虑通过自动化的方式实现小说内容
在文本挖掘中，主题模型是比较特殊的一块，它的思想不同于我们常用的机器学习算法，因此这里我们需要专门来总结文本主题模型的算法。本文关注于潜在语义索引算法(LSI)的原理。
阅读《基于 Flink ML 搭建的智能运维算法服务及应用》一文后，对其中日志聚类算法有了些思考。
2021年10月，PaddleNLP聚合众多百度自然语言处理领域自研算法以及社区开源模型，并凭借飞桨核心框架的能力升级开放了开箱即用、极致优化的高性能一键预测功能，备受开发者喜爱。开源一年以来，团队精耕细作，不断发布适合产业界应用的模型、场景、预测加速与部署能力，在GitHub和Papers With Code等平台上持续得到开发者的关注。
从大家 iPhone 手机中 Siri 到淘宝京东咨询客服的时候出现的智能客服，从小朋友喜欢玩的儿童机器人，到智能家居中的各种语音控制，背后都是聊天机器人。
以下doc0-doc7是几个最简单的文档，我们可以称之为目标文档，本文就是分析doc_test（测试文档）与以上8个文档的相似度。
本文为雷锋字幕组编译的技术博客，原标题 Advances in Semantic Textual Similarity。
用户行为能够真实的反映每个用户的偏好和习惯，其中的显示反馈数据会比较稀疏，隐式的反馈数据蕴含了大量的信息。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
