coursera课程 text retrieval and search engine 第四周 推荐。
因为需要对搜索结果进行一个统一化的评分，因此需要仔细研究 ES 本身的评分规则从而想办法把评分统一。
1.金融文本挖掘背景介绍 文本挖掘作为数据挖掘的一个分支，挖掘对象通常是非结构化的文本数据，常见的文本挖掘对象包括网页中的论坛、微博、新闻等。文本挖掘是目前金融量化研究的一个非常热门的领域，其主要原因有以下三点： 关注对冲量化与金融工程行业的读者，如果想加入“对冲量化与金融工程”专业讨论群，请即回复后台“金融工程”，我们审核通过后将尽快将您安排加入到相应的微群讨论组中。 一是对传统数值型数据的研究已经相对成熟了，而对文本数据的研究处于起步状态，在全新的数据源寻找超额收益相对容易。 二是网络文本数
贝叶斯方法把计算“具有某特征的条件下属于某类”的概率转换成需要计算“属于某类的条件下具有某特征”的概率，属于有监督学习。
在本篇教程中，我们会先提出要解决的问题，然后再利用名为朴素贝叶斯分类器（NaiveBayes Classifier）的机器学习技术解决相应的问题，非常简单。本篇教程需要读者具备编程和数据方面的相关经验
传统数据库是为了解决结构化存储而产生的，如关系型数据库、键值存储、操作磁盘文件的map-reduce（映射-规约）引擎，图引擎等。 传统型数据库的缺点：
关于主题模型这一块是比较特殊的,这期间也给我带来了一些困惑,因为其中的一些算法和我们在机器学习中使用的算法还是很不同的,在这篇文章里,我想简单介绍下LSI(潜在语义牵引)
练习17.1-3要求我们使用聚合分析来确定一个特定操作序列中每个操作的摊还代价。在这个操作序列中，有n个操作，其中当操作的序号i是2的幂时（即i = 1, 2, 4, 8, ...），该操作的代价为i；否则，代价为1。
不知道大家参加了上周日的LeetCode周赛没有，发生了一件活久见的事，LeetCode官网居然挂了，不仅是中国区挂了，而是全站都挂了，国际服的竞赛也进不去了……过了好久才恢复。
elasticsearch 提供了几个内置的分词器：standard analyzer(标准分词器)、simple analyzer(简单分词器)、whitespace analyzer（空格分词器）、language analyzer（语言分词器）
本文介绍机器翻译领域针对质量自动评测的方法-BLEU，让你理解为什么BLEU能够作为翻译质量评估的一种指标，它的原理是什么，怎么使用的，它能解决什么问题，它不能解决什么问题。 什么是BLEU？ BLEU (Bilingual Evaluation Understudy) is an algorithm for evaluating the quality of text which has been machine-translated from one natural language to anothe
今天要学习的，第一部分是排序相关的功能，第二部分则是跟排序密切相关的另一块功能，评分算法。又是算法了，也就是说，又是一大块的理论知识了。今天的文章不长，因为我们的功能测试非常少，但却很重要，因为我们要讲到的理论算法是现在最主流的，也是各种搜索引擎的都在使用的核心算法。如果真的踫到懂行的，确实是用过搜索引擎的面试官，这一块内容绝对是必问内容之一，这么说是不是就很兴奋啦？
多种贝叶斯模型构建及文本分类的实现 当前数据挖掘技术使用最为广泛的莫过于文本挖掘领域，包括领域本体构建、短文本实体抽取以及代码的语义级构件方法研究。常用的数据挖掘功能包括分类、聚类、预测和关联四大模型。本文针对四大模型之一的分类进行讨论。分类算法包括回归、决策树、支持向量机、贝叶斯等，显然，不少涉及机器学习的知识。本文重点介绍贝叶斯分类，涉及朴素贝叶斯模型、二项独立模型、多项模型、混合模型等知识。本文针对几种模型，采用算法概述、算法公式解析、公式推理、优缺点比较等进行总结。 0 引言 ---- 于半月
今天我们来读一篇来自国信证券研究文章 RNN简介 RNN 不同于传统神经网络的感知机的最大特征就是跟时间挂上钩，即包含了一个循环的网络，就是下一时间的结果不仅受下一时间的输入的影响，也受上一时间输出的影响，进一步地说就是信息具有持久的影响力。放在实际中也很容易理解，人们在看到新的信息的时候产生的看法或者判断，不仅仅是对当前信息的反应，先前的经验、思想的也是参与进去这次信息的推断的。人类的大脑 不是一张白纸，是包含许多先验信息的，即思想的存在性、持久性是显然的。举个例子，你要对某电影中各个时点发生的事件类
简单来说，向量空间模型就是希望把查询关键字和文档都表达成向量，然后利用向量之间的运算来进一步表达向量间的关系。比如，一个比较常用的运算就是计算查询关键字所对应的向量和文档所对应的向量之间的 “相关度”
NaiveBayesSpamFilter 利用朴素贝叶斯算法实现垃圾邮件的过滤，并结合Adaboost改进该算法。 1 Naive Bayes spam filtering 假设邮件的内容中包含的词汇为Wi，垃圾邮件Spam，正常邮件ham。 判断一份邮件，内容包含的词汇为Wi，判断该邮件是否是垃圾邮件，即计算P（S|Wi）这个条件概率。根据Bayes’ theorem： Bayes’ theorem 其中： Pr(S|Wi) 出现词汇Wi的邮件是垃圾邮件的条件概率（即后验概率）； Pr(S)
贝叶斯算法是基于统计学的一种概率分类方法，而朴素贝叶斯是其中最简单的一种；朴素贝叶斯属于监督学习的算法之一，一般用来解决分类问题，我们之所以称之为"朴素"，是因为整个形势化过程只做最原始、最简单的假设，即假设数据集所有的样本之间都是独立存在，互不影响的。
本文介绍了朴素贝叶斯算法在机器学习领域的一些应用，包括文档分类、垃圾邮件过滤、情感分析等。同时，文章还介绍了如何使用高斯朴素贝叶斯、多项式朴素贝叶斯和伯努利朴素贝叶斯进行分类。
Elasticsearch 提供了一个最重要的功能就是相关性。它可以帮我们按照我们搜索的条件进行相关性计算。每个文档有一个叫做 _score 的分数。在默认没有 sort 的情况下，返回的文档时按照分数的大小从大到小进行排列的。
本文转载自 https://www.cnblogs.com/zlslch/p/6440114.html
有很多东西之前在学的时候没怎么注意，笔者也是在重温HashMap的时候发现有很多可以去细究的问题，最终是会回归于数学的，如HashMap的加载因子为什么是0.75？
来源：blog.csdn.net/NYfor2017/article/details/105454097
在搜索引擎中每个文件都对应一个文件ID，文件内容被表示为一系列关键词的集合（实际上在搜索引擎索引库中，关键词也已经转换为关键词ID）。例如“文档1”经过分词，提取了20个关键词，每个关键词都会记录它在文档中的出现次数和出现位置。
笔者曾获得 ICPC 2020 世界总决赛资格，ICPC 2020 亚洲区域总决赛第五名。
一、历史背景解读 18世纪英国业余(一点都不业余好吗)数学家托马斯·贝叶斯(Thomas Bayes，1702～1761)提出过一种看似显而易见的观点：“用客观的新信息更新我们最初关于某个事物的信念后，我们就会得到一个新的、改进了的信念。”这个研究成果由于简单显得平淡无奇，直至他死后两年才于1763年由他的朋友理查德·普莱斯帮助发表。 他的数学原理很容易理解，简单说就是，如果你看到一个人总是做一些好事，则会推断那个人多半会是一个好人。这就是说，当你不能准确知悉一个事物的本质时，你可以依靠与事物特定本质相关的
01 — TF-IDF主要做什么？ 文本分类中大都用到TF-IDF技术，比如扔给我们1篇新浪网推送的消息，让机器判断下属于新闻类，还是财经类，还是体育类，还是娱乐类；再比如，今日头条推送的1篇消息，如何提取出里面的关键词汇，以此推荐给符合我们胃口的文章。 02 — TF-IDF主要思想 TF-IDF的主要思想是：如果某个词或短语在一篇文章中出现的频率 TF 高，并且在其他文章中很少出现（IDF值大），则认为此词或者短语具有很好的类别区分能力，适合用来分类。 03 — TF-IDF全称叫什么？ TF-IDF
上中学的时候写作文，最喜欢的季节我都是写冬天。虽然是因为写冬天的人比较少，那时确实也是对其他季节没有什么特殊的偏好，反而一到冬天，自己皮肤会变得特别白。但是冬天啊，看到的只有四季常青盆栽：瓜栗(就是发财树，好吧，算我矫情，反正我不喜欢这个名字)，绿萝，永远看不到它开花的巴西铁，富贵竹，散尾葵……过年的时候家里的杜鹃就开花了，零星的几朵小花儿更突显了这个季节的凄凉。红掌，蝴蝶兰总是美美的在那里，开不败却看不到生机。插到水里的勿忘我，洋桔梗，看到他们也只会联想到过几天他们会枯萎的命运。春天来了，先是迎春花，
在控制了市场溢价、规模因素、盈利能力等因素后，无论lead股票和follower股票之间的业务关系如何，他们之间的收益都具有较强的共振效应。新闻共现图的月度degree是一个很好的预测股票横截面收益的指标。一个月的再平衡投资组合测试表明，degree提供了显著的正Alpha（相对Fama-French三因子和五因子模型）。
机器学习的评价指标有精度、精确率、召回率、P-R曲线、F1 值、TPR、FPR、ROC、AUC等指标，还有在生物领域常用的敏感性、特异性等指标。
BM25算法是一种常见用来做相关度打分的公式，思路比较简单，主要就是计算一个query里面所有词和文档的相关度，然后在把分数做累加操作,而每个词的相关度分数主要还是受到tf/idf的影响。
今天看了一下网上关于TF-IDF的文章，但是相关文章的知识点比较分散，所以作者对这些分散的知识进行了梳理整合，希望本文能够让你很快了解TF-IDF到底是什么，为什么会存在，以及其优缺点？
贝叶斯统计在机器学习中占有一个什么样的地位，它的原理以及实现过程又是如何的？本文对相关概念以及原理进行了介绍。 引言：在很多分析学者看来，贝叶斯统计仍然是难以理解的。受机器学习这股热潮的影响，我们中很多人都对统计学失去了信心。我们的关注焦点已经缩小到只探索机器学习了，难道不是吗？ 机器学习难道真的是解决真实问题的唯一方法？在很多情况下，它并不能帮助我们解决问题，即便在这些问题中存在着大量数据。从最起码来说，你应该要懂得一定的统计学知识。这将让你能够着手复杂的数据分析问题，不管数据的大小。 在18世界70年代
上节课我们主要开始介绍Aggregation Models，目的是将不同的hypothesis得到的gtg_t集合起来，利用集体智慧得到更好的预测模型G。首先我们介绍了Blending，blendi
搜索结果排序时搜索引擎最核心的部分，很大程度度上决定了搜索引擎的质量好坏及用户满意度。实际搜索结果排序的因子有很多，但最主要的两个因素是用户查询和网页内容的相关度，以及网页链接情况。这里我们主要总结网页内容和用户查询相关的内容。
从格罗滕迪克那里，我学习到不要以证明过程的难度为荣：困难意味着我们尚未理解。也就是说我们要能绘制出让证明过程显而易见的图景。 ——著名数学家 Pierre Deligne
这里写图片描述 如果一个词越常见，那么分母就越大，逆文档频率就越小越接近0。分母之所以要加1，是为了避免分母为0（即所有文档都不包含该词）。log表示对得到的值取对数。
贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类。本章首先介绍贝叶斯分类算法的基础——贝叶斯定理。最后，我们通过实例来讨论贝叶斯分类的中最简单的一种: 朴素贝叶斯分类。
当我们需要了解某一方面的文献时，我们如何筛选有价值的文献呢？传统的评价指标影响因子（Impact Factor，IF）主要反映学术关注度，更是有少许的滞后。
A.深度学习基础入门篇二：机器学习常用评估指标:AUC、mAP、IS、FID、Perplexity、BLEU、ROUGE等详解
作者简介 孙咸伟，后端开发一枚，在携程技术中心市场营销研发部负责“携程运动”项目的开发和维护。 携程运动是携程旗下新业务，主要给用户提供羽毛球、游泳等运动项目的场馆预定。最近我们在做场馆搜索的功能时，接触到elasticsearch（简称es）搜索引擎。 我们展示给用户的运动场馆，在匹配到用户关键词的情况下，还会综合考虑多种因素，比如价格，库存，评分，销量，经纬度等。 如果单纯按场馆距离、价格排序时，排序过于绝对，比如有时会想让库存数量多的场馆排名靠前，有时会想让评分过低的排名靠后。有时在有多家价格相同的
首先是最简单粗暴的算法。为了对比两个东西的相似度，我们很容易就想到可以看他们之间有多少相似的内容，又有多少不同的内容，再进一步可以想到集合的交并集概念。
总第239篇 2018年 第31篇 背景 美团点评酒旅运营需求在离线场景下，已经得到了较为系统化的支持，通过对离线数据收集、挖掘，可对目标用户进行T+1触达，通过向目标用户发送Push等多种方式，在一定程度上提高转化率。但T+1本身的延迟性会导致用户在产生特定行为时不能被实时触达，无法充分发挥数据的价值，取得更优的运营效果。 在此背景下，运营业务需要着手挖掘用户行为实时数据，如实时浏览、下单、退款、搜索等，对满足运营需求用户进行实时触达，最大化运营活动效果。 业务场景 在运营实时触达需求中，存在如下具有
美团点评酒旅运营需求在离线场景下，已经得到了较为系统化的支持，通过对离线数据收集、挖掘，可对目标用户进行T+1触达，通过向目标用户发送Push等多种方式，在一定程度上提高转化率。但T+1本身的延迟性会导致用户在产生特定行为时不能被实时触达，无法充分发挥数据的价值，取得更优的运营效果。
车厘子是樱桃吗？它们有区别是什么呢？通过在水果市场采集，获得了一些关于车厘子和樱桃的相关特征数据。
窗口扩大选项使T C P的窗口定义从16 bit增加为32 bit。这并不是通过修改T C P首部来实现的， T C P首部仍然使用 16 bit ，而是通过定义一个选项实现对 16 bit 的扩大操作 ( s c a l i n g o p e r a t i o n )来完成的。于是T C P在内部将实际的窗口大小维持为 32 bit的值。
超市业已成为商业领域最具活力的商业业态，竞争也变得日益激烈。数据挖掘技术越来越多地服务于超市营销战略，本文在数据挖掘的基础上，深入分析了关联规则算法，研究算法的基本思想、算法的性质，并对算法进行详细的性能分析，比较了Apriori算法和改进Apriori算法。最后，采用R软件对超市数据进行挖掘，为超市营销提供策略。
超市业已成为商业领域最具活力的商业业态，竞争也变得日益激烈。数据挖掘技术越来越多地服务于超市营销战略，本文在数据挖掘的基础上，深入分析了关联规则算法，研究算法的基本思想、算法的性质，并对算法进行详细的性能分析，比较了Apriori算法和改进Apriori算法。最后，采用R软件对超市数据进行挖掘，为超市营销提供策略（点击文末“阅读原文”获取完整代码数据）。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
