景 最近要做个高亮的搜索需求，以前也搞过，所以没啥难度，只不过原来用的是Lucene，现在要换成Solr而已，在Lucene4.x的时候，散仙在以前的文章中也分析过如何在搜索的时候实现高亮，主要有三种方式，具体内容，请参考散仙以前的2篇文章： 第一：在Lucene4.3中实现高亮的方式 http://qindongliang.iteye.com/blog/1953409 第二：在Solr4.3中服务端高亮的方式 http://qindongliang.iteye.com/blog/20342
Elasticsearch是一个基于Lucene的搜索服务器,它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。
wordcloud是Python扩展库中一种将词语用图片表达出来的一种形式，通过词云生成的图片，我们可以更加直观的看出某篇文章的故事梗概。
Elasticsearch性能优化的最终目的：用户体验爽。 关于爽的定义——著名产品人梁宁曾经说过“人在满足时候的状态叫做愉悦，人不被满足就会难受，就会开始寻求。如果这个人在寻求中，能立刻得到即时满足，这种感觉就是爽！”。
在做独立博客的时候，特别是对于程序员来说，代码高亮是很重要的一个组件。我也接触过几款不同的代码高亮引擎。衡量一个高亮引擎的好坏有很多不同的方面：分词、性能、稳定性、主题丰富性。本文将专注分词的表现，对几款流行的高亮引擎以及 IDE 做一个横向对比。
Elasticsearch 是一个快速、稳定的分布式搜索引擎，能够在大规模数据集上实现高效的全文搜索、分析和可视化。在使用 Elasticsearch 进行搜索时，索引的设计非常关键，它可以对搜索性能和数据质量产生重要影响。
ES索引最常用的设置就是分片数量和副本的数量了，还有一个refresh的时间，关于refresh是怎样的操作，可以参考Elasticsearch倒排索引与文档添加原理
● 在生产上，我们需要自己手动建立索引和映射，是为了更好的管理索引，就像数据库的建表数据一样。
使用方法： 第一步：把jar包添加到工程中 第二步：把配置文件和扩展词典和停用词词典添加到classpath下
"char_filter": { "&_to_and": { "type": "mapping", "mappings": [ "&=> and "] } }
优点： 1.Elasticsearch是分布式的。不需要其他组件，分发是实时的，被叫做”Push replication”。 2.Elasticsearch 完全支持 Apache Lucene 的接近实时的搜索。 3.处理多租户（multitenancy）不需要特殊配置，而Solr则需要更多的高级设置。 4.Elasticsearch 采用 Gateway 的概念，使得完备份更加简单。 5.各节点组成对等的网络结构，某些节点出现故障时会自动分配其他节点代替其进行工作。 缺点：
Lucene是apache下的一个子项目，是一个开放源代码的全文检索引擎工具包，但它不是一个完整的全文检索引擎，而是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎，部分文本分析引擎。官网地址：https://lucene.apache.org/
描述：health是一个简洁的，一行表示了来自/_cluster/health的相同的信息。
前面我们聊了 Elasticsearch 的索引、搜索和分词器，今天再来聊另一个基础内容—— Mapping。
这篇讲解Elasticsearch中非常重要的一个概念Mapping，Mapping是索引必不可少的组成部分。
github地址：https://github.com/qindongliang/hive-solr 欢迎大家fork和使用 关于这个项目的介绍，请参考散仙前面的文章： http://qindongliang.iteye.com/blog/2283862 最新更新： （1）添加了对solrcloud集群的支持 （2）修复了在反序列时对于hive中null列和空值的处理bug （3）优化了在构建索引时对于null值和空值的忽略 一些测试： 数据量：约一千二百万，8个字段，其中一个是大
比如：ES集群架构13个节点，索引根据业务不同共20+索引，根据日期，每日递增20+，索引：10分片，每日递增1亿+数据， 每个业务每天索引大小控制：500GB之内。
本篇讲解Elasticsearch中非常重要的一个概念：Mapping，Mapping是索引必不可少的组成部分。
Elasticsearch中有几个关键属性容易混淆，很多人搞不清楚_source字段里存储的是什么？store属性的true或false和_source字段有什么关系？store属性设置为true和_all有什么关系？index属性又起到什么作用？什么时候设置store属性为true？什么时候应该开启_all字段？本文通过图解的方式，深入理解Elasticsearch中的_source、_all、store和index属性。
哈喽大家好，之前由于公司备战618，导致鸽了一段时间，不好意思哈，以后会持续输出技术文档，可以和大家一起进步。接下来会分享下JVM、redis的设计与实现、分布式缓存的设计、mysql中innoDB的原理以及重点的来了-如何设计、开发、调优一个jd618 qps70W+的接口（本人实操，绝对干货）。好了，不多说，把未完成的继续。开始我们系列八的讲解。
在 Es 的默认设置，是综合考虑数据可靠性，搜索实时性，写入速度等因素的，当你离开默认设置，追求极致的写入速度时，很多是以牺牲可靠性和搜索实时性为代价的。有时候，业务上对两者要求并不高，反而对写入速度要求很高。
ElasticSearch 的 mapping 该如何设计，才能保证检索的高效？想要回答这个问题，就需要全面系统地掌握 mapping 各种参数的含义以及其适用的场景。（ps：本文基于ElasticSearch 7.7.1）
给定一个段落 (paragraph) 和一个禁用单词列表 (banned)。返回出现次数最多，同时不在禁用列表中的单词。
最近知识星球里几个问题都问到了 doc values、store field、fielddata 等的概念。
indexSort能通过预排序有效避免全局扫描，提前中断查询，提升查询性能，对于查询时按照某列排序（注意不适合相关性排序）的场景非常适合。
全局认知非常重要，检索核心类型大致（非严谨、精确）分为：精准匹配检索（Term-level queries）和基于分词的全文匹配检索（Full text queries）。
https://juejin.cn/post/6959744054905012231
由于LLM需要处理大量的参数来进行预测，这可能从70亿参数增加到3210亿，部署这样的模型可能需要大量的资源和优化，而不是使用传统的方法来部署机器学习模型。
参考Es 集群搭建及相关配置和相关参数解读,分别下载Es和kibana 8.2.3版本,部署到相应的服务器,删除es原有的data目录.配置elasticsearch.yml,节点配置如下:
面试官：想了解应聘者之前公司接触的ES使用场景、规模，有没有做过比较大规模的索引设计、规划、调优。 解答： 如实结合自己的实践场景回答即可。 比如：ES集群架构13个节点，索引根据通道不同共20+索引，根据日期，每日递增20+，索引：10分片，每日递增1亿+数据， 每个通道每天索引大小控制：150GB之内。
因为需要对搜索结果进行一个统一化的评分，因此需要仔细研究 ES 本身的评分规则从而想办法把评分统一。
最近，由于工作需要，需要对爬虫爬下来的网页数据进行相似度去重。 那么问题来了，为什么要去重？ 爬虫采集的数据可能来自各个网站，比如一个热门新闻，可能网易，搜狐，新浪，都有转载报道，如果不做任何措施，那么存储到库里就是3条数据，当然这仅仅是一个例子，假如，你有几TB或PB的数据，如果还这样，那么你的库可能有30%都是大量的重复数据，这些重复数据，一般不会给你带来任何价值，而且会占用大量的存储空间，查询和计算性能。所以这些然并卵的数据，还是需要考虑一下去重删减的步骤。 其实去重是一件说复杂也非常
本文描述问题及解决方法适用于 腾讯云 Elasticsearch Service（ES）。
1、Elasticsearch的常见术语。注意：Elasticsearch6.x版本以后概念发生了变化。
在 Elasticsearch 中，模糊搜索是一种近似匹配的搜索方式。它允许找到与搜索词项相似但不完全相等的文档。
看到网上各式各样关于Elasticsearch面试题的文章，但是貌似都不是很全面，所以特意整理了一篇关于常见的ES面试题，已收录至面试专栏，计划更新 10/50 个常见面试题，此次先发出来 10个，后续更新，请关注我的博客，第一时间查看更新。
本打算直接来学习Solr, 现在先把Lucene的只是捋一遍. 本文内容: 1、 搜索引擎的发展史 2、 Lucene入门 3、 Lucene的API详解 4、 索引调优 5、 Lucene搜索结果排名规则 1 搜索引擎的发展史 1.1 搜索引擎的发展史 萌芽：Archie、Gopher 起步：Robot（网络机器人）和spider（网络爬虫） 1、 Robot：网络机器人，自动在网络中运行，完成特定任务的程序，如刷票器、抢票软件等。 2、 spider：网络爬虫，是一中特殊的机器人，抓取（下载）并分析网
涉及到的类型很多,具体查阅文档 常用的有long，integer，short，double，float
官方网站：https://www.elastic.co/guide/index.html
设计一套针对熟悉ChatGLM、Llama2、Qwen等大型语言模型及其微调技术（如Prompt Engineering、P-Tuning v2、LoRA）的面试题目，旨在评估应聘者对这些模型架构的理解、微调方法的掌握程度以及在实际应用中的问题解决能力。以下是一套综合性的面试题设计方案：
意思是，在ES中原始的文本会存储在_source里面（除非你关闭了它）。默认情况下其他提取出来的字段都不是独立存储的，是从_source里面提取出来的。当然你也可以独立的存储某个字段，只要设置store:true即可。
NLP（Natural Language Processing），自然语言处理，是一门融合了计算机科学、人工智能以及语言学的交叉学科。 自然语言和编程语言对比 自然语言比编程语言的词汇量丰富 自然语言是非机构化的；编程语言是结构化的。结构化指的是信息具有明确的结构关系，比如编程语言中具有类和成员、数据库中的表和字段等，都可以通过明确的机制来进行读写。 自然语言存在大量的歧义，这些歧义根据语境的不同变现为特定的义项。 自然语言容错性高，编程语言中程序员必须保证拼写、语法绝对规范。 编程语言的变化缓慢温和
注：这里相当于select * from 表名 where 1=1,match_all相当于匹配所有.
在最近的一项实验中，研究者对 16 个语言模型使用不同的语料进行了预训练和微调。这次实验使用了 NanoGPT， 一种小规模的架构（基于 GPT-2 SMALL），训练了 12 个模型，NanoGPT 网络架构的配置为：12 个注意力头、12 层 transformer， 词嵌入维度为 768，进行大约 400,000 次迭代（大约 10 个 epoch）。然后在 GPT-2 MEDIUM 上训练了 4 个模型，GPT-2 MEDIUM 架构的设置为 16 个注意力头、24 层 transformer， 词嵌入维度为 1024，并进行 600,000 次迭代。所有模型均使用 NanoGPT 和 OpenWebText 数据集进行预训练。微调方面，研究者使用了 baize-chatbot 提供 的指令数据集，分别在两类模型里补充了额外的 20,000 和 500,000 个「字典」条目。
分片数设置过大,7.0开始,默认主分片设置成1,解决了over-sharding的问题
点击链接之后并没有什么有用的信息，不过上面的提示信息显示可以通过邮件获取具体的问题。这个貌似还有点用：
内置分析器可以直接使用，不需任何配置。然而，其中一些分析器支持可选配置来改变其行为。例如，标准分析器可以配置为支持停止词列表：
倒排索引倒排索引建立流程倒排索引具体组成分词Analysis（文本分析）Analyzer（分词器）分词测试mapping字段数据类型核心类型字符串类型数字类型日期类型二进制类型范围类型复杂类型对象类型嵌套类型地理类型经纬度类型地理区域类型特殊类型字段的公共属性：字符串类型常用的其他属性dynamic动态映射静态映射精确映射查询matchtermmatch_phrase
这个暑假把ITCAST的2011年2月的.NET就业班的视频看了一遍，因为以前把免费的2010版和2011版的视频都看了一遍，所以这次选择了其中的几个部分作为重点学习对象。一个就是呼叫中心项目（前面已经做了总结），一个是.NET高级特性讲解（委托、事件、GC、CLR等等），另一个是图书商城项目（主要是基于WebForm的，拖着快速过了一遍，技术点都已在以前学校的项目中练过），还有这个如鹏网CMS系统（重点在于大访问量的互联网网站开发技术上），最后是ASP.NET MVC开发方式。高级特性部分掌握的不是很熟练，还需要通过《你必须知道的.NET》来巩固一下，重点在于深入.NET Framework。而对于ASP.NET MVC，重点在于了解MVC模型的原理、与WebForm的差别，后续会选择一个基于MVC的项目来巩固实践。这次对CMS系统开发学习做一个小小总结，以便梳理一下这段时间以来的学习（白天忙，晚上学习，很累很值得）。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
云直播
