Elasticsearch:自定义分词分词器 - 腾讯云开发者社区 - 腾讯云

开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

Elasticsearch分词：自定义分词器

简介虽然Elasticsearch带有一些现成的分析器，然而在分析器上Elasticsearch真正的强大之处在于，你可以通过在一个适合你的特定数据的设置之中组合字符过滤器、分词器、词汇单元过滤器来创建自定义的分析器...分词器把字符串分解成单个词条或者词汇单元。标准分析器里使用的标准分词器把一个字符串根据单词边界分解成单个词条，并且移除掉大部分的标点符号，然而还有其他不同行为的分词器存在。...例如，关键词分词器完整地输出接收到的同样的字符串，并不做任何分词。空格分词器只根据空格分割文本。正则分词器根据匹配正则表达式来分割文本。...how are you i am fine thank you"] } uppercase reverse length n-gram edge n-gram pattern replace trim 自定义分词器..."stopwords": [ "the", "a" ] } } 我们的分析器定义用我们之前已经设置好的自定义过滤器组合了已经定义好的分词器和过滤器： "analyzer": { "my_analyzer

8.7K2 1

ElasticSearch分词器

什么是分词器？分词器，是将用户输入的一段文本，分析成符合逻辑的一种工具。到目前为止呢，分词器没有办法做到完全的符合人们的要求。和我们有关的分词器有英文的和中文的。...英文的分词器过程：输入文本-关键词切分-去停用词-形态还原-转为小写。...中文的分词器分为：单字分词例：中国人分成中、国、人；二分法分词：例中国人：中国、国人；词典分词：有基本的语意来进行分词的，例：中国人分成中国，国人，中国人，现在用的是极易分词和庖丁分词。...Elasticsearch中的分词器ES中索引的建立和查询的时候，需要使用相同的分词器，才能查出正确的结果。...对于不分词的字段：只有查询的是目标字段的精确值，才能匹配。

5481 0

您找到你想要的搜索结果了吗？

是的

没有找到

Elasticsearch分词：Ansj分词器

目前实现了中文分词、中文姓名识别、用户自定义词典、关键字提取、自动摘要、关键字标记等功能。可以应用到自然语言处理等方面，适用于对分词效果要求高的各种项目。.../v6.7.0/elasticsearch-analysis-ansj-6.7.0.0-release.zip 安装之后，重启elasticsearch 切记： 1.安装分词插件的时候，一定要新建一个类似...elasticsearch-ansj-6.7.0-release的文件夹，再解压分词zip，否则一直报错。...2.根据README进行配置备注：相关配置信息可以参见elasticsearch-analysis-ansj的README.md 分词方式名称用户自定义词典数字识别人名识别机构名识别新词发现...DicAnalysis 用户自定义词典优先策略的分词用户自定义词典优先策略的分词，如果你的用户自定义词典足够好,或者你的需求对用户自定义词典的要求比较高，那么强烈建议你使用DicAnalysis的分词方式

4.2K1 1

elasticsearch分词器

elasticsearch分词器标准分词器 POST _analyze { "text": "java程序员", "analyzer": "standard" } { "tokens" :...start_offset" : 6, "end_offset" : 7, "type" : "", "position" : 3 } ] } ik分词器...start_offset" : 6, "end_offset" : 7, "type" : "CN_CHAR", "position" : 3 } ] } IK分词器扩展...扩展字典/扩展屏蔽字典 vim /opt/es/elasticsearch-7.6.1/plugins/elasticsearch-analysis-ik-7.6.1/config/IKAnalyzer.cfg.xml...-7.6.1/plugins/elasticsearch-analysis-ik-7.6.1/config/ext.dic 传智播客白嫖奥力给重启扩展分词器前 POST _analyze {

5371 0

Elasticsearch分词：内置分词器

"Set the shape to semi-transparent by calling set_trans(5)" 标准分词器（默认使用）分词结果： set, the, shape, to, semi...start_offset" : 3, "end_offset" : 6, "type" : "shingle", "position" : 3 } ] } 逗号分词器

2.5K7 1

Elasticsearch分词器

Elasticsearch 提供了很多内置的分词器，可以用来构建 custom analyzers（自定义分词器）。...为此需要安装中文的分词器。...IK分词器基本介绍使用 IK 分词器就好解决了这个无问题，GitHub文档：https://github.com/medcl/elasticsearch-analysis-ik K Analyzer是一个开源的...在2012版本中，IK实现了简单的分词歧义排除算法，标志着IK分词器从单纯的词典分词向模拟语义分词衍化。...-7.4.2.zip 重启容器 docker restart elasticsearch 测试使用 ik 分词器有两种常用的分词，分别是 ik_smart 和 ik_max_word ik_smart

9453 0

ElasticSearch中文分词器-IK分词器的使用

IK分词器的使用首先我们通过Postman发送GET请求查询分词效果 GET http://localhost:9200/_analyze { "text":"农业银行" } 得到如下结果，可以发现...es的默认分词器无法识别中文中农业、银行这样的词汇，而是简单的将每个字拆完分为一个词，这显然不符合我们的使用要求。.../releases 下载与es对应版本的中文分词器。...，我们需要做的就是使分词器识别到弗雷尔卓德也是一个词语。...-- words_location --> 再次查询发现es的分词器可以识别到弗雷尔卓德词汇

2.1K5 0

ElasticSearch系列-分词器

you） tokenizers 分词器英文分词可以根据空格将单词分开,中文分词比较复杂,可以采用机器学习算法来分词。...停用词过滤(the,a,is) Whitespace Analyzer - 按照空格切分，不转小写 Keyword Analyzer - 不分词，直接将输入当作输出内置分词器测试标准分词器特点:...} } } } 中文分词器在ES中支持中文分词器非常多如 smartCN、IK 等，推荐的就是 IK分词器。...安装IK 开源分词器 Ik 的github:https://github.com/medcl/elasticsearch-analysis-ik 注意 IK分词器的版本要你安装ES的版本一致注意 Docker...": "中华人民共和国国歌" } POST /_analyze { "analyzer": "ik_max_word", "text": "中华人民" } 扩展词、停用词配置 IK支持自定义扩展词典和停用词典

8733 0

Elasticsearch分词：拼音分词器

简介 Git地址：https://github.com/medcl/elasticsearch-analysis-pinyin Optional Parameters lowercase：lowercase

2.5K1 1

Elasticsearch IK 分词器

IK分词器介绍在elasticsearch 中查询数据，使用了默认的分词器，分词效果不太理想。...会把字段分成一个一个汉字，搜索时会把搜索到的句子进行分词，非常不智能，所以本次引入更为智能的IK分词器。...将IK分词器压缩文件解压到elasticsearch安装目录的plugins目录下命名ik目录 #解压analysis-ik文件 [root@elk-node1 plugins]# pwd /usr/...IK分词器测试以”我爱你中国“为例，默认的分词器会直接分为 "我" "爱" "你" "中" "国" 。默认分词器 ?...自定义IK分词字典以”我爱你中国“为例，自定义"爱你中国"组成一个分词。

5.2K3 0

Elasticsearch 常用分词器介绍与 ik 分词器自定义词库添加

但是，Elasticsearch 本身并不支持中文分词，但好在他支持编写和安装额外的分词管理插件，而开源的中文分词器 — ik 就非常强大，具有20万以上的常用词库，可以满足一般的常用分词功能。...本文，我们就来介绍如何安装 ik 分词库，如何为 ik 分词库添加自定义词库。 2. Elasticsearch 常用分词器 2.1. standard 处理英文能力强。...2.9. custom 可以自己定义分次其中 filter 列表的分词器。...https://github.com/medcl/elasticsearch-analysis-pinyin 3. ik 分词器的安装 3.1....配置自定义分词库上面的测试中，因为 ik 本身的词库中并没有 “小脑斧” 这个词，所以分成了 “小脑” 和 “斧” 两个词，如果我们想让 ik 分词器识别 “小脑斧” 我们就必须自己定义词库了。

3.1K3 0

ElasticSearch的IK分词器

@TOC摘要==使用注意和ES版本对应==本人先关其他文章链接1.ElasticSearch7.6.x 模板及滚动索引创建及注意事项https://blog.csdn.net/a924382407/article.../details/1150822652.ElasticSearch的IK分词器https://blog.csdn.net/a924382407/article/details/1172555063.ElasticSearch...核心概念：倒排索引https://blog.csdn.net/a924382407/article/details/1172554494.springboot集成ElasticSearch使用completion

3341 0

学好Elasticsearch系列-分词器

Elasticsearch提供了许多内置的分词器，如标准分词器（Standard Tokenizer）、简单分词器（Simple Tokenizer）、空白分词器（Whitespace Tokenizer...每种分词器都有其特定的应用场景，并且用户也可以自定义分词器以满足特殊需求。...自定义分词器：custom analyzer 在 Elasticsearch 中，你可以创建自定义分词器（Custom Analyzer）。...如果要在中文文本上获得更好的分词效果，我们可以考虑使用中文专用的分词器。 IK 分词器是一个开源的中文分词器插件，特别为 Elasticsearch 设计和优化。...ik自定义词库要使用 IK 分词器的自定义词库，需要对 IK 插件的配置文件进行修改。步骤如下：找到你 Elasticsearch 安装目录下的 plugins 文件夹，然后打开 ik 目录。

2.1K2 0

elasticsearch之analyzer(分词器)

一.什么是分词器(analyzer)在elasticsearch中analyzer是用于文本分析与处理的组件。analyzer由字符过滤器，分词器和标记过滤器组成。...按照特定的分词算法与顺序对文本进行处理。生成可供搜索与索引的词项。存储于elasticsearch的倒排索引中。在elasticsearch中，分词器均是以插件的形式进行安装。...二.分词器的安装1.准备插件包首先在相应分词插件的git或官网，下载插件包，一般为zip形式。2.插件安装将zip包上传至elasticsearch集群所在的节点。然后使用以下命令进行安装。...bin/elasticsearch-plugin install file:///path/to/my-plugin.zip三.分词器的使用1.验证分词器的分词效果以IK分词为例，IK分词插件作为elasticsearch...在我们指定分词器之后，该字段的数据在写入时，就会使用配置的分词器进行分词。需要注意的是，我们的分词器在使用之前一定要在集群中安装完成。

2.3K9 5

学好Elasticsearch系列-分词器

Elasticsearch提供了许多内置的分词器，如标准分词器（Standard Tokenizer）、简单分词器（Simple Tokenizer）、空白分词器（Whitespace Tokenizer...每种分词器都有其特定的应用场景，并且用户也可以自定义分词器以满足特殊需求。...自定义分词器：custom analyzer 在 Elasticsearch 中，你可以创建自定义分词器（Custom Analyzer）。...如果要在中文文本上获得更好的分词效果，我们可以考虑使用中文专用的分词器。 IK 分词器是一个开源的中文分词器插件，特别为 Elasticsearch 设计和优化。...ik自定义词库要使用 IK 分词器的自定义词库，需要对 IK 插件的配置文件进行修改。步骤如下：找到你 Elasticsearch 安装目录下的 plugins 文件夹，然后打开 ik 目录。

1.9K2 0

Elasticsearch（ES）分词器（Analyzer）

拆分为 ["Hello", "World"]；将 “我爱 elasticsearch” 拆分为 ["我", "爱", "elasticsearch"]（需中文分词器支持）。...ES 内置了多种分词器，适用于不同场景，也支持自定义分词器： 1....中文分词器（需额外安装）由于中文没有空格分隔，且词语边界模糊（如 “南京市长江大桥” 可拆分为 “南京市 / 长江大桥” 或 “南京 / 市长 / 江大桥”），内置分词器无法满足需求，需使用专门的中文分词器...： IK Analyzer：最常用的中文分词器之一，支持 “智能分词”（粗粒度）和 “最大词长分词”（细粒度），可自定义词典（添加行业术语）。...Jieba Analyzer：移植自 Python 的 Jieba 分词，支持自定义词典和并行分词，适合处理大量中文文本。这里通过分词的介绍，就是为了让大家更好地理解ES实现快速搜索的底层技术原理。

2.3K1 0

Elasticsearch集成HanLP分词器

1、通过git下载分词器代码。...注意：通过git下载的源代码，除非与git配置的版本相同，否则可能会导致你elasticearch无法加载分词器。修改git下载的源代码包中的elasticsearch版本。...图11.png 11、修改elasticsearch配置，在系统的elasticsearch的安装目录下，找到bin目录，通过vi elasticearch.in.sh打开文件进行编辑。...analyzer,指定分词器为："hanlp" GET /_analyze { "analyzer" : "hanlp", "text": ["记录就是用来打破的。...} 图14.png 图15.png 如果不指定分词器的话。所以返回结果，type没有说明词性，都是按单字返回结果。 GET /_analyze { "text": ["记录就是用来打破的。

1.2K0 0

ElasticSearch安装中文分词器IK

1、安装IK分词器，下载对应版本的插件，elasticsearch-analysis-ik中文分词器的开发者一直进行维护的，对应着elasticsearch的版本，所以选择好自己的版本即可。...IKAnalyzer中文分词器原作者已经不进行维护了，但是Lucece在不断更新，所以使用Lucece和IKAnalyzer中文分词器集成，需要你进行修改IKAnalyzer中文分词器。...将下载好的中文分词器上传到你的服务器，或者使用wget命令联网下载，萝卜白菜各有所爱吧。我的IK中文分词器版本对应了ElasticSearch的版本。...如我的elasticsearch-analysis-ik里面存的就是IK中文分词器解压缩后的文件。...切记，三个节点的plugins目录都要放IK中文分词器。注意：text是分词，存储，建索引。analyzer指定创建索引的时候使用的分词器是IK中文分词器。

2.3K1 0

【elasticsearch】docker下elasticsearch 安装ik分词器

第一种方法： 1）、安装ik分词器注意：不能用默认elasticsearch-plugin install xxx.zip 进行自动安装 https://github.com/medcl/elasticsearch-analysis-ik...下载解压压缩包分词器放入plugins目录中在bin目录中校验是否安装成功 wget https://github.com/medcl/elasticsearch-analysis-ik/releases.../share/elasticsearch/plugins/ik 可以确认是否安装好了分词器 cd /usr/share/elasticsearch/bin elasticsearch-plugin list...即可列出系统的分词器然后重启elasticsearch docker restart elasticsearch 如果wget的时候慢可以下载下来复制到容器中然后再解压 docker cp xxx.txt...，分词有明显的区别，所以以后定义一个type不能再使用默认的mapping了，要手工建立mapping, 因为要选择分词器。

4K2 0

【Elasticsearch系列十八】Ik 分词器

1.中文分词器standard 分词器，仅适用于英文。.../_analyze{ "analyzer": "standard", "text": "中华人民共和国人民大会堂"}我们想要的效果是什么：中华人民共和国，人民大会堂,英文却拆成一个一个的词IK 分词器就是目前最流行的...Elasticsearch 中文分词器2....-7.12.0/plugins/ik#解压unzip elasticsearch-analysis-ik-7.12.0.zip#重启es3.ik 分词器的使用两个重要的属性:ik_max_word:...stopword.dic：包含了英文的停用词停用词，stopword:例如: a the and at but一般，像停用词，会在分词的时候，直接被干掉，不会建立在倒排索引中5.自定义词库自己建立词库：

1.4K1 0

点击加载更多

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭