搜索引擎我们接触比较多的人工智能技术，大家更为熟悉的elasticsearch就是一种企业级全文检索引擎，如果用es去实现企业内部知识库的检索大概需要5个步奏去实现。
在互联网上的各类网站中，无论大小，基本上都会有一个搜索框，用来给用户对内容进行搜索，小到站点搜索，大到搜索引擎搜索。
1. 索引 ---- 1. 索引的原理是什么？ 对列值创建排序存储，数据结构={列值、行地址}。在有序数据列表中就可以利用二分查找（或者其他方式）快速找到要查找的行的地址，再根据地址直接取行数据。 2. 为什么称为倒排索引？ 英文原名为 Inverted index，失败地被翻译成了倒排索引。 应该翻译为：反向索引。 3. 反向索引的记录数会不会很大？ 英文单词的大致数量是10万个。 汉字的总数已经超过了8万，而常用的只有3500字。 《现代汉语规范词典》比《现代汉语词典》收录的字和词数量更多。前者是130
晚上，我被叫进宽大的办公室，总监正在煮茶。高压锅煮着长嘴茶壶，水蒸气缭绕。领导举手之间，淡黄茶水奔涌而出，倒立而下浇上茶叶，漏出两杯茶水。
最近在检索文献时，忽然发现了和检索文献高度相关的专利，又想到以前听老师说有人申请了什么什么专利，想了解详细信息却苦苦无门；或者看文献时，提到所用药物已申请中国专利，不知道怎么搜索全文；或者知道国外专利号，却不知道如何下载。现在，我将分享自己下载专利pdf全文的几个常用网站，希望有所帮助。
Elasticsearch是一个流行的全文搜索引擎，能够高效地处理大量的复杂查询。在处理中文文本数据时，需要将文本进行分词处理，并对分词结果进行索引和搜索。ES提供了多种中文分词器，能够适应不同场景和需求。本文将详细介绍ES中的中文分词技术。
检索增强生成简称RAG（Retrieval-augmented Generation），RAG为大语言模型安装了知识外挂，基础大语言模型不用训练，通过RAG技术与大语言模型结合在回答问题的时候，可以通过企业内部的知识库检索相关和最新的信息来生成内容，从而提高了回答问题的准确性、实时性和关联性。
一个小巧的库，可以避免自己重新开发功能。利用 Python 包 pangu，可以轻松实现在 CJK（中文、日文、韩文）和半宽字符（字母、数字和符号）之间自动插入空格。
言归正传，今天介绍一个非常方便的「基于Zotero的毕业论文参考文献工作流」，包括「引用格式修改」、「三步（10s内）下载保存文献」和「中英文混排」过程中需要注意的点。
这次碰到一个类似需求处于设计阶段,因为时间充足,需求又简单,就照着官网学习下mysql的全文检索,万一很合适的话,后面就可以多一种备用方案了…
tinyint, 占 1字节 ,有符号： -128~127,无符号位 :0~255
日前，智源研究院大模型研究团队开源最新双语 AltDiffusion 模型，为中文世界带来专业级 AI 文图创作的强劲动力：
近期，Zilliz 与智源研究院达成合作，将多种 BGE（BAAI General Embedding） 开源模型与开源向量数据库 Milvus 集成。得益于 Milvus 2.4 最新推出的 Sparse Vector（稀疏向量）和 Multi-vector（多向量）支持，开发者获得了多种选择，不仅有业界广泛采用的 Dense Embedding（稠密向量模型），还能使用 BGE 最新推出的 Sparse Embedding（稀疏检索模型）、Reranker（重排序） 模型。开发者可以轻松组合这些工具构建更加强大的召回方案，覆盖语义检索、全文检索和精排的能力。
前面了解过，MyISAM存储引擎的行数据都存放在MYD文件中，索引文件存放于MYI文件中。由于索引与行记录分开存储，所以MyISAM的索引都是辅助索引，也就是非聚集索引（UnClustered Index）。
全文检索是 20世纪末产生的一种新的信息检索技术。经过几十年的发展，特别是以计算机技术为代表的新一代信息技术应用，使全文检索从最初的字符串匹配和简单的布尔逻辑检索技术演进到能对超大文本、语音、图像、活动影像等 非结构化数据 进行综合管理的复合技术。由于内涵和外延的深刻变化，全文检索系统已成为新一代管理系统的代名词，衡量全文检索系统的基本指标和全文检索的内涵也发生巨大变化。
导语：中文世界的AIGC已然开启。通过智源研究院大模型研究团队开源的双语 AltDiffusion 模型，可以实现精细长中文Prompts高级创作。
全文检索是数据库的有力补充，全文检索并不能替代数据库在应用系统中的作用。当应用系统的数据以大量的文本信息为主时，採用全文检索技术能够极大的提升应用系统的价值。
今天还是概念性的内容，但是这些概念却是整个搜索引擎中最重要的概念。可以说，所有的搜索引擎就是实现了类似的概念才能称之为搜索引擎。而且今天的内容其实都是相关联的，所以不要以为标题上有四个名词就感觉好像内容很多一样，其实它们都是联系紧密的，一环套一环的。
6、自动词性标注：基于词库+（统计歧义去除计划），目前效果不是很理想，对词性标注结果要求较高的应用不建议使用。
我的网名叫做「Hsinyan」，如果是作为网名出现的话需要首字母大小。如果作为URL的一部分，应该使用全小写的「hsinyan」。
SQL 结构化查询语言(是一种标准,所有的关系型数据库Mysql,sqlserver,oracle)
VSCode 中的 alt+shift 快捷键能够同时操作多列，但其前提是被操作的部分要完全对齐，这就要求 VSCode 编缉器使用的字体得是等宽的。
这几天，一篇关于语音-文本多模态大模型的论文出现在arXiv上，署名公司中出现了李开复旗下大模型公司01.ai——零一万物的名字。
在 MySQL下，在进行中文模糊检索时，经常会返回一些与之不相关的记录，如查找 "%a%" 时，返回的可能有中文字符，却没有a字符存在。本人以前也曾遇到过类似问题，经详细阅读MySQL的Manual，发现可以有一种方法很方便的解决并得到满意的结果。
本文介绍了ChatGLM2-6B和ChatGLM-6B这两个开源的中英双语对话模型，它们由清华大学的KEG和数据挖掘小组（THUDM）开发和发布。这两个模型是基于GLM模型的混合目标函数，在1.4万亿中英文tokens数据集上进行训练，并实现了模型对齐。本文将探讨它们的优势、应用场景、训练数据集来源以及如何使用它们进行对话生成和微调。
今天一个同事问我，如何使用 Mysql 实现类似于 ElasticSearch 的全文检索功能，并且对检索关键词跑分？我当时脑子里立马产生了疑问？为啥不直接用es呢？简单好用还贼快。但是听他说，数据量不多，客户给的时间非常有限，根本没时间去搭建es，所以还是看一下 Mysql 的全文检索功能吧！ MySQL 从 5.7.6 版本开始，MySQL就内置了ngram全文解析器，用来支持中文、日文、韩文分词。在 MySQL 5.7.6 版本之前，全文索引只支持英文全文索引，不支持中文全文索引，需要利用分词器把中文段落预处理拆分成单词，然后存入数据库。本篇文章测试的时候，采用的 Mysql 5.7.6 ，InnoDB数据库引擎。
人工智能、大数据快速发展的今天，对于 TB 甚至 PB 级大数据的快速检索已然成为刚需。Elasticsearch 作为开源领域的后起之秀，从2010年至今得到飞跃式的发展。 Elasticsearch 以其开源、分布式、RESTFul API 三大优势，已经成为当下风口中“会飞的猪”。
最近有幸研究到了这块领域的内容，而我本人也对于这块非常的感兴趣，所以打算写一篇文章记录一下…
这个按钮叫做“scihub永久链接”，位于首页底部，实现以下功能： 自动检索全网可用scihub镜像网址，并选取速度最快的一个。
绘制生信宝典调查总结文中的柱状图时，出现了中文乱码，就搜索了下解决方案，记录如下。 修改图形的字体 ggplot2中修改图形字体。 # 修改坐标轴和legend、标题的字体 theme(text=element_text(family="Arial")) # 或者 theme_bw(base_family="Arial") # 修改geom_text的字体 geom_text(family="Arial") ggplot2支持中文字体输出PDF showtext包可给定字体文件，加载到R环境中，生成新的字
2019年8月以来，“木兰”系列开源许可证陆续上线发布，受到了业界的广泛关注。截止目前，“木兰宽松许可证”第1版（MulanPSL v1）已在Linux基金会、开源中国、华为方舟等国内外重点开源社区和开源项目中得到支持和应用。2020年2月14日，“木兰宽松许可证”第2版（MulanPSL v2）经过严格审批，正式通过开源促进会（OSI）认证，被批准为国际类别开源许可证（International licenses）。意味着其正式具有国际通用性，可被任一国际开源基金会或开源社区支持采用，并为任一开源项目提供服务。与此同时，“木兰”是中英文双语，对本土开发者理解和使用开源许可证具有一定优势。
大家经常在网上搜索资料，大部分人都是直接输入搜索内容的，这样的方法可能会使搜索的结果过于庞大，但真正需要的信息却没有及时的找到。在这里小编就给大家介绍两种比较精确的搜索方法——专业搜索、高级搜索。
看到网上各式各样关于Elasticsearch面试题的文章，但是貌似都不是很全面，所以特意整理了一篇关于常见的ES面试题，已收录至面试专栏，计划更新 10/50 个常见面试题，此次先发出来 10个，后续更新，请关注我的博客，第一时间查看更新。
SSL certificate problem, verify that the CA cert is OK
近些天在学校静心复习功课与梳理思路（找工作的事情暂缓），趁闲暇之际，常看有关搜索引擎相关技术类的文章，接触到不少此前未曾触碰到的诸多概念与技术，如爬虫，网页抓取，分词，索引，查询，排序等等，更惊叹于每一幅精彩的架构图，特此，便有记录下来的冲动，以作备忘。
全文检索在 MySQL 中就是一个 FULLTEXT 类型索引。FULLTEXT 索引用于 MyISAM 表，可以在 CREATE TABLE 时或之后使用 ALTER TABLE 或 CREATE INDEX 在 CHAR、 VARCHAR 或 TEXT 列上创建 对于大的数据库，将数据装载到一个没有 FULLTEXT 索引的表中，然后再使用 ALTER TABLE (或 CREATE INDEX) 创建索引，这将是非常快的。将数据装载到一个已经有 FULLTEXT 索引的表中，将是非常慢的。
我们都知道 InnoDB 在模糊查询数据时使用 "%xx" 会导致索引失效，但有时需求就是如此，类似这样的需求还有很多。
最近在做一个关键词查询功能。所以开始了解mysql的全文索引技术。接下来我将一步一步告诉大家。我是如何一步一步实现关键词检索的。
Elaticsearch，简称为es， es是一个开源的高扩展的分布式全文检索引擎，它可以近乎实时的存储、检 索数据;本身扩展性很好，可以扩展到上百台服务器，处理PB级别(大数据时代)的数据。es也使用 Java开发并使用Lucene作为其核心来实现所有索引和搜索的功能，但是它的目的是通过简单的RESTful API来隐藏Lucene的复杂性，从而让全文搜索变得简单。
点击上方蓝色字体，选择“设为星标” 回复”学习资料“获取学习宝典 我们都知道 InnoDB 在模糊查询数据时使用 "%xx" 会导致索引失效，但有时需求就是如此，类似这样的需求还有很多，例如，搜索引擎需要根基用户数据的关键字进行全文查找，电子商务网站需要根据用户的查询条件，在可能需要在商品的详细介绍中进行查找，这些都不是B+树索引能很好完成的工作。 通过数值比较，范围过滤等就可以完成绝大多数我们需要的查询了。但是，如果希望通过关键字的匹配来进行查询过滤，那么就需要基于相似度的查询，而不是原来的精确数
“看新闻，查文献，做调研，找素材，怎么样样都要搜搜搜？”今天小研给大家介绍各种搜索引擎吧！让你的搜索更精确，更全面！ 1 Google 学术搜索 http://scholar.google.com/（若打不开，修改host文件即可） 不少人说这玩意不好，尤其是与百度比较。这也只是一说，你可以自己试试。Google学术搜索滤掉了普通搜索结果中大量的垃圾信息，排列出文章的不同版本以及被其它文章的引用次数。略显不足的是，它搜索出来的结果没有按照权威度（譬如影响因子、引用次数）依次排列
点击关注公众号，Java干货及时送达 作者：沸羊羊 来源：juejin.cn/post/6989871497040887845 前言 我们都知道 InnoDB 在模糊查询数据时使用 "%xx" 会导致索引失效，但有时需求就是如此，类似这样的需求还有很多，例如，搜索引擎需要根基用户数据的关键字进行全文查找，电子商务网站需要根据用户的查询条件，在可能需要在商品的详细介绍中进行查找，这些都不是B+树索引能很好完成的工作。 通过数值比较，范围过滤等就可以完成绝大多数我们需要的查询了。但是，如果希望通过关键字的匹配
点击上方“芋道源码”，选择“设为星标” 管她前浪，还是后浪？ 能浪的浪，才是好浪！ 每天 10:33 更新文章，每天掉亿点点头发... 源码精品专栏 原创 | Java 2021 超神之路，很肝~ 中文详细注释的开源项目 RPC 框架 Dubbo 源码解析 网络应用框架 Netty 源码解析 消息中间件 RocketMQ 源码解析 数据库中间件 Sharding-JDBC 和 MyCAT 源码解析 作业调度中间件 Elastic-Job 源码解析 分布式事务中间件 TCC-Transaction
2020 年 12 月发布的 CPM-1 是国内首个中文大模型 ；2022 年 9 月发布的 CPM-Ant 仅微调 0.06% 参数就能超越全参数微调效果；2023 年 5 月发布的 WebCPM 是 中文首个基于搜索的问答开源模型。CPM-Bee 百亿大模型是团队最新发布的基座模型，中文能力登顶权威榜单 ZeroCLUE，英文能力打平 LLaMA。
根据模糊查找的业务场景，比对一下上面列出的6种条件，如果你的场景是全都要支持，并且是 大用户量， 接口qps高，海量的数据检索量，那就不要在数据库上做任何挣扎了，你需要的是一个 全文检索引擎。可以直接看文章最后面~
伴随着大模型开发和应用的火热发展，作为大模型核心基础组件的 Embedding 重要性愈发凸显。智源于一月前发布的开源可商用中英文语义向量模型 BGE（BAAI General Embedding）在社区收获颇高关注度，Hugging Face 累计下载量达到数十万。当前，BGE 快速迭代推出 1.5 版本并公布多项更新，其中，BGE 首次开源 3 亿条大规模训练数据，帮助社区训练同类模型，推动该领域技术发展。
Json.Net 是一个读写Json效率比较高的.Net框架.Json.Net 使得在.Net环境下使用Json更加简单。通过Linq To JSON可以快速的读写Json，通过JsonSerializer可以序列化你的.Net对象。让你轻松实现.Net中所有类型(对象,基本数据类型 等)和Json的转换。
在以前的博客中小编介绍过mysql的执行流程，索引优化等。正好前一段时间项目有一个新的需求，就重新调研了一下mysql的全文索引，并对mysql的全文索引进行了压测，看看性能怎么样。以判断是否使用。——可想而知，性能不是很好。 下面小编就向大家再说说mysql的全文检索。
我们都知道关于全文检索大多公司的选型都是ElasticSearch，为什么是它？可能有的人会回复Es利用倒排索引适用于全文检索，倒排索引怎么存的？倒排索引为什么这么优秀？为什么不是MySql和Redis等（这里只拿代表的关系型数据库MySql和内存型数据库Redis举例子？
可视化可以借助kibana实现。这里就体现出elkstack的优势，logstash完成基础数据同步，es完成数据存储和检索，kibana完成数据可视化。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
