向量数据库-Milvus

概述

Milvus 是一种高性能、高扩展性的向量数据库，可在从笔记本电脑到大规模分布式系统等各种环境中高效运行。它既可以开源软件的形式提供，也可以云服务的形式提供。

文本、图像和音频等非结构化数据格式各异，并带有丰富的底层语义，因此分析起来极具挑战性。为了处理这种复杂性，Embeddings 被用来将非结构化数据转换成能够捕捉其基本特征的数字向量。然后将这些向量存储在向量数据库中，从而实现快速、可扩展的搜索和分析。

Milvus 提供强大的数据建模功能，使您能够将非结构化或多模式数据组织成结构化的 Collections。它支持多种数据类型，适用于不同的属性模型，包括常见的数字和字符类型、各种向量类型、数组、集合和 JSON，为您节省了维护多个数据库系统的精力。

实时智能推荐系统

通过Flink、Kafka、Mysql、Milvus、LLM实现一个实时的智能推荐系统。

方案设计：

1、用户门户埋点。实时获取用户操作、浏览数据

2、削峰填谷。kafka接收所有操作log

3、ELT。数据监测，不合法数据清洗、校验、过滤

4、相似搜索。Milvus近邻近似搜索

5、业务数据加载。数据库返回相似数据信息。