Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >Milvus Lite 已交卷!轻量版 Milvus,主打就是一个轻便、无负担

Milvus Lite 已交卷!轻量版 Milvus,主打就是一个轻便、无负担

作者头像
Zilliz RDS
发布于 2023-08-26 00:49:21
发布于 2023-08-26 00:49:21
75500
代码可运行
举报
运行总次数:0
代码可运行

想要体验世界上最快的向量数据库?缺少专业的工程师团队作为支撑?Milvus 安装环境受限?

别担心,轻量版 Milvus 来啦!

在正式介绍 Milvus Lite 之前,先简单回顾一下 Milvus。Milvus 是一款开源的向量数据库,专门用于索引、存储以及查询那些由深度神经网络和其他机器学习(ML)模型生成的向量,支持十亿级别的数据规模,已成为许多公司、研究人员和开发者处理大规模数据集相似性搜索的首选工具。

不过,也有用户反馈刚开始接触 Milvus 或者想要在 Notebook 中进行快速实验时,安装或部署 Milvus 有些力不从心 。为此,Milvus 社区的 Committer 嵇斌开发出 Milvus Lite,即 Milvus 的轻量级版本,方便有相关需求的用户进行体验。可以这样理解,Milvus Lite 为没有专业运维团队支撑、安装部署环境受限的群体提供了新的可能。

(https://github.com/milvus-io/milvus-lite)

01.

Milvus Lite 的优势

作为 Milvus 的轻量级版本,Milvus Lite 有不少优势,例如:

  • 可以轻松将 Milvus Lite 集成到 Python 应用程序中,不需要任何其他依赖项;
  • 可以作为 library 导入到其他 Python 程序中,并使用命令行接口(CLI);
  • 与 Google Colab 和 Jupyter Notebook 的集成变得更容易;
  • 安全迁移,应用程序代码和数据都可以丝滑地迁移到 Milvus集群或 Zilliz Cloud中。

02.

Milvus Lite 的适配场景

Milvus Lite 的典型使用场景:

  • 用户在使用 Milvus 的过程中不方便使用 K8s、容器等技术工具(例如 Milvus Operator,Helm 或 Docker Compose)时;
  • 想要将 Milvus 的功能集成到 Python 应用程序中;
  • 想在 Colab 或 Notebook 中进行快速实验时迅速启动 Milvus 实例。

03.

如何安装、部署和使用 Milvus Lite?

  • 准备工作

在正式安装 Milvus Lite 以前,需要做足以下准备:

  • 安装 Python 3.7 或更高版本。
  • 使用下述任何一个经过验证的操作系统:Ubuntu >= 20.04 (x86_64);CentOS >= 7.0 (x86_64);MacOS >= 11.0 (Apple Silicon)

值得注意的是,Milvus Lite 用 manylinux2014作为基础镜像,以便与 Linux 用户的大多数发行版兼容。

  • 安装 Milvus Lite
  • Milvus Lite 可以在 PyPI 中下载安装,我们可以通过 pip进行安装。
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
$ python3 -m pip install milvus
  • 或者大家也可以通过 PyMilvus 进行安装,具体操作如下:
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
$ python3 -m pip install milvus[client]
  • 使用并启动 Milvus Lite

从我们的项目库的示例文件夹中下载示例代码(https://github.com/milvus-io/milvus-lite/tree/main/examples)。有两种方式可以使用 Milvus Lite:将其作为 Python 库导入或用 CLI 在机器上将它作为独立服务器运行。

  • 将 Milvus Lite 作为 Python 模块启动,执行以下命令:
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
from milvus import default_server
from pymilvus import connections, utility

# Start your milvus server
default_server.start()

# Now you can connect with localhost and the given port
# Port is defined by default_server.listen_port
connections.connect(host='127.0.0.1', port=default_server.listen_port)

# Check if the server is ready.
print(utility.get_server_version())

# Stop your milvus server
default_server.stop()

大家也可以将 server 实例,放在 with语句的上下文中,以实现自动启停:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
from milvus import default_server

with default_server:
  # Milvus Lite has already started, use default_server here.
  connections.connect(host='127.0.0.1', port=default_server.listen_port)
  • 通过 CLI 来启动 Milvus Lite,执行以下命令:
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
milvus-server

启动 Milvus Lite 后,大家就可以使用 PyMilvus 或自己顺手的工具来连接独立服务器了。

  • 用调试模式启动 Milvus Lite
  • 将 Milvus Lite 作为 Python 模块以调试模式运行,执行以下命令:
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
from milvus import debug_server, MilvusServer

debug_server.run()

# Or you can create a MilvusServer by yourself
# server = MilvusServer(debug=True)
  • 在调试模式下运行 Milvus Lite,请执行以下命令:
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
milvus-server --debug
  • 持久化数据和日志
  • 执行以下命令创建一个本地目录,用于存储所有相关的 Milvus Lite 数据和日志:
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
 from milvus import default_server

with default_server:
  default_server.set_base_dir('milvus_data')
  • 为了将 Milvus Lite 生成的所有数据和日志保存在本地磁盘上,执行以下命令:
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
 $ milvus-server --data milvus_data
  • 配置 Milvus Lite

配置 Milvus Lite 与使用 Python API 或 CLI 设置 Milvus 的实例相似。

  • 用 Python API 配置 Milvus Lite ,可以使用 MilvusServer实例的 config.set来设置基本和额外的设置:
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
from milvus import default_server

with default_server:
  default_server.config.set('system_Log_level', 'info')
  default_server.config.set('proxy_port', 19531)
  default_server.config.set('dataCoord.segment.maxSize', 1024)
  • 用 CLI 配置 Milvus Lite,运行以下命令进行基本设置:
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
$ milvus-server --system-log-level info
$ milvus-server --proxy-port 19531
  • 或者,运行以下命令以进行额外配置:
代码语言:javascript
代码运行次数:0
运行
复制
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
$ milvus-server --extra-config dataCoord.segment.maxSize=1024

所有配置参数都在 Milvus 工具包中附带的 config.yaml模板中。想了解更多关于安装和配置 Milvus Lite 的技术细节,可以复制链接或点击【阅读原文】查看https://milvus.io/docs/milvus_lite.md#Prerequisites

04.

总结

总体而言,无论用户是何种身份(研究人员、开发者或者数据科学家),Milvus Lite 都是一个不错的选择,尤其对于那些想要在受限的环境中使用 Milvus 功能的用户而言,更是如此。

Milvus Lite 是开源社区或者说开源文化下的产物,背后折射出的是开发者们对于开源的热爱。在此,我们尤其要感谢 Milvus 社区 Committer 嵇斌,没有他就没有 Milvus Lite!我们也期待有更多开发者参与进来,和我们一起探讨 Milvus 的未来,在这个极具创新性与发展性的集市模式的加持下,Milvus 一定会变得越来越好,从而更好地满足用户的需求。

最后,如果大家在安装或使用 Milvus Lite 时遇到问题,可以复制链接提交问题,https://github.com/login?return_to=https%3A%2F%2Fgithub.com%2Fmilvus-io%2Fmilvus-lite%2Fissues%2Fnew

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2023-06-08,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 ZILLIZ 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
如何在 Jupyter Notebook 用一行代码启动 Milvus?
随着各种大语言模型(LLM)的涌现和 AI 技术变得越来越普遍,大家对于向量数据库的需求也变得越来越多。作为大模型的记忆体,向量数据库不仅可以帮助解决 LLM 面临的最大问题——缺乏特定领域知识和最新数据,还可以赋能相似性搜索应用,如产品推荐、以图搜图、文本语义搜索等。
Zilliz RDS
2023/08/26
4410
如何在 Jupyter Notebook 用一行代码启动 Milvus?
基于 Google Colab 的 Milvus 使用教程
Milvus 是一款开源的向量相似度搜索引擎,集成了 Faiss、NMSLIB、Annoy 等广泛应用的向量索引库,并提供了一整套简单直观的 API。Milvus 具备高度灵活、稳定可靠以及高速搜索等特点,在全球范围内已被数百家组织和机构所采用。他们将 Milvus 与 AI 模型结合,广泛应用于以下场景:
Zilliz RDS
2020/12/02
1.9K0
手把手教你用 Milvus 和 Towhee 搭建一个 AI 聊天机器人
作为向量数据库的佼佼者,Milvus 适用于各种需要借助高效和可扩展向量搜索功能的 AI 应用。
Zilliz RDS
2023/09/28
9970
手把手教你用 Milvus 和 Towhee 搭建一个 AI 聊天机器人
手把手系列!无需 OpenAI 即可搭建 RAG 应用
接下来我将用 Nebula(https://symbl.ai/platform/nebula/llm/)替代 OpenAI,Hugging Face 上的 Embedding 向量模型代替 OpenAI 模型。
Zilliz RDS
2024/01/30
9710
手把手系列!无需 OpenAI 即可搭建 RAG 应用
解决Milvus官网提供的单机版docker容器无法启动,以及其它容器进程与Milvus容器通信实现方案【Milvus】【pymilvus】【Docker】
我的需求是做混合检索单机版可以满足,要走Docker容器部署,还需要和另一个容器中的程序做通信。官方文档提供的Milvus安装启动Milvus方案,见文档:传送门
来杯Sherry
2024/04/29
8600
解决Milvus官网提供的单机版docker容器无法启动,以及其它容器进程与Milvus容器通信实现方案【Milvus】【pymilvus】【Docker】
手把手系列!用 Milvus 和 Python 搭建电影推荐系统
推荐系统(推荐引擎)是根据用户行为和兴趣点等信息去预测并推送用户当前需要或感兴趣的物品(服务)的一类应用。常见推荐系统包括电影、书籍、音乐或新闻文章推荐系统等。
Zilliz RDS
2023/12/13
1K0
手把手系列!用 Milvus 和 Python 搭建电影推荐系统
Milvus 实战 | 基于 Kubernetes 的分布式集群部署方案
Milvus 作为一款针对海量特征向量的相似度搜索引擎,在单台服务器上就可以处理十亿级数据规模。而对于百亿或者千亿级数据,则需要具有水平扩展能力的 Milvus 集群来满足对海量向量数据的高性能检索需求。
Zilliz RDS
2020/08/04
4.7K0
Milvus 实战 | 基于 Kubernetes 的分布式集群部署方案
一文带你入门向量数据库milvus:含docker安装、milvus安装使用、attu 可视化,完整指南启动 Milvus 进行了向量相似度搜索
前言:网络上有很多milvus讲解,但看完感觉还是不是很细节,特意写下这边博客记录一下详细步骤,作为milvus入门博文
汀丶人工智能
2023/10/11
23.6K0
一文带你入门向量数据库milvus:含docker安装、milvus安装使用、attu 可视化,完整指南启动 Milvus 进行了向量相似度搜索
用 LangChain 搭建基于 Notion 文档的 RAG 应用
如何通过语言模型查询 Notion 文档?LangChain 和 Milvus 缺一不可。
Zilliz RDS
2023/12/01
7020
用 LangChain 搭建基于 Notion 文档的 RAG 应用
揭秘 LlamaIndex|如何持久化存储 LlamaIndex 向量索引?
除了 ChatGPT 以外,诸如 LangChain、LlamaIndex 等构建大模型应用设计的工具热度也一直居高不下。为此,我们推出了【解码 LangChain】系列教程帮助大家轻松上手,接下来便是 【揭秘LlamaIndex】 系列,大家可以按需跳转阅读。
Zilliz RDS
2023/08/25
1.4K0
揭秘 LlamaIndex|如何持久化存储 LlamaIndex 向量索引?
Jina AI + Milvus Lite:搭建 RAG 问答机器人
开发人员特别重视那些易于设置、启动迅速且能在生产环境中无缝扩展的基础组件。针对这一需求,我们推出了最新的轻量级向量数据库产品——Milvus Lite。对于 Python 开发者而言,Milvus Lite 是一个极具价值的工具,尤其适用于追求高质量、易用性的搜索应用。
Zilliz RDS
2024/06/25
5060
Jina AI + Milvus Lite:搭建 RAG 问答机器人
当一个程序员决定穿上粉色裤子
这个想法在我脑海中不停地闪现,始终没有遇到特别合适的契机进行实践。直到最近,我遇到了一个名为 Fashion AI 的项目,它主要利用微调模型对服装图片进行分割(segmentation),然后裁剪出图像中标注(label)的时尚单品,并将所有图片调整为相同的大小,最后将这些图像转化为 embedding 向量存储在开源向量数据库 Milvus 中。通过这个项目可以在 Milvus 数据库中查询并获得 3 个最相似的向量结果。随后,就可以通过上传一张自己穿着打扮的照片,最终确定与我们时尚风格最为相似的明星。
Zilliz RDS
2023/08/25
4310
当一个程序员决定穿上粉色裤子
向量数据库 milvus 快速入门
在当今的数据驱动世界中,非结构化数据如文本、图像、音频和视频等占据了数据总量的绝大部分。传统的关系型数据库对于处理这类复杂且多维的数据并不高效。因此,为了更好地管理和检索这些非结构化数据,向量数据库应运而生。
zhouzhou的奇妙编程
2025/01/30
6000
向量数据库入坑:使用 Docker 和 Milvus 快速构建本地轻量图片搜索引擎
本篇文章,我来分享如何使用 Docker 来搭建一个能够跑在本地的轻量图片搜索引擎,实现日常生活中我们习以为常,但是实现起来颇为麻烦的功能:以图搜图。
soulteary
2023/03/05
3.8K1
向量数据库入坑:使用 Docker 和 Milvus 快速构建本地轻量图片搜索引擎
“加速AI搜索和分析:Milvus数据库解析与实践指南“
在当今数字化时代,人工智能 AI 正迅速改变着我们的生活和工作方式。从智能助手到自动驾驶汽车,AI 正在成为各行各业的创新引擎。然而,这种 AI 的崛起也带来了一个关键的挑战:如何有效地处理和分析越来越丰富和复杂的数据。在这个背景下,向量数据库技术应运而生,为 AI 提供了强大的加速引擎。
汀丶人工智能
2023/10/18
1.5K0
“加速AI搜索和分析:Milvus数据库解析与实践指南“
基于PaddleNLP使用DeepSeek-R1搭建智能体
最近在学习DeepSeek,找到了PaddleNLP星河社区大模型,跟着敲写了一遍。内容来源:DeepSeek实战训练营:从云端模型部署到应用开发 - 飞桨AI Studio星河社区-人工智能学习与实训社区
Harry技术
2025/03/10
1420
基于PaddleNLP使用DeepSeek-R1搭建智能体
速看!Milvus JavaScript 客户端入门级使用指南
使用 Milvus node.js SDK(https://github.com/milvus-io/milvus-sdk-node),可以轻松搭建灵活且强大的数据处理系统。Milvus 支持使用 Node.js (https://nodejs.org/en/download)连接至服务器,完成各种数据库操作。我们还可以使用 Milvus Nods.js SDK 进行一些列操作,如:创建 Collection(集合)、插入数据、构建索引、查询和搜索数据等。
Zilliz RDS
2023/08/25
9160
速看!Milvus JavaScript 客户端入门级使用指南
实用指南|如何使用 Milvus 将 JSON 数据向量化并进行相似性搜索
然而,JSON 数据的层次结构虽然实用,但在存储、检索及数据分析时操作起来较为复杂。将 JSON 数据向量化能够提升数据处理、存储、检索及分析的效率,进而提高系统整体性能和操作便利性。
Zilliz RDS
2024/06/25
2.5K0
实用指南|如何使用 Milvus 将 JSON 数据向量化并进行相似性搜索
AI + Milvus:将时尚应用搭建进行到底
在上一篇文章中,我们学习了如何利用人工智能技术(例如开源 AI 向量数据库 Milvus 和 Hugging Face 模型)寻找与自己穿搭风格相似的明星。在这篇文章中,我们将进一步介绍如何通过对上篇
Zilliz RDS
2023/08/26
3420
AI + Milvus:将时尚应用搭建进行到底
比较不同的向量嵌入
不同神经网络生成的向量嵌入有什么区别,如何在Jupyter Notebook中评估它们?
云云众生s
2024/03/28
3010
比较不同的向量嵌入
推荐阅读
相关推荐
如何在 Jupyter Notebook 用一行代码启动 Milvus?
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验