Reinvent Data Science-腾讯云开发者社区

开发者社区

文档建议反馈控制台

腾讯云架构师技术同盟

文章/答案/技术大牛

发布

Reinvent Data Science

专栏成员

277

文章

303347

阅读量

41

订阅数

一文剖析高可用向量数据库的本质

向量数据库服务高可用数据系统

面对因电力故障、网络问题或人为操作失误等导致的服务中断，数据库系统高可用能够保证系统在这些情况下仍然不间断地提供服务。如果数据库系统不具备高可用性，那么系统就需要承担停机和数据丢失等重大风险，而这些风险极有可能造成用户流失，从而使数据库系统蒙受经济和声誉上的损失。

2024-07-31

2110

探索 Milvus 数据存储系统：如何评估和优化 Milvus 存储性能

优化存储性能存储数据存储系统

本文将深入探讨 Milvus 架构，分析其核心存储组件，并介绍如何有效评估 Milvus 存储系统性能。

2024-07-31

4820

Milvus × RAG助力快看漫画多业务应用

索引系统模型数据搜索

快看漫画创办于2014年，集漫画阅读、创作互动、线下漫画沉浸体验、周边衍生品购买等体验于一体，是年轻人的一站式漫画生活方式平台。截止到2023年底，快看总用户超过3.8亿，在中国漫画市场渗透率超过50%。经过9年的创作者生态建设，快看已汇聚超过12万注册创作者，发表漫画作品超13000部。目前，快看漫画已有超过500部作品登陆全球近200个国家和地区，成为中国文化出海的代表。

2024-07-31

3270

Milvus 向量数据库进阶系列丨部署形态选型

数据系统性能向量数据库部署

在和社区小伙伴们交流的过程中，我们发现大家最关心的问题从来不是某个具体的功能如何使用，而是面对一个具体的实战场景时，如何选择合适的向量数据库解决方案或最优的功能组合。在 “Milvus 向量数据库进阶” 这个系列文章中，我们会聚焦回答这一类问题，如 “在 AI 应用开发的不同阶段，向量数据库应该如何选型”，“如何正确的构建 RAG 多租系统” 等。虽然这个系列名为进阶，但内容同时适用于初级和进阶用户。我们希望通过这些内容的介绍，帮助大家在向量数据库应用的过程中少走弯路。

2024-07-31

2970

Zilliz 推出 Spark Connector：简化非结构化数据处理流程

spark 服务开发数据结构化数据

以生产级别的搜索系统为例，该系统通常包含两个部分：离线数据索引和在线查询服务。实现该系统需要使用多种技术栈。例如，在离线处理中，如何将来源于多种渠道的非结构化数据数据高效、方便地处理并推送到向量数据库以实现在线查询，是一个充满挑战的问题。Apache Spark 和 Databricks 是应用广泛的大批量数据处理方案。Zilliz Cloud 推出了 Spark Connector。该工具将 Milvus 和 Zilliz Cloud 向量数据库 API 集成于 Apache Spark 和 Databricks 任务，大大简化数据处理和推送的实现难度。

2024-07-31

1020

如何定位Milvus性能瓶颈并优化

监控搜索索引性能优化

在此前的文章中，我们已经介绍了评估各种向量数据库时使用的关键指标和性能测试工具。本文将以 Milvus 向量数据库为例，特别关注 Milvus 2.2 或以上版本，讲解如何监控搜索性能、识别瓶颈并优化向量数据库性能。

2024-07-20

3610

一文看懂开源许可证：大语言模型和向量数据库入门指南

软件向量数据库开源模型入门

开源意味着创作者将软件、硬件甚至是大语言模型免费提供给社区使用。开源项目通常由社区中来自不同公司的开发者共同努力开发和维护。产品或软件的许可证类型明确规定了可以如何使用不同的开源产品。

2024-07-20

1640

向量数据库性能测试技巧

技巧性能向量数据库数据库性能测试

简介：随着非结构化数据的持续增长和人工智能（AI）以及大语言模型（LLM）的爆火，向量数据库已成为至关重要的基础设施。在这种趋势下，如何评估并挑选出最适合您的向量数据库呢？本文将深入探讨向量数据库的关键评估指标和性能测试工具。同时，本文还将介绍如何评估向量数据库性能助您做出明智的决策。

2024-07-20

5010

详解 BGE-M3 与 Splade 模型

工作架构模型搜索原理

在之前的文章《详解如何通过稀疏向量优化信息检索》中，我们已经讨论了信息检索技术从简单的关键词匹配到复杂的情境理解的发展，并提出了稀疏 Embedding 向量可以通过“学习”获得的观点。这些巧妙的 Embedding 技术融合了稠密和稀疏向量检索方法的优点。学习型的（Learned）稀疏向量不仅解决了密集检索中常见的跨领域问题，还通过融合更多的上下文信息，增强了传统稀疏向量搜索的能力。

2024-07-20

6181

详解如何通过稀疏向量优化信息检索

数据搜索优化编码模型

在信息检索方法的发展历程中，我们见证了从传统的统计关键词匹配到如 BERT 这样的深度学习模型的转变。虽然传统方法提供了坚实的基础，但往往难以精准捕捉文本的语义关系。如 BERT 这样的稠密检索方法通过利用高维向量捕获文本的上下文语义，为搜索技术带来了显著进步。然而，由于这些方法依赖于特定领域的知识，它们在处理领域外（out-of-domain）问题时可能会遇到困难。

2024-07-20

4101

使用 Grafana 和 Loki 搭建 Milvus 日志查询系统

grafana 部署配置日志系统

本教程将介绍如何设置 Grafana 和 Loki 来有效监控您的 Milvus 实例。

2024-07-20

1590

一起来认识 GPU-Cagra 索引！

性能 gpu 排序搜索索引

向量搜索是一个非常典型计算密集型的场景。作为世界上最快的向量数据库，Milvus的向量检索引擎Knowhere占用了超过整个系统80%的计算资源。而当我们谈论到高性能的计算，GPU总是一个绕不开的话题，在向量领域也不例外。

2024-07-10

3200

实用指南｜如何提升 RAG Pipeline 效果？

优化 pipeline 模型搜索索引

随着RAG应用逐渐的普及，如何提高RAG应用的回答效果正在被越来越多的人关注。本文列出了各类优化RAG pipeline的方法和对应的图例说明，以帮助你快速了解目前主流的RAG优化策略。

2024-07-10

4770

PyMilvus 与 Embedding 模型集成

embedding 模型数据搜索数据处理

现在，Milvus 的 Python SDK——PyMilvus 中已集成模型模块，支持直接添加 Embedding 和重排（Reranker）模型，大幅简化了将数据转化为向量以及对搜索结果进行重排的流程，十分适用于检索增强生成（RAG）应用。

2024-07-10

5151

使用RAGAs评估基于Milvus的RAG应用

框架数据性能 import 函数

现在，我们很容易构建一个基于检索增强生成（RAG）的应用，但将其投入生产却非常困难，因为RAG的性能很难达到令人满意的状态。

2024-07-10

3410

一文玩转 Milvus 新特性之 Hybrid Search

数据搜索 search 模型排序

OpenAI 最近官宣的多模态大模型 GPT-4o 再一次引发了热议，近年来对多模态的处理能力被认为是通往 AGI 的必经之路。虽然关于 GPT-4o 的训练方法尚未公布，但从 CLIP 双模态模型的训练上我们可以窥见端倪，将不同模态但相互关联的数据提取特征，转为固定维度的向量输入给模型，然后通过对比学习的方式调整模型参数进行模态间融合。

2024-06-28

1.5K0

如何选择合适的 Embedding 模型？

搜索音频 embedding 模型视频

RAG 通常会用到三种不的AI模型，即 Embedding 模型、Rerankear模型以及大语言模型。本文将介绍如何根据您的数据类型以及语言或特定领域（如法律）选择合适的 Embedding 模型。

2024-06-27

1.3K0

Milvus 集成 DSPy：搭建高效 RAG Pipeline

模型数据优化 pipeline 程序

大语言模型（LLM）为行业带来变革，具备强大的生成能力，在与知识库和检索器等工具相结合时，能够高效推动聊天机器人和 Agent 等高级生成式 AI（GenAI）应用的发展。与 LLMs 互动的过程中，最核心的部分是提示（prompt）。Prompt 是指用于指导这些模型执行特定任务的命令。然而，制定有效的 Prompt 是一个细致且复杂的过程，常需借助如思维链（Chain-of-Thought）和 ReAct 等高级技术。随着这些技术的发展，Prompt 的复杂性日益增加。此外，即使是相同的 Prompt ，在不同的 LLM（如 GPT-4 和 Gemini）之间也可能因其预训练方法和数据集的不同而产生差异化的结果。这一挑战引发了业内对 Prompt 工程的研究，这是一项专注于调整和优化 Prompt 以获得更佳和更定制化结果的劳动密集型任务。

2024-06-25

7660

实用指南｜如何使用 Milvus 将 JSON 数据向量化并进行相似性搜索

模型数据搜索 json 量化

然而，JSON 数据的层次结构虽然实用，但在存储、检索及数据分析时操作起来较为复杂。将 JSON 数据向量化能够提升数据处理、存储、检索及分析的效率，进而提高系统整体性能和操作便利性。

2024-06-25

1.8K0

Jina AI + Milvus Lite：搭建 RAG 问答机器人

数据搜索索引机器人教程

开发人员特别重视那些易于设置、启动迅速且能在生产环境中无缝扩展的基础组件。针对这一需求，我们推出了最新的轻量级向量数据库产品——Milvus Lite。对于 Python 开发者而言，Milvus Lite 是一个极具价值的工具，尤其适用于追求高质量、易用性的搜索应用。

2024-06-25

4000

点击加载更多

社区活动

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·干货材料·成员作品最新动态