文档中心>向量数据库>SDK 参考>Go SDK>管理 Document 数据>稠密向量与稀疏向量高阶混合检索

稠密向量与稀疏向量高阶混合检索

最近更新时间:2024-10-21 11:24:02

我的收藏

接口定义

HybridSearch(ctx context.Context, databaseName string, collectionName string, params HybridSearchDocumentParams) (result *SearchDocumentResult, err error)

使用示例

将文本转换稀疏向量检索
直接写入稀疏向量检索
var (
ctx = context.Background()
database = "go-sdk-test-db"
collectionName = "go-sdk-test-coll"
)
bm25, err := encoder.NewBM25Encoder(&encoder.BM25EncoderParams{Bm25Language: "zh"}) if err != nil { log.Fatalf(err.Error()) }
sparseVec, err := bm25.EncodeQuery("腾讯云向量数据库") if err != nil { log.Fatalf(err.Error()) } annSearch := &tcvectordb.AnnParam{ FieldName: "vector", Data: []float32{0.2123, 0.21, 0.213}, } keywordSearch := &tcvectordb.MatchOption{ FieldName: "sparse_vector", Data: sparseVecs, }

searchRes, err := client.HybridSearch(ctx, database, collectionName, tcvectordb.HybridSearchDocumentParams{ AnnParams: []*tcvectordb.AnnParam{annSearch}, Match: []*tcvectordb.MatchOption{keywordSearch},
// rerank也支持rrf,使用方式见下
// Rerank: &tcvectordb.RerankOption{
// Method: tcvectordb.RerankRrf,
// RrfK: 1,
// }, Rerank: &tcvectordb.RerankOption{ Method: "weighted", FieldList: []string{"vector", "sparse_vector"}, Weight: []float32{0.6, 0.4}, }, Limit: &limit, OutputFields: []string{"id", "sparse_vector"}, })
if err != nil { return err } // 输出相似性检索结果,检索结果为二维数组,每一位为一组返回结果,分别对应search时指定的多个向量 for i, item := range searchRes.Documents { log.Printf("HybridSearchDocumentResult, index: %d ==================", i) for _, doc := range item { log.Printf("HybridSearchDocument: %+v", doc) } }

var (
ctx = context.Background()
database = "go-sdk-test-db"
collectionName = "go-sdk-test-coll"
)
annSearch := &tcvectordb.AnnParam{
FieldName: "vector",
Data: []float32{0.2123, 0.21, 0.213},
}
keywordSearch := &tcvectordb.MatchOption{
FieldName: "sparse_vector",
Data: []encoder.SparseVecItem{
{TermId: 1172076521, Score: 0.71296215},
{TermId: 3434399993, Score: 0.71296215},
},
}
limit := 2
col := client.Database(database).Collection(embeddingCollection)
searchRes, err := client.HybridSearch(ctx, database, collectionName, tcvectordb.HybridSearchDocumentParams{
AnnParams: []*tcvectordb.AnnParam{annSearch},
Match: []*tcvectordb.MatchOption{keywordSearch},
// rerank也支持rrf,使用方式见下
// Rerank: &tcvectordb.RerankOption{
// Method: tcvectordb.RerankRrf,
// RrfK: 1,
// },
Rerank: &tcvectordb.RerankOption{
Method: tcvectordb.RerankWeighted,
FieldList: []string{"vector", "sparse_vector"},
Weight: []float32{0.1, 0.9},
},
Limit: &limit,
OutputFields: []string{"id", "sparse_vector"},
})
if err != nil {
return err
}
// 输出相似性检索结果,检索结果为二维数组,每一位为一组返回结果,分别对应search时指定的多个向量
for i, item := range searchRes.Documents {
log.Printf("HybridSearchDocumentResult, index: %d ==================", i)
for _, doc := range item {
log.Printf("HybridSearchDocument: %+v", doc)
}
}

入参描述

参数名
是否必选
参数含义
配置方法及要求
databaseName
指定检索的数据库名。
Database 命名要求如下:
只能使用英文字母,数字,下划线_、中划线-,并以英文字母开头。
长度要求:[1,128]。
collectionName
指定检索数据的集合。
Collection 命名要求如下:
只能使用英文字母,数字,下划线_、中划线-,并以英文字母开头。
长度要求:[1,128]。
AnnParam
设置向量检索信息。
FieldName:检索的字段名,可以设置为:vectors、id。
Data:检索的向量,当前仅支持输入一个向量。
DocumentIds:检索字段为 id,则该参数指定具体的 ID,仅支持输入一个。
Params:检索参数,与索引类型相关。
HNSW 类型:需配置参数 ef,指定需要访问向量的数目。取值范围[1,32768],默认为10。
IVF 系列:需设置参数 nprobe,指定所需查询的单位数量。取值范围[1,nlist],其中 nlist 在创建 Collection 时已设置。
Match
稀疏向量检索配置。
FieldName:稀疏向量的字段名,例如:sparse_vector。
Data:检索的稀疏向量,当前仅支持输入一个稀疏向量。
Limit:指定返回的数量。
Rerank
检索中重排序(rerank)的配置。
参数 Method 指定 Rerank 的方法,枚举如下值:
weighted:基于不同字段的加权组合来进行排序。
field_list:列出用于加权计算的字段列表。例如,field_list=: ['vector', 'sparse_vector']表示密集型与稀疏型加权计算。
weight:定义了 "field_list" 中每个字段的权重,例如,weight=[0.9, 0.1]表示"vector" 字段的权重是0.9,"sparse_vector" 字段的权重是0.1。
rrf:一种融合多个搜索方法的排名结果,通过为每个文档分配倒数排名分数并合并这些分数来生成一个新的综合排名,从而提高搜索结果的准确性和相关度。k 是一个用于计算倒数排名分数的常数,其作用是调整分数计算公式,以控制排名分数的分布。例如:rerank=RRFRerank(k=1)
Filter
设置 filter
设置标量字段的 Filter 表达式。格式为 <field_name><operator><value>,多个表达式之间支持 and(与)、or(或)、not(非)关系。具体信息,请参见 混合检索。其中:
<field_name>:表示要过滤的字段名。
<operator>:表示要使用的运算符。
string :匹配单个字符串值(=)、排除单个字符串值(!=)、匹配任意一个字符串值(in)、排除所有字符串值(not in)。其对应的 Value 必须使用英文双引号括起来。
uint64:大于(>)、大于等于(>=)、等于(=)、小于(<)、小于等于(<=)。例如:expired_time > 1623388524。
array:数组类型,包含数组元素之一(include)、排除数组元素之一(exclude)、全包含数组元素(include all)。例如,name include (\\"Bob\\", \\"Jack\\")。
<value>:表示要匹配的值。
示例:Filter('author="jerry"').And('page>20')

RetrieveVector

标识是否需要返回检索结果的向量值。
true:需要。
false:不需要。默认为 false。
Limit
指定返回最相似的 Top K 的 K 的值。
K 为大于0的正整数。
OutputFields
配置需返回的字段。
指定需要输出的字段。若不设置,将返回所有字段。
说明:
retrieveVector 和 outputFields 只要有其中一个配置输出向量字段即可输出 vector。

出参描述

2024/09/29 19:51:56 HybridSearchDocumentResult, index: 0 ==================
2024/09/29 19:51:56 HybridSearchDocument: {Id:0003 Vector:[] SparseVector:[{TermId:21 Score:0.9827807} {TermId:51
Score:0.5527807} {TermId:1001 Score:0.445}] Score:0.12634 Fields:map[]}
2024/09/29 19:51:56 HybridSearchDocument: {Id:0002 Vector:[] SparseVector:[{TermId:21 Score:0.9727807} {TermId:51
Score:0.5427807} {TermId:1001 Score:0.444}] Score:0.12376 Fields:map[]}
参数名
参数含义
id
Document 的 ID 信息。
vector
Document 的向量值。
SparseVector
稀疏向量。
score
表示查询向量与检索结果向量之间的相似性计算分数。
author、page、section
Document 其他自定义的标量字段。