文字识别多模态向量

1. 接口描述

接口请求域名： ocr.tencentcloudapi.com 。

本接口基于多模态向量模型，支持文本、图片、视频及图文混合输入并转换为向量，可用于跨模态检索、RAG 召回、相似度计算与聚类分析等场景。

默认接口请求频率限制：20次/秒。

推荐使用 API Explorer

点击调试

API Explorer 提供了在线调用、签名验证、SDK 代码生成和快速检索接口等能力。您可查看每次调用的请求内容和返回结果以及自动生成 SDK 调用示例。

2. 输入参数

以下请求参数列表仅列出了接口请求参数和部分公共参数，完整公共参数列表见公共请求参数。

参数名称	必选	类型	描述
Action	是	String	公共参数，本接口取值：GenerateVLEmbedding。
Version	是	String	公共参数，本接口取值：2018-11-19。
Region	否	String	公共参数，此参数为可选参数。
Model	是	String	选择生成向量的模型。取值： 0：vl-embedding-4b 1：vl-embedding-8b 2：vl-embedding-2b 示例值：0
Type	是	String	内容类型标识。取值： 1：文本 2：图像 URL 3：视频 URL 4：图文混合示例值：2
Text	否	String	文本内容。仅当 Type 为 1 或 4 时必填，单条文本不超过 2000 字符。示例值：这件商品有同款吗
ImageUrl	否	String	图像地址，支持公网 http/https 链接或 base64 内容。仅当 Type 为 2 或 4 时必填。示例值：https://ocr-demo-1254418846.cos.ap-guangzhou.myqcloud.com/document/SubmitMarkEssayAgentJob/1.jpg
VideoUrl	否	String	视频地址，支持公网 http/https 链接或 base64 内容。仅当 Type 为 3 时必填。示例值：https://sls-layer-ap-guangzhou-code-1301293904.cos.ap-guangzhou.myqcloud.com/%E9%89%B4%E4%BC%AA%E6%A0%B7%E5%BC%A0/00085_54d34776.mp4
SearchMode	否	String	检索场景，未传入该参数时将自动匹配。取值： 0：自动匹配 1：图搜图（找同款、相似图），仅 Type 为 2 或 4 时可用 2：图文搜图（图 + 问题），仅 Type 为 4 时可用 3：文搜图（纯文本搜图），仅 Type 为 1 或 4 时可用 4：文搜视频（纯文本搜视频），仅 Type 为 1 或 4 时可用 5：图搜视频、图文搜视频，仅 Type 为 2 或 4 时可用示例值：0

3. 输出参数

参数名称	类型	描述
Data	Array of EmbeddingObject	向量化结果列表。单条图文混合输入可能返回多个向量。
InputTokens	Integer	输入 Token 数，多模态场景含图像、视频折算的 Token。示例值：990
TotalTokens	Integer	总 Token 数。示例值：990
RequestId	String	唯一请求 ID，由服务端生成，每次请求都会返回（若请求因其他原因未能抵达服务端，则该次请求不会获得 RequestId）。定位问题时需要提供该次请求的 RequestId。

4. 示例

示例1 图文混合示例

输入示例

POST / HTTP/1.1
Host: ocr.tencentcloudapi.com
Content-Type: application/json
X-TC-Action: GenerateVLEmbedding
<公共请求参数>

{
    "Model": "0",
    "Type": "2",
    "ImageUrl": "https://ocr-demo-1254418846.cos.ap-guangzhou.myqcloud.com/document/SubmitMarkEssayAgentJob/1.jpg",
    "VideoUrl": "https://sls-layer-ap-guangzhou-code-1301293904.cos.ap-guangzhou.myqcloud.com/%E9%89%B4%E4%BC%AA%E6%A0%B7%E5%BC%A0/00085_54d34776.mp4",
    "SearchMode": "0"
}

输出示例

{
    "Response": {
        "Data": [
            {
                "Embedding": [
                    0.14095914
                ],
                "Index": 0
            }
        ],
        "InputTokens": 990,
        "TotalTokens": 990,
        "RequestId": "0c2a5d99-68bf-4809-87d3-aef51f0fbb57"
    }
}

5. 开发者资源

腾讯云 API 平台

腾讯云 API 平台是综合 API 文档、错误码、API Explorer 及 SDK 等资源的统一查询平台，方便您从同一入口查询及使用腾讯云提供的所有 API 服务。

API Inspector

用户可通过 API Inspector 查看控制台每一步操作关联的 API 调用情况，并自动生成各语言版本的 API 代码，也可前往 API Explorer 进行在线调试。

SDK

云 API 3.0 提供了配套的开发工具集（SDK），支持多种编程语言，能更方便的调用 API。

Tencent Cloud SDK 3.0 for Python: CNB, GitHub, Gitee
Tencent Cloud SDK 3.0 for Java: CNB, GitHub, Gitee
Tencent Cloud SDK 3.0 for PHP: CNB, GitHub, Gitee
Tencent Cloud SDK 3.0 for Go: CNB, GitHub, Gitee
Tencent Cloud SDK 3.0 for Node.js: CNB, GitHub, Gitee
Tencent Cloud SDK 3.0 for .NET: CNB, GitHub, Gitee
Tencent Cloud SDK 3.0 for C++: CNB, GitHub, Gitee
Tencent Cloud SDK 3.0 for Ruby: CNB, GitHub, Gitee

命令行工具

Tencent Cloud CLI 3.0

6. 错误码

以下仅列出了接口业务逻辑相关的错误码，其他错误码详见公共错误码。

错误码	描述
FailedOperation.EngineRecognizeTimeout	引擎识别超时。
FailedOperation.InvalidFileFormat	输入文档格式不符合
FailedOperation.UnKnowError	未知错误。
InvalidParameterValue.InvalidParameterValueLimit	参数值错误。

多模态向量

本页目录：