jina-ocr-v1 是 Jina AI (隶属于 Elastic)推出的全新预处理模型,专为文本扫描、富文本图像数据、完整渲染的印刷页面以及其他难以数字化的印刷品而设计。它是一款 端到端 的 文档解析器,能够从视觉布局理解文档结构,并利用 AI 将原始图像数据处理成可用于索引和进一步处理的结构化文本。只需一次 AI 模型调用,即可将扫描页面、拍摄的文档、幻灯片以及超过 100 种语言的手写笔记转化为结构化、机器可读的文本。
光学字符识别(OCR)长期以来一直是 AI 追求的目标,在一些简单场景(例如布局简单、图像清晰、标准字体以及资源丰富的标准化语言)中,使用廉价的传统软件即可实现非常高的可靠性。但真实数据是杂乱无章的。文档的扫描件和照片往往模糊不清,图像经过压缩,质量参差不齐。此外,页面布局可能非常复杂。这些例子甚至还未考虑手写体和全球语言。
jina-ocr-v1 是一个经过专门训练的 视觉语言模型 (VLM)。与通用的 大型语言模型 (LLM) 不同,它不回答问题。它只训练做一件事:按照人类阅读图像时理解的连贯顺序输出图像中的文本,同时保留内容视觉结构中重要的部分。
这在一个模型中集成了原本需要多个模型和专门程序组成的流水线才能实现的功能集合,包括:
jina-ocr-v1 总共有 34 亿参数,但由于采用了 混合专家架构,它在任意时刻只使用模型的一部分。在响应用户输入时,仅使用 5.7 亿参数(约总量的六分之一),但这 5.7 亿参数具体是哪些,是在 推理 时动态确定的。这意味着 jina-ocr-v1 在内存占用上与任何其他 34 亿参数模型相当,但运行速度却与 5.7 亿参数模型一样快。
项目 | 规格 |
|---|---|
总参数量 | 34亿(10⁹)参数 |
激活参数 | 5.7亿 |
骨干网络 | DeepSeek-OCR |
输入分辨率 | 1024x1024,但额外支持更高分辨率区域。在2048x2048分辨率下无法辨认的特征通常无法被正确读取。 |
输出 | UTF-8 文本,标题和列表使用 Markdown 格式,表格使用 HTML,数学公式使用 LaTeX。 |
完整的 jina-ocr-v1 模型是一个拥有 34 亿(3.4×10⁹)参数的 混合专家 模型,激活参数为 5.7 亿。它基于 DeepSeek-OCR 的编码器-解码器架构,并增加了 FastMTP,该技术通过同时预测多个输出 token 来降低推理时的计算负载。这种方法使得处理更高效,推理时延迟更低、资源消耗更少。

图 1: _jina-ocr-v1_ 的架构。
有关模型架构的更多信息,请参阅 技术报告 和 jina-ocr-v1 在 Hugging Face 上的模型页面。
遵循 DeepSeek-OCR 架构,图像会被调整为 1024x1024 并处理成 256 个输入 token 供文本解码器使用。为了纳入更多细节,图像还会根据其分辨率和几何形状,额外处理成最多 9 个裁剪后的高细节图像块,每个块最多再处理成 100 个额外的 token。对于特征尺寸过小、在 2048x2048 分辨率下无法辨认的非常大图像,可能无法正确处理。
jina-ocr-v1 自动支持所有常见图像格式。然而,它本身不支持 PDF。你需要将 PDF 页面转换为图像格式(我们建议使用最小压缩的 PNG),才能与 jina-ocr-v1 配合使用。多种开源和商业工具均可完成此任务。
有关输入处理的更多细节,请参阅 jina-ocr-v1 和 DeepSeek-OCR 的 技术报告。
jina-ocr-v1 生成的文本采用 Markdown 格式,仅支持与不同 Markdown 实现最兼容的 基本语法元素。Markdown 以简单、人类可读的格式支持常见的文本结构信息,如标题和列表。它很容易转换为 HTML 和其他富文本格式。
该模型对表格和数学公式的编码偏离了基础 Markdown。具体来说:
<table>、<th>、<tr> 和 <td> 标签,不包含 CSS 或其他样式表信息。amsmath 包。jina-ocr-v1 在 olmOCR-bench 上位列顶级模型,并且是激活参数低于 6 亿的模型中综合表现最好的。它处于 AI OCR 模型的 帕累托前沿,这意味着所有在该基准测试中表现更好的模型都拥有更多激活参数,因此需要比 jina-ocr-v1 更多的计算能力和资源。
模型 | 总参数量 | 激活参数 | olmOCR-bench 综合得分 |
|---|---|---|---|
Infinity-Parser2-Pro | 350亿 | 29.5亿 | 87.6 |
Chandra 2 | 53亿 | 49.6亿 | 85.8 |
dots.mocr | 30亿 | 15.4亿 | 83.9 |
jina-ocr-v1 | 34亿 | 5.74亿 | 83.4 |
Surya OCR 2 | 6.5亿 | 5.85亿 | 83.3 |
LightOnOCR-2-1B | 10亿 | 5.96亿 | 83.2 |
Chandra 1 | 90亿 | 75.7亿 | 83.1 |
Infinity-Parser-7B | 80亿 | 70.7亿 | 82.5 |
PaddleOCR-VL-1.6 | 9亿 | 9亿 | 81.0 |
Falcon-OCR | 3亿 | 2.7亿 | 80.3 |
Qianfan-OCR | 50亿 | 40.2亿 | 79.8 |
dots.ocr | 30亿 | 15.4亿 | 79.1 |
DeepSeek-OCR 2 | 30亿 | 5.7亿 | 76.3 |
表 1: jina-ocr-v1 在 olmOCR-bench 顶级模型中的表现。

图 2: _jina-ocr-v1_ 在 olmOCR-bench 测试套件上的帕累托(性能 vs. 大小)前沿位置。只有计算量更大的模型才有明显更高的发布分数。
OmniDocBench(表 2)提供了更为复杂的情况,但 jina-ocr-v1 在从 VLM 改编而来的专用 OCR 模型中得分很高。然而,对比表 1 和表 2 可以发现,没有同等规模的模型能够在两个基准测试中都击败 jina-ocr-v1,这表明其高性能在不同任务类型上具有稳健性。
模型 | 总参数量 | 激活参数 | OmniDocBench 综合得分 |
|---|---|---|---|
PaddleOCR-VL-1.6 | 9亿 | 9亿 | 96.34 |
HunyuanOCR | 10亿 | 10亿 | 94.74 |
jina-ocr-v1 | 34亿 | 5.74亿 | 91.14 |
dots.ocr | 30亿 | 30亿 | 90.77 |
DeepSeek-OCR 2 | 30亿 | 5.75亿 | 90.25 |
表 2: jina-ocr-v1 在 OmniDocBench 上的得分与精选的顶级专用 VLM 模型对比。
表 3 将 jina-ocr-v1 与具备视觉能力的非专用 LLM 进行了比较。在 OmniDocBench 上,它显著优于 GPT-5.2 和最大的 Qwen3 VLM,同时在综合得分上接近 Gemini 3。
模型 | 总参数量 | 激活参数 | OmniDocBench | ||
|---|---|---|---|---|---|
综合得分 | TextEdit 得分* | ReadOrderEdit 得分* | |||
Ovis2.6-30B-A3B | 300亿 | 30亿 | 93.7 | 0.035 | 0.135 |
Gemini 3 Pro | 闭源模型,未公开 | 92.91 | 0.064 | 0.165 | |
Gemini 3 Flash | 闭源模型,未公开 | 92.62 | 0.066 | 0.172 | |
jina-ocr-v1 | 34亿 | 5.74亿 | 91.14 | 0.046 | 0.142 |
Qwen3-VL-235B | 2350亿 | 220亿 | 89.78 | 0.063 | 0.166 |
GPT-5.2 | 闭源模型,未公开 | 86.59 | 0.114 | 0.193 |
* TextEdit 和 ReadOrderEdit 基准测试的评分标准是数值越小越好。
表 3: jina-ocr-v1 与用于 OCR 任务的顶级通用 LLM 的得分对比。
如表 3 所示,在专注于正确阅读顺序和整体字符级准确度(TextEdit 和 ReadOrderEdit)的 OmniDocBench 测试中,jina-ocr-v1 轻松 击败 了全部三个前沿 LLM。只有 Ovis2.6-30B-A3B 在 OmniDocBench 的所有领域得分更高,但其总参数量几乎是 jina-ocr-v1 的九倍,激活参数约为六倍。
要使用你自己的数据测试,可以 在 Jina AI 网站上试用,或阅读 五种访问 jina-ocr-v1 OCR API 的方式 部分,了解如何将其集成到你的文档处理和搜索流水线中。
OCR 已经存在很长时间了,久到很多人已经领教过它的缺陷。问题不在于识别页面上的字母有多么困难(尤其是在图像清晰且使用现代数字字体的情况下),而在于从左到右识别字母只是理解印刷内容的第一步。
考虑下图,它摘自 2024 年 6 月/7 月英国版《Cosmopolitan》杂志的印刷版:

图 3: 图片摘自英国《Cosmopolitan》2024 年 6 月/7 月合刊第 17 页,来自 Internet Archive。
仅仅从左到右读取会产生混乱、不可读、无用的文本,即使每个单词和字母都正确识别。一个优秀的 OCR 模型必须 解析 图像,像人类一样识别各个元素之间的相互关系,并按照预期的阅读顺序读取文本,同时关注字体和空间组织。
它还必须识别那些 不应 出现在输出中的元素。一个页面可能包含附带文字的图像,例如图 3 中的书籍封面。通常还有不属于内容的页眉和页脚信息,如页码和固定模板。在 OCR 之后过滤这些元素很困难,因此识别并移除它们必须成为预处理或 OCR 过程本身的一部分。
图 4 展示了 jina-ocr-v1 如何解析图 3 中的图像,包括需要忽略的元素。每个彩色块表示属于同一组的文本元素,包含文本以及可能的其他块,而书籍图片被标记出来,因为虽然它们包含文本,但这些文本不属于 OCR 输出。

图 4: 同一印刷页面被解析为 OCR 过程需要考虑的元素和应忽略的元素。
这些问题意味着,对于布局复杂的材料,传统 OCR 需要多阶段流程,使用不同的算法来:
每个阶段都很脆弱,错误会通过处理流水线累积。
相反,端到端文档解析在一个鲁棒的单次生成式语言过程中完成了所有这些工作。
jina-ocr-v1 能轻松处理这种视觉复杂的文档,如图 5 所示,不仅捕捉到了单词,还正确排序,保留了标题和章节的结构信息,并忽略了书籍图片中的文字以及非内容的页眉和页脚。

图 5: _jina-ocr-v1_ 处理图 3 中图像后输出的 Markdown 格式。
jina-ocr-v1 所做的不仅仅是识别页面上的字母。它管理复杂的结构信息,支持超过 100 种语言。它还以 Markdown 风格的格式返回信息,这种格式既人类可读,又得到下游应用程序的原生广泛支持。
识别并提取表格听起来很简单,但要在没有 AI 模型的情况下做好非常具有挑战性。
例如,考虑来自近期 Jina AI 会议论文 的这个表格:

图 6: 一个来自正式会议论文的渲染表格,最初用 LaTeX 编写。
缺乏表格感知的 OCR 软件可能会产生类似这样的结果:
Model AI2D Chart Text Doc Info OCR SEED CharXiv AvgQA VQA VQA VQA Bench 2+ (RQ/DQ) jina-vlm 82.0 81.9 83.2 90.6 71.6 778 67.2 32.3/63.5 72.3Qwen3-VL-2B 76.9 77.2 79.5 92.3 71.9 858 67.3 28.8/62.3 71.6IVL3.5-2B 78.8 80.7 76.5 88.5 69.3 836 68.0 31.6/65.0 71.6IVL3-2B 78.6 80.2 77.0 87.4 67.1 835 64.6 28.3/54.7 69.2Qwen2-VL-2B 74.7 73.5 79.7 89.2 64.0 809 62.4 23.3/55.0 66.4如果没有进一步处理,这个结果作为表格是无用的。但是,当面对同一个表格时,jina-ocr-v1 会生成干净、极简的 HTML:

图 7: _jina-ocr-v1_ 为图 6 中的表格图像生成的 HTML。为了紧凑显示,移除了一些空白。
这个 HTML 生成的功能上相同的表格,适用于显示、读入电子表格或其他支持表格的应用程序,或进行其他进一步处理。

图 8: 图 7 中的 HTML 在浏览器中渲染。为了清晰起见,通过样式表添加了可见边框。
当表格出现在包含其他文本的页面中时,HTML 表格会被插入到 Markdown 输出中,如图 9 所示:


图 9: 一个包含表格的示例文档页面(左),以及渲染后的 Markdown 输出,包括 HTML 表格,通过 CSS 为清晰起见添加了可见边框(右)。
数学公式在视觉上复杂且非线性,充满了看起来像普通印刷文字但无法像普通文字那样处理的形状。jina-ocr-v1 经过专门训练,能够识别印刷数学公式并将其转换为 LaTeX 数学代码。
图 10 是从近期 Jina AI 会议论文 中截取的一段富公式文本图像:


图 10: 一篇科学论文的摘录(左),以及 _jina-ocr-v1_ 处理该图像的原始输出(右)。位于“$”字符之间的部分是 LaTeX 数学公式。
将图 10 生成的输出粘贴到一个新的 LaTeX 文档中(包含 \usepackage{amsmath})并编译成可打印形式后,结果在功能上是相同的,只是缺少了原始文档中的块级公式对齐:

图 11: _jina-ocr-v1_ LaTeX 公式输出,重新编译为 LaTeX。一些块对齐信息丢失了,但数学公式全部完整且正确。
jina-ocr-v1 同时支持印刷体和草书手写体:


图 12: 1941 年一个孩子写给美国总统富兰克林·D·罗斯福的手写信,保存在 FDR 总统图书馆(左),以及 _jina-ocr-v1_ 的输出(右)。请注意,右上角档案管理员的草书标注字体完全不同,由于上下文太少而难以处理。
草书手写体变化极大,人类读者也可能会吃力。虽然 jina-ocr-v1 在工整的英文草书上表现良好,但潦草的书写对它来说和人类一样难以辨认。当书写潦草、OCR 捕捉不佳或以其他方式难以辨认时,jina-ocr-v1 的表现可能会相当差。
例如,下面的手写字来自著名儿童书籍插画家 比阿特丽克斯·波特:

图 13: 比阿特丽克斯·波特写给一位小朋友的信(上),以及提取的文本(下)。
jina-ocr-v1 能够准确捕捉图 13 中流畅的草书,即使文字环绕着波特画的老鼠图案。但顶部的地名书写得较为潦草,且缺乏消歧义的上下文,导致出现错误。即使是人类读者也可能觉得难以辨认。
jina-ocr-v1 针对复杂布局的扩展训练使其能很好地处理非常规材料。以下示例展示了模型能力的一些范围。


图 14: Elastic NV 最近一个季度的财务演示幻灯片(左),以及通过 HTML 渲染的 _jina-ocr-v1_ 输出(右)。请注意,模型正确提取了标题和副标题的层级,并将每个文本与正确的标题关联起来。它还忽略了页码和固定的 Elastic 标志。
jina-ocr-v1 能处理企业商业报告中视觉密集的页面,如图 15:


图 15: SpaceX 2026 年第二季度收益报告(2026 年 8 月 4 日)第 2 页(左),以及渲染后的 _jina-ocr-v1_ 输出(右)。_jina-ocr-v1_ 能够理解“星链覆盖国家”与“167”的关系,而简单的基于列的读取无法建立这种关联。
光鲜的商业报告和演示文稿通常具有复杂、视觉上吸引人的布局,这给传统 OCR 的正确处理带来了困难。jina-ocr-v1 特别擅长这类材料,如下面图 16 中的示例:


图 16: 日本 明治集团 的 2025 年综合报告 第 2 页(上),以及 _jina-ocr-v1_ 输出的 HTML 渲染版本(下)。请注意,原始页面中的视觉元素层次结构在 Markdown 输出中得到了保留。
jina-ocr-v1 可以读取标签和图形设计材料上的印刷文字。这对于高信息含量材料(如医疗包装)尤其有用:


图 17: 来自美国政府 DailyMed 网站的药品包装图片(上),以及从 Markdown 渲染为 HTML 的提取文本(下)。
只要图像质量足够高,它在处理更传统的消费品标签和照片时同样出色,如图 18 所示:


图 18: 一种常见家居产品,标签上带有文字(左),以及渲染为 HTML 的提取输出(右)。
jina-ocr-v1 在处理视觉紧凑的文档(如名片)时毫无困难:


图 19: 一张 来自 Wikimedia Commons 的名片照片(左),以及 HTML 渲染的文本结果(右)。请注意,三级标题层级得到了保留,并且 _jina-ocr-v1_ 正确理解了加拿大邮政编码的字母数字结构,在“K0K 1Z0”中正确地插入了“1”和“0”(而不是“I”和“O”)。
jina-ocr-v1 已在超过 100 种全球自然语言上进行了训练。它能够为多种多样的全球媒体提供高质量的 OCR,无需额外的模块来支持不同的语言或文字系统。
单语言 OCR 软件(尤其是针对英语的)通常在渲染字母上的变音符号方面存在困难。大多数语言都会使用变音符号,如果不能准确渲染变音符号,可能会导致索引、信息检索及其他下游应用失败。
即使在西欧语言(如法语和德语)中,像 c-cedilla (Ç) 和 Eszett (ß) 这样的修改字母,也是许多 OCR 套件众所周知的难题:


图 20: _jina-ocr-v1_ 在同一张图片中处理法语的 c-cedilla (Ç) 和德语的 Eszett (ß)(左),以及纯文本 Markdown 结果(右)。
图 21 和图 22 展示了 jina-ocr-v1 处理捷克语和土耳其语的情况,这两种语言使用大量带有变音符号的修改拉丁字母:


图 21: 捷克政府的 COVID-19 信息,原始 PDF(左),以及 _jina-ocr-v1_ 的 Markdown 输出渲染为 HTML(右)。


图 23: 建筑施工公司 GEK TERNA(ΓΕΚ ΤΕΡΝΑ)的希腊语新闻稿(左),以及提取的文本(右)。


图 24: 乌克兰语 演示幻灯片(上),以及 jina-ocr-v1 输出的 Markdown 通过 HTML 渲染的结果(下)。
jina-ocr-v1 超越了拉丁文书写系统。你已经在图 16 中看到了其对日语的支持,此外它还处理其他主要亚洲语言。
中文:


图 25: 中文。老乡鸡餐厅新食品溯源报告系统的公开宣传材料,下载自 新浪网(左),以及 jina-ocr-v1 输出的含 HTML 表格布局的 Markdown 渲染结果(右)。
韩语:


图 26: 韩语。现代集团 2026 年第二季度收益公告 第 3 页,原始 PDF(左),以及渲染后的 Markdown(右)。
泰语:


图 27: 泰语。2026 年 8 月 26 日泰国日报 Thairath (ไทยรัฐ) 首页截图(上),以及从中提取的文本(下)。
印地语:


图 28: 印地语。来自 BBC 印地语 网站的标题截图(左),以及 jina-ocr-v1 提取的文本(右)。
阿拉伯语:


图 29: 阿拉伯语。美国政府关于 COVID-19 的公共信息宣传册(左),以及 jina-ocr-v1 提取的文本(右)。
jina-ocr-v1 在处理混合语言的材料时表现出色:


图 30: 美国农业部(USDA)的通知,包含英文、西班牙文、越南文、中文和阿拉伯文(左),全部被 jina-ocr-v1 正确处理(右)。
jina-ocr-v1 应位于数据管道的前端或接近前端,将渲染的文本图像预处理为干净的统一码文本和易于处理的结构化格式。这为管道的每个下游环节增加了价值。你的数据摄取管道出错更少,检索准确度更高。此外,检索到的数据无论对人类读者还是智能体 AI 都更易于直接使用。
有五种访问和使用 jina-ocr-v1 的方式:
访问方式 | 接口 | 原生 PDF 支持 | 许可 | 最适合 |
|---|---|---|---|---|
Elastic 推理 API / EIS | chat_completions 推理端点 | 暂不支持;需先将页面转换为图像 | 包含在 Elastic Cloud 中 | 已向 Elasticsearch 摄取数据的团队 |
Jina API | HTTP 服务,预付费令牌 | 暂不支持;需先将页面转换为图像 | 按令牌付费 | 在 Elasticsearch 之外使用,无需 Elastic 账户 |
本地安装 | Jina On-Prem 或从 Hugging Face 下载 | 暂不支持;需先将页面转换为图像 | 学术和非商业用途使用 CC BY-NC 4.0;商业用途请联系 Elastic Sales | 隔离网络、受监管或高吞吐量工作负载 |
Jina AI Reader API | HTTP 头部 X-Respond-With: jina-ocr-v1 | 是;自动将 PDF 和 HTML 转换为图像 | 作为 Reader API 服务的一部分 | 如果输入是 PDF 或网页,这是最快的途径 |
jina-ocr-v1 通过 Elastic 推理 API 和 EIS 作为推理端点使用。
由于 jina-ocr-v1 返回流式文本(类似于聊天式 LLM),因此通过 chat_completions 接口访问。我们正在将原生 PDF 支持集成到 Elastic 服务中,并将在不久后推出。在此之前,你需要先将 PDF 文档处理成图像。
对于想要试用 jina-ocr-v1 或不想通过 Elasticsearch 服务基础设施访问的用户,可以通过 Jina API 使用标准 HTTP 服务访问。该服务使用预付费令牌,无需固定订阅,并提供 1000 万免费令牌供免费试用。
更多信息,请访问 该模型在 jina.ai 的页面 和 jina-ocr-v1 沙盒。
Jina AI 模型可通过 Jina On-Prem 以及 Hugging Face 上的模型页面 下载和商业授权使用。Jina AI 的最新模型在 CC BY-NC 4.0 许可下,对学术研究和非商业用途免费。如需商业授权本地安装,请联系 Elastic Sales。
你可以配置 Jina AI Reader API 服务 以结合多种附加功能使用 jina-ocr-v1,包括自动将 PDF 和 HTML 转换为图像。这不是默认设置。要配置 Jina AI Reader API 使用 jina-ocr-v1,请在请求的头部参数中添加以下内容:
X-Respond-With: jina-ocr-v1要使用此服务,请参阅 jina.ai 上的 Reader API 文档页面。
有关更多信息,请参阅该模型的 技术报告 和 Hugging Face 页面。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。