PDF文档理解：超越纯文本的技术架构

征服PDF：超越纯文本的文档理解

如果所有数据都是干净、纯文本的，NLP和数据科学就会变得非常简单。但在实践中，大量数据被隐藏在PDF、Word文档、扫描件及其他难以处理的格式中。本演讲将介绍一种新的模块化方法，利用最先进的模型和强大的Python生态系统，构建稳健的文档理解系统。内容涵盖如何从PDF转换到结构化数据，甚至为特定用例构建完全自定义的信息提取流水线。

在实践示例中，使用了某开源NLP库、新的文档解析库以及布局分析模型。此外，还会涉及基于图像的文本光学字符识别（OCR）、如何将表格数据转换为Pandas DataFrame，以及为文本分类、实体识别等信息提取任务创建训练和评估数据的策略（以PDF和其他文档作为输入）。

相关资源

• 从PDF到AI就绪的结构化数据：一篇深度文章，介绍如何为行业用例构建端到端的文档理解和信息提取流水线。
• 文档解析库：开源库及模型，用于处理PDF、Word文档及类似格式，包括布局分析、OCR和表格结构识别功能。
• 某NLP库的布局扩展：开源库及插件，通过文档解析库支持，用于处理PDF、Word文档等。
• 标注工具插件：用于某标注工具的插件，包含基于图像和文本的PDF标注功能。
• 文档解析技术报告（作者等，2024年）
• 基于Transformer的表格结构理解（作者等，2022年）
• 人在回路的知识蒸馏实践指南：介绍在真实世界应用中使用最新模型，并将其知识蒸馏为更小、更快、可内部运行和维护组件的实用解决方案。

核心技术演示

文档处理流程

许多企业希望电子副本与纸质文档一一对应，这导致大量数据被锁定在PDF中。

某开源NLP库（用于工业级自然语言处理）可以与文档解析库结合，处理文档并创建类似该库原生文档对象的统一结构化格式。

布局分析扩展的功能包括：

• 处理基于文本的内容
• 识别文档布局（如章节类型）
• 获取内容、标记和边界框偏移量
• 结合基于Transformer的英文流水线处理PDF，生成文档对象
• 对文档对象应用NLP流水线，获得命名实体、词性标签、依存关系等

示例应用：查找包含某个实体（如组织名）的布局跨度，获取其边界框、最近的标题和章节标题。

表格处理

利用表格结构理解模型，可将文档中的表格转换为pandas DataFrame，并自定义表格在文本中的表示形式（例如："表格包含列：名称，金额"）。

标注与模型训练

使用标注工具插件，可通过命令行运行标注流程：

• 输入数据、章节信息
• 标注实体（如事件、地点）
• 数据保存到数据集

随后可训练NLP模型：

• 指定输出数据集和评估集比例
• 应用PDF处理和模型评估
• 大规模处理文档，最终部署模型

关键建议

• 尽早将数据从PDF中提取出来：使用统一的结构化格式。PDF不是可靠的真相来源。
• 结合可独立开发的NLP组件：模块化是核心优势。
• 布局分析模型正在稳步提升：变得更好、更快、更小，这仅仅是个开始。FINISHED