- 综合排序
- 最热优先
- 最新优先
- 来自专栏TEL18600524535
解码文档信息抽取技术：从原始文档到结构化数据
文档信息抽取技术正是解决这一难题的关键，它犹如一位不知疲倦的数据矿工，能够从非结构化的文档中挖掘出结构化的知识宝藏，为信息的高效利用和分析提供了有力支持工作原理：从原始文档到结构化数据文档信息抽取技术的核心工作流程可分为四个关键阶段 功能特点：智能抽取的多维优势现代文档信息抽取系统展现出多方面优势：高精度与召回率得益于深度学习技术的应用：现代系统在多数场景下能达到90%以上的抽取准确率，大幅降低人工校验成本。 法律与合规部门效率提升：法律合同、合规文档中的条款、日期、义务等信息被自动抽取和分类，大大减轻律师和合规人员的工作负担。 从信息海洋到知识图谱，文档信息抽取技术正帮助我们重新发现和利用那些沉睡在文档中的宝贵信息，开启智能信息处理的新纪元。 文档信息抽取技术作为连接非结构化文档与结构化数据的桥梁，正在成为企业数字化转型的核心驱动力之一。它不仅是技术进步的体现，更是人类应对信息过载挑战的重要工具，将持续赋能智能时代的知识管理和决策支持。
33610编辑于 2025-08-26 - 来自专栏有三AI
【信息抽取】如何使用BERT进行关系抽取
，我们今天就介绍基于BERT的关系抽取模型。 我们可以认为模型对分类任务起到关键效果的部分有3个： 1.BERT【CLS】embedding，学习到了句子级的特征 2.BERT实体embedding，学习到了实体的语义特征 3.特殊符号，带给了模型实体的边界及位置信息 这主要是因为，在关系分类的任务中，句子的语义信息和两个实体的词级信息均很重要。通过两个分隔符，能够帮助BERT学习两个实体的位置，从而提高模型对实体的表征能力。 3 BERT Joint抽取模型 上述模型是一个单纯的关系分类模型，在前面的关系抽取文章中我们提到过，联合抽取通常具有更好的效果，下面介绍一种基于BERT的联合抽取模型，即通过一个模型能够得到输入文本中的实体以及实体之间的关系 如上图所示，是本文要介绍的联合抽取模型的结构图，可以把这个模型分成3个部分： 1.NER Module，实体抽取模块。 2.RE Module，关系分类模块。 3. BERT，共享特征抽取模块。
6.3K12发布于 2020-08-10 - 来自专栏机器学习
关键信息抽取简介
关键信息抽取的常见应用场景在实际应用中，关键信息抽取在多个领域具有广泛的应用，包括：财务票据：从发票中提取金额、日期、发票号码等信息。医疗文档：从医疗记录中提取病人信息、诊断结果、药物名称等。 关键信息抽取中的挑战文档格式多样性：不同文档的布局和格式差异大，增加了抽取的难度。噪声与错误识别：OCR过程中可能会产生误识别，影响后续的信息抽取。 语言与领域多样性：不同语言、不同领域的文档需要定制化的抽取策略和模型。6. 如何优化关键信息抽取模型？ 常见的数据增强技术包括图像旋转、噪声添加、文档裁剪等。6.2 多模态融合结合视觉特征（如文档布局、字体大小）和文本特征，使用多模态模型进行信息抽取，提升模型的综合理解能力。 结论与展望关键信息抽取是OCR技术的重要延伸，能够将识别出的文本转换为结构化数据，为智能化文档处理提供支持。随着深度学习和多模态技术的发展，关键信息抽取的准确率和应用范围将进一步扩大。
74700编辑于 2024-08-15 - 来自专栏自然语言处理(NLP)论文速递
蚂蚁 && 复旦 | 提出全新多模态文档信息抽取模型
这项研究对视觉富文档的信息抽取具有重要的科研意义和现实应用价值。 因此，对视觉富文档的结构化分析和信息抽取是企业生产中的必要一环，自动化地从视觉富文档中提取关键信息，是企业数字化服务的一项关键性技术。 这两项任务是最基础的信息抽取任务，不但定义了最基础的信息抽取任务范式，也是其他信息抽取任务的基础。ROP 任务旨在按照人类阅读顺序排列文档标注中的文字内容，是重要的文档理解任务。 先前的两个评测基准中，布局标注和现实应用场景存在不一致，不适合用于评价现实场景中的文档信息抽取。 综上所述，TPP 很好地解决了文档信息抽取中的阅读顺序问题，而且可以低成本地适配于不同的文档编码器。
2.1K10编辑于 2023-12-12 - 来自专栏通用文字识别信息技术白皮书
文档信息抽取技术：从非结构化文本到结构化信息的旅程
文档信息抽取技术是一种将非结构化文本转化为结构化信息的技术。这种技术可以从各类文档中自动提取出如实体、关系和其他重要信息，并将它们转化为方便计算机进一步处理和分析的格式。 5.文档结构分析：面对海量的文档，仅仅处理纯文本内容已经不够，文档的结构和布局也包含了大量的隐含信息。 这不仅提高了信息提取的准确性，还捕获了文档中的细微关联和暗示。 7.错误处理与容错机制：在信息密集的世界中，完美的数据是罕见的。文档中可能会充斥着错误、歧义和各种噪音，这些因素都可能导致信息抽取的偏差和不准确性。 总的来说，错误处理与容错机制旨在建立一个强大、适应性强和可靠的系统，能够在复杂、嘈杂的数据环境中持续提供高质量的信息抽取。
2K10编辑于 2023-09-22 - 来自专栏自然语言处理(NLP)论文速递
一文了解信息抽取(Information Extraction)【关系抽取】
引言 信息抽取（information extraction），简称IE，即从自然语言文本中，抽取出特定的事件或事实信息，帮助我们将海量内容自动分类、提取和重构。 这些信息通常包括实体（entity）、关系（relation）、事件（event）。例如从新闻中抽取时间、地点、关键人物，或者从技术文档中抽取产品名称、开发时间、性能指标等。 能从自然语言中抽取用户感兴趣的事实信息，无论是在知识图谱、信息检索、问答系统还是在情感分析、文本挖掘中，信息抽取都有广泛应用。 关系抽取（RE）是为了抽取文本中包含的关系，是信息抽取（IE）的重要组成部分。主要负责从无结构文本中识别出实体，并抽取实体之间的语义关系，被广泛用在信息检索、问答系统中。 ACE关系抽取任务数据集：ACE2005关系抽取数据集包含599篇与新闻和邮件相关的文档，其数据集内包含7大类25小类关系。
3.4K20发布于 2020-08-17 - 来自专栏素质云笔记
ltp︱基于ltp的无监督信息抽取模块（事件抽取评论观点抽取）
无监督信息抽取较多都是使用哈工大的ltp作为底层框架。 那么基于ltp其实有了非常多的小伙伴进行了尝试，笔者私自将其归纳为： 事件抽取（三元组） 观点抽取 “语言云” 以哈工大社会计算与信息检索研究中心研发的 “语言技术平台（LTP）” 为基础，为用户提供高效精准的中文自然语言处理云服务 技术文档：http://pyltp.readthedocs.io/zh_CN/latest/api.html#id15 介绍文档：https://www.ltp-cloud.com/intro/#introduction 1.2 code粗解读 1.3 结果展示 2 三元组事件抽取 + 因果事件抽取 2.1 三元组事件抽取 2.2 因果事件抽取 ---- 1 信息抽取 - 搭配抽取 code可见：mattzheng/ 这个包括对文本进行噪声移除，非关键信息去除等。 3、因果事件抽取。这个包括基于因果模式库的因果对抽取。 4、事件表示。
5.3K30发布于 2019-05-26 - 来自专栏有三AI
【信息抽取】如何使用循环神经网络进行关系抽取
为了从文本中抽取这些关系事实，从早期的模式匹配到近年的神经网络，大量的研究在多年前就已经展开。 本文介绍一种基于循环神经网络的关系抽取方法。 作者&编辑 | 小Dream哥 1 导论 因为基于统计的关系抽取方法需要复杂的特征过程，基于深度学习的方法得以引入，最早的应用在关系抽取中的深度学习模型是CNN，上一篇我们介绍了一种较早的用于关系抽取的 RNN时最适合做时序特征抽取的模型，本文介绍一种简单的基于RNN的关系抽取框架，虽然简单，但是在当时取得了非常不错的效果。 前面介绍的都是关系分类模型，下一篇介绍一种一个模型就能够抽取出来实体和关系的联合模型。 下期预告：一种端到端的关系抽取模型
1.5K30发布于 2020-07-20 - 来自专栏机器学习/数据可视化
NLP札记3-信息抽取
信息抽取 信息抽取是个宽泛的概念，指的是从非结构化的文本中提取出结构化的信息来的一种技术。 信息抽取（information extraction），即从自然语言文本中，抽取出特定的事件或事实信息，帮助我们将海量内容自动分类、提取和重构。 新词的提取分为： 提取大量的文本（生语料）中的词语，无论新旧 用词典过滤掉已有的词语，得到新的词语 信息熵 信息熵指的是某条消息所含的信息量。不确定性越大，信息量越大。 互信息 互信息指的是两个离散型随机变量XY之间的相关程度的度量。 TF-IDF TF-IDF（Term Frequency-Inverse Document Frequency, 词频-倒排文档频次）是信息检索中一个重要的词语重要程度的统计指标，广泛用于搜索引擎中，它属于多文档提取方法
90120发布于 2021-03-02 - 来自专栏有三AI
【信息抽取】如何使用卷积神经网络进行关系抽取
本文首先介绍一种基于卷积神经网络的关系抽取方法。 作者&编辑 | 小Dream哥 1 导论 在引入深度学习之前，在NLP领域，关系抽取最优的方法是基于机器学习的方法。 因此，基于机器学习的关系抽取方法代价大且效果不佳。这里介绍一种比较早的应用深度卷积神经网络进行关系抽取的方法，由神经网络进行特征抽取，避免了手动的特征提取，实现了端到端的关系抽取。 2) 特征抽取层 鉴于关系分类是一个复杂的任务，模型需要学习实体的词语级特征和整个句子的语义级别的特征，才能完成关系的分类。 因此模型的特征抽取包括两个部分，词语级特征抽取和句子级特征抽取。 词语级的特征抽取提取局部的词语级的信息，句子级的特征抽取提取全局的语义信息，二者结合提高模型的准确性。 1.词语级特征抽取（Lexical Level Features） ? 总结 本文介绍了一种基于深度学习的关系抽取的方法，这是用深度学习处理关系抽取任务最早的工作之一了，避免了早期用机器学习方法的人工特征提取，取得了当时最好的效果。
1.2K20发布于 2020-07-14 - 来自专栏有三AI
【信息抽取】NLP中关系抽取的概念，发展及其展望
作者&编辑 | 小Dream哥 1 什么是RE 信息抽取（Information Extraction，IE）的工作主要是从非结构化的文本中抽取结构化的信息，是自然语言处理中非常重要的一个子领域。 如上图所示，关系抽取就是从文本中抽取出实体，并甄别他们之间的关系的任务。图中，先抽取出Tim Cook和Apple，然后根据文本中蕴含的语义信息，认为Tim Cook是Apple公司的CEO。 Models）能够更多的获取文本的语义信息，因而具有更强大的抽取能力。 现实情况中，两个实体及关于他们关系的信息可能会贯穿整个文档（文档可能很长）；也有可能一段文本中，包含非常多的实体以及实体之间的关系，如上图所示，展示了一段文本中包含复杂关系的例子。 总结 关系抽取是信息抽取中最重要的部分，是知识图谱、文本结构化等重要的NLP任务的主要技术，是非常重要的一项NLP技能，后续我们会聚焦NRE，介绍更多的RE模型，请大家持续留意与关注。
1.2K20发布于 2020-07-01 文档抽取进入「说人话」时代：用Prompt就能提取发票、合同、简历的关键信息
在此情况下，文档抽取能力（将PDF、图片、扫描件等非结构化文档中的信息自动提取并转化为结构化数据如JSON）成为一项极其重要的基础能力，它将PDF扫描件、医疗影像报告、物流单据等“不可用数据”实时转化为可计算 常规文档抽取工具的工作流程与痛点典型抽取工作流程首先要求详细的字段配置，对于信息量大的情况，还需进行复杂分组。接着，如要处理输出数据格式，一般需要数据工程师编写后处理脚本，通过命令或代码来实现。 AI驱动抽取极简版用户不再需要字段配置或复杂的正则表达式。取而代之的是，可以通过简洁的prompt告诉模型需要抽取什么信息。 智能文档抽取极简版beta基于优秀的版面分析技术，结合LLM本身强大的文本理解和生成能力，精准且灵活地定位提取数据信息，且使得许多简单的格式转换（日期格式化、数字清理、基础的单位转换）可以直接在模型生成输出时完成 文档抽取技术正处于从“复杂配置+编码”向“自然语言指令驱动”快速演进的过程中，结合LLM能力的新一代工具极大地提升了易用性和灵活性，正在成为解决文档信息自动化提取难题的更优方案。
20810编辑于 2025-07-09- 来自专栏机器学习AI算法工程
文档级关系抽取方法，EMNLP 2020 paper
目前大多数关系抽取方法抽取单个实体对在某个句子内反映的关系，在实践中受到不可避免的限制：在真实场景中，大量的关系事实是以多个句子表达的。文档中的多个实体之间，往往存在复杂的相互关系。 因此，有必要将关系抽取从句子级别推进到文档级别。 文档级关系抽取数据集DocRED 2019年的ACL上提出了一个关系抽取数据集DocRED，为文档级关系抽取的研究提供了一个非常好的标注数据集，今年的ACL上，就有论文使用DocRED作为语料，提出了文档级关系抽取的模型 与传统的基于单句的关系抽取数据集相比，不同之处在于，DocRED中超过40%的关系事实只能从多个句子中联合抽取，因此需要模型具备较强的获取和综合文章中信息的能力，尤其是抽取跨句关系的能力。 图神经网络 相比较传统的CNN和RNN，图神经网络能够更好地在文档层面上建立实体之间的联系，从而实现文档级的关系推理。因此在解决文档级实体关系抽取任务中，图神经网络的主流的方法。
1.2K30发布于 2021-04-01 - 来自专栏大大的小数据
PaddleNLP通用信息抽取有点强2022.5.18
1、代码 # 实体抽取 from pprint import pprint from paddlenlp import Taskflow schema = ['时间', '选手', '赛事名称'] # forkThirdPart=1 @@@三行代码，一键预测：开放域信息抽取，还有更多NLP场景能力_副本 https://aistudio.baidu.com/aistudio/education/lessonvideo /2445602 三行代码即可完成一键预测 @实战视频教程 4、 # 实体抽取 from pprint import pprint from paddlenlp import Taskflow schema
39520编辑于 2022-09-22 信息抽取管道构建实用技巧
信息抽取管道构建实用技巧什么是信息抽取 将文本转化为数据。从财报中创建数据库，或从招聘信息中提取技能，或从社交媒体中获取产品反馈——还有更多应用。 包含多个子任务。 文本分类、命名实体识别、实体链接、关系抽取都可以成为信息抽取管道的一部分。 主要是静态模式。大多数人一次只解决一个问题，因此本文将重点讨论这种情况。 信息抽取流程示例数据库："Hooli筹集500万美元革新搜索，由ACME Ventures领投"命名实体识别：识别公司实体（COMPANY）货币标准化：识别金额实体（MONEY）实体消歧：通过自定义数据库查找进行实体解析关系抽取 ：识别投资者关系（INVESTOR）检索增强生成 vs 信息抽取检索RIE（通过信息抽取检索）：问题 → 文本到SQL查询 → 数据NLP管道 → 文本 +RAG（检索增强生成）：问题 → 向量化查询 标注从自家开始制定标注指南召开标注会议确保标注一致性关键要点总结 形成和验证假设⚗ 优先考虑鲁棒性 缩小规模并迭代 想象自己是模型 完成到生产的管道⚡ 敏捷并自行标注 保持任务小型化 使用模型辅助通过遵循这些实用技巧，可以更有效地构建和部署信息抽取管道
15510编辑于 2025-08-26- 来自专栏杨建荣的学习笔记
通过shell脚本抽取MySQL实例信息
说完这个，我们来看下面的两个表格信息，你们能看出什么潜在问题，可能字体有些小，可以点开放大来看。 一般来说，我们印象中的实例信息，基本都是CPU,内存等的系统属性，加上归属的业务等信息，其实这些信息是一些概要的信息，如果我们想得到一些更细粒度的信息，从哪个维度得到呢，推荐是从实例维度。 实例维度我拆分了如下的属性，能够得到一个实例相对全面的信息。如果实例是比较规范的，可能得到的结果是一个比较规整的格式，看起来会有些单调的样子。 当然如果不规整，配置存在较大差异的，可能会是这种情况。 从这些信息里面，我们可以挖掘出很多待改进的信息，比如内存配置不够合理，server_id的配置规范，binlog的保留周期太短，redo太小，事务隔离级别不统一，数据量< buffer_pool_size 关于使用脚本来抽取实例信息，来来回回更新了几版，之前的链接如下： 通过shell脚本检测MySQL服务信息 使用shell脚本得到MySQL实例列表 新版本的信息更完整，更全面了，值得吐槽的就是，写shell
1.5K20发布于 2018-09-29 - 来自专栏机器学习AI算法工程
ChatIE（LLM大模型用于信息抽取）
利用ChatGPT实现零样本信息抽取（Information Extraction，IE），看到零样本就能大概明白这篇文章将以ChatGPT作为一个基座然后补全前后端，来实现抽取任务。 主要针对抽取中的三个重要任务： 对于句子：《我的爱情日记》是1990年在北京上映的中国… 实体关系三元组抽取任务，如（我的爱情日记，上映日期，1990年） 命名实体识别任务，如人物的实体有（吴天戈，…） （对应三个任务分别为实体、关系或事件），通过这种方式可以提前过滤到不需要的信息，以减少搜索和计算复杂度。 如上图中的上半部分，输入给chatGPT的信息为：“给定的句子为：sentence。给定实体/关系/事件类型列表：[…]。 第二阶段，对第一阶段识别出的每个元素按照任务执行相应的信息抽取。由于有些问题比较复杂，所以作者们设计了问题模板链，即某个元素的抽取可能取决于前一些元素的抽取。
1.4K10编辑于 2023-10-28 - 来自专栏有三AI
【信息抽取】介绍一种端到端的关系抽取方法
但是，在现实的场景中，我们遇到最多的问题是，需要直接从非结构的文档中抽取出<e1, r, e2>的三元组。 如果采用上述的模型，就需要先用NER任务，讲文本的中的实体抽取出来；随后，基于NER的结构，用关系分类模型对抽取到的实体的关系进行识别。 如上图所示是该基于循环神经网络和卷积神经网络的实体及其关系分类的联合抽取模型的框架图，从图中可知，模型的输入是一段话；输出包括一个序列标注序列和一个预测的类别，实现了实体抽取和关系分类的联合抽取。 联合抽取的一个主要思想是参数共享，这个模型可以分开去看，包括实体抽取和关系分类两个部分。 2.让NER和RC模型共享参数，让RC模型能够充分利用NER模型获取到的实体间的语义信息。
1.2K10发布于 2020-07-22 - 来自专栏深度学习自然语言处理
【NLP基础】信息抽取(Information Extraction:NER(命名实体识别),关系抽取)
机器学习算法与自然语言处理出品 @公众号原创专栏作者 刘浪 单位 | 快商通科技股份有限公司 自然语言处理实习生 信息抽取的定义为：从自然语言文本中抽取指定类型的实体、关系、事件等事实信息，并形成结构化数据输出的文本处理技术 信息抽取是从文本数据中抽取特定信息的一种技术。 抽取文本数据中的名词短语、人名、地名等都是文本信息抽取，当然，文本信息抽取技术所抽取的信息可以是各种类型的信息。 本文介绍从文本中提取有限种类语义内容的技术。 关系抽取：发现和分类文本实体之间的语义关系。这些关系通常是二元关系，如子女关系、就业关系、部分-整体关系和地理空间关系。 命名实体识别(NER) 信息提取的第一步是检测文本中的实体。 关系抽取 关系抽取需要从文本中抽取两个或多个实体之间的语义关系，主要方法有下面几类： 基于模板的方法(hand-written patterns) 基于触发词/字符串 基于依存句法 监督学习(supervised
12.3K32发布于 2020-02-18 - 来自专栏NLP/KG
2.基于Label studio的训练数据标注指南：（智能文档）文档抽取任务、PDF、表格、图片抽取标注等
文档抽取任务Label Studio使用指南 1.基于Label studio的训练数据标注指南：信息抽取（实体关系抽取）、文本分类等 2.基于Label studio的训练数据标注指南：（智能文档）文档抽取任务 文档抽取任务标注 2.1 项目创建 2.2 数据上传 2.3 标签构建 2.4 任务标注 2.5 数据导出 2.6 数据转换 2.7 更多配置 1. 文档抽取任务标注 2.1 项目创建 点击创建（Create）开始创建一个新的项目，填写项目名称、描述，然后选择Object Detection with Bounding Boxes。 填写项目名称、描述 图片 命名实体识别、关系抽取、事件抽取、实体/评价维度分类任务选择Object Detection with Bounding Boxes` 图片 文档分类任务选择Image Classification prompt_prefix: 声明分类任务的prompt前缀信息，该参数只对分类类型任务有效。默认为"情感倾向"。 is_shuffle: 是否对数据集进行随机打散，默认为True。
2.2K10编辑于 2023-03-04
腾讯云开发者
