首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >1.基于Label studio的训练数据标注指南:信息抽取(实体关系抽取)、文本分类等

1.基于Label studio的训练数据标注指南:信息抽取(实体关系抽取)、文本分类等

作者头像
汀丶人工智能
发布于 2023-03-07 10:54:12
发布于 2023-03-07 10:54:12
2.3K01
代码可运行
举报
文章被收录于专栏:NLP/KGNLP/KG
运行总次数:1
代码可运行

文本抽取任务Label Studio使用指南

1.基于Label studio的训练数据标注指南:信息抽取(实体关系抽取)、文本分类等

2.基于Label studio的训练数据标注指南:(智能文档)文档抽取任务、PDF、表格、图片抽取标注等

3.基于Label studio的训练数据标注指南:文本分类任务

4.基于Label studio的训练数据标注指南:情感分析任务观点词抽取、属性抽取

目录

1. 安装

以下标注示例用到的环境配置:

  • Python 3.8+
  • label-studio == 1.7.1
  • paddleocr >= 2.6.0.1

在终端(terminal)使用pip安装label-studio:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
pip install label-studio==1.7.1
pip install label-studio
#安装过程报错ERROR: Could not install packages due to an OSError: [WinError 5] 拒绝访问
#添加管理员权限
pip install --user label-studio
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
#如果途中出现警告:WARNING: Ignoring invalid distribution -sonschema (d:\anaconda\envs\paddlenlp\lib\site-packages)
1.原因可能是之前下载库的时候没有成功或者中途退出,当包出现问题(例如缺少依赖项或与其他包冲突)时,可能会出现此警告消息。如果包与正在使用的 Python 版本不兼容,也可能发生这种情况。
2.到提示的目录site-packages下删除~ip开头的目录。
3.然后pip重新安装库即可。
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
#如果怕环境冲突就新建虚拟环境,单独安装
conda create -n test  python=3.8 #test为创建的虚拟环境名称

安装完成后,运行以下命令行:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
label-studio start

在浏览器打开http://localhost:8080/,输入用户名和密码登录,开始使用label-studio进行标注。

2. 文本抽取任务标注

2.1 项目创建

点击创建(Create)开始创建一个新的项目,填写项目名称、描述,然后选择Object Detection with Bounding Boxes

  • 填写项目名称、描述
  • 命名实体识别、关系抽取、事件抽取、实体/评价维度分类任务选择Relation Extraction`。
  • 文本分类、句子级情感倾向分类任务选择Text Classification
  • 添加标签(也可跳过后续在Setting/Labeling Interface中配置)

图中展示了实体类型标签的构建,其他类型标签的构建可参考2.3标签构建

2.2 数据上传

先从本地上传txt格式文件,选择List of tasks,然后选择导入本项目。

2.3 标签构建

  • Span类型标签
  • Relation类型标签

Relation XML模板:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
  <Relations>
    <Relation value="歌手"/>
    <Relation value="发行时间"/>
    <Relation value="所属专辑"/>
  </Relations>
  • 分类类别标签

2.4 任务标注

  • 实体抽取

标注示例:

该标注示例对应的schema为:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
schema = [
    '时间',
    '选手',
    '赛事名称',
    '得分'
]
  • 关系抽取

对于关系抽取,其P的类型设置十分重要,需要遵循以下原则

“{S}的{P}为{O}”需要能够构成语义合理的短语。比如对于三元组(S, 父子, O),关系类别为父子是没有问题的。但按照UIE当前关系类型prompt的构造方式,“S的父子为O”这个表达不是很通顺,因此P改成孩子更好,即“S的孩子为O”。合理的P类型设置,将显著提升零样本效果

该标注示例对应的schema为:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
schema = {
    '作品名': [
        '歌手',
        '发行时间',
        '所属专辑'
    ]
}
  • 事件抽取

该标注示例对应的schema为:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
schema = {
    '地震触发词': [
        '时间',
        '震级'
    ]
}
  • 句子级分类

该标注示例对应的schema为:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
schema = '情感倾向[正向,负向]'
  • 实体/评价维度分类

该标注示例对应的schema为:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
schema = {
    '评价维度': [
        '观点词',
        '情感倾向[正向,负向]'
    ]
}

2.5 数据导出

勾选已标注文本ID,选择导出的文件类型为JSON,导出数据:

2.6 数据转换

将导出的文件重命名为label_studio.json后,放入./data目录下。通过label_studio.py脚本可转为UIE的数据格式。

  • 抽取式任务
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
python label_studio.py \
    --label_studio_file ./data/label_studio.json \
    --save_dir ./data \
    --splits 0.8 0.1 0.1 \
    --task_type ext
  • 句子级分类任务

数据转换阶段,我们会自动构造用于模型训练的prompt信息。例如句子级情感分类中,prompt为情感倾向[正向,负向],可以通过prompt_prefixoptions参数进行配置。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
python label_studio.py \
    --label_studio_file ./data/label_studio.json \
    --task_type cls \
    --save_dir ./data \
    --splits 0.8 0.1 0.1 \
    --prompt_prefix "情感倾向" \
    --options "正向" "负向"
  • 实体/评价维度分类任务

在数据转换阶段,我们会自动构造用于模型训练的prompt信息。例如评价维度情感分类中,prompt为XXX的情感倾向[正向,负向],可以通过prompt_prefixoptions参数进行声明。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
python label_studio.py \
    --label_studio_file ./data/label_studio.json \
    --task_type ext \
    --save_dir ./data \
    --splits 0.8 0.1 0.1 \
    --prompt_prefix "情感倾向" \
    --options "正向" "负向" \
    --separator "##"

2.7 更多配置

  • label_studio_file: 从label studio导出的数据标注文件。
  • save_dir: 训练数据的保存目录,默认存储在data目录下。
  • negative_ratio: 最大负例比例,该参数只对抽取类型任务有效,适当构造负例可提升模型效果。负例数量和实际的标签数量有关,最大负例数量 = negative_ratio * 正例数量。该参数只对训练集有效,默认为5。为了保证评估指标的准确性,验证集和测试集默认构造全负例。
  • splits: 划分数据集时训练集、验证集所占的比例。默认为0.8, 0.1, 0.1表示按照8:1:1的比例将数据划分为训练集、验证集和测试集。
  • task_type: 选择任务类型,可选有抽取和分类两种类型的任务。
  • options: 指定分类任务的类别标签,该参数只对分类类型任务有效。默认为“正向”, “负向”。
  • prompt_prefix: 声明分类任务的prompt前缀信息,该参数只对分类类型任务有效。默认为"情感倾向"。
  • is_shuffle: 是否对数据集进行随机打散,默认为True。
  • seed: 随机种子,默认为1000.
  • schema_lang:选择schema的语言,将会应该训练数据prompt的构造方式,可选有chen。默认为ch
  • separator: 实体类别/评价维度与分类标签的分隔符,该参数只对实体/评价维度分类任务有效。默认为"##"。

备注:

  • 默认情况下 label_studio.py 脚本会按照比例将数据划分为 train/dev/test 数据集
  • 每次执行 label_studio.py 脚本,将会覆盖已有的同名数据文件
  • 在模型训练阶段我们推荐构造一些负例以提升模型效果,在数据转换阶段我们内置了这一功能。可通过negative_ratio控制自动构造的负样本比例;负样本数量 = negative_ratio * 正样本数量。
  • 对于从label_studio导出的文件,默认文件中的每条数据都是经过人工正确标注的。

References

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2023-03-02,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
1.基于Label studio的训练数据标注指南:信息抽取(实体关系抽取)、文本分类等
1.基于Label studio的训练数据标注指南:信息抽取(实体关系抽取)、文本分类等
汀丶人工智能
2023/03/03
2.5K1
2.基于Label studio的训练数据标注指南:(智能文档)文档抽取任务、PDF、表格、图片抽取标注等
1.基于Label studio的训练数据标注指南:信息抽取(实体关系抽取)、文本分类等
汀丶人工智能
2023/03/04
1.9K2
强烈推荐:数据标注平台doccano----简介、安装、使用、踩坑记录
GitHub - doccano/doccano: Open source annotation tool for machine learning practitioners.
汀丶人工智能
2022/12/21
19.8K1
强烈推荐:数据标注平台doccano----简介、安装、使用、踩坑记录
PaddleNLP--UIE(二)--小样本快速提升性能(含doccona标注)
本项目链接: https://aistudio.baidu.com/aistudio/projectdetail/4160689?contributionType=1 项目主页: https://
汀丶人工智能
2022/12/21
1.1K0
PaddleNLP--UIE(二)--小样本快速提升性能(含doccona标注)
4.基于Label studio的训练数据标注指南:情感分析任务观点词抽取、属性抽取
1.基于Label studio的训练数据标注指南:信息抽取(实体关系抽取)、文本分类等
汀丶人工智能
2023/03/05
6950
3.基于Label studio的训练数据标注指南:文本分类任务
1.基于Label studio的训练数据标注指南:信息抽取(实体关系抽取)、文本分类等
汀丶人工智能
2023/03/02
2K0
Paddlenlp之UIE分类模型【以情感倾向分析新闻分类为例】含智能标注方案)
项目连接:百度AIstudio直接fork我的项目就可以复现 Paddlenlp之UIE分类模型【以情感倾向分析新闻分类为例】含智能标注方案)
汀丶人工智能
2022/12/21
8840
Paddlenlp之UIE分类模型【以情感倾向分析新闻分类为例】含智能标注方案)
医疗领域实体抽取:UIE Slim最新升级版含数据标注、serving部署、模型蒸馏等教学,助力工业应用场景快速落地
本项目为UIE框架升级版本实体关系抽取,详细讲解了数据标注,以及医疗领域NER微调,同时完成基于SimpleServing的快速服务化部署,并考虑了在一些工业应用场景中对性能的要求较高,若不能有效压缩则无法实际应用。因此,将UIE模型的知识迁移到封闭域信息抽取小模型,同时使用FasterTokenizer进行文本预处理加速,整体提速7.6x倍。
汀丶人工智能
2023/05/30
3K0
医疗领域实体抽取:UIE Slim最新升级版含数据标注、serving部署、模型蒸馏等教学,助力工业应用场景快速落地
人工智能知识图谱之信息抽取:基于Labelstudio的UIE半监督深度学习的智能标注方案(云端版),提效。
总之,智能标注相对于人工标注有着更高的效率、更高的精度、更强的灵活性和更好的适用性,可以更好地满足用户的需求。
汀丶人工智能
2023/03/29
1.7K0
军事领域关系抽取:UIE Slim最新升级版含数据标注、serving部署、模型蒸馏等教学,助力工业应用场景快速落地
本项目为UIE框架升级版本实体关系抽取,详细讲解了数据标注,以及医疗领域NER微调,同时完成基于SimpleServing的快速服务化部署,并考虑了在一些工业应用场景中对性能的要求较高,若不能有效压缩则无法实际应用。因此,将UIE模型的知识迁移到封闭域信息抽取小模型,同时使用FasterTokenizer进行文本预处理加速,整体提速7.6x倍。
汀丶人工智能
2023/05/31
3.1K0
军事领域关系抽取:UIE Slim最新升级版含数据标注、serving部署、模型蒸馏等教学,助力工业应用场景快速落地
Paddlenlp之UIE模型实战实体抽取任务【打车数据、快递单】
本项目将演示如何通过小样本样本进行模型微调,快速且准确抽取快递单中的目的地、出发地、时间、打车费用等内容,形成结构化信息。辅助物流行业从业者进行有效信息的提取,从而降低客户填单的成本。
汀丶人工智能
2022/11/04
7680
基于Labelst基于Labelstudio的UIE半监督智能标注方案(本地版),赶快用起来udio的UIE半监督智能标注方案(本地版),赶快用起来
在使用label-studio后端之前,要先定义好自己的训练模型,模型的定义需要继承自label-studio指定的类,具体可参考第四节。
汀丶人工智能
2023/04/03
1.5K0
一文速学-知识图谱从零开始构建实战:知识图谱搭建构架实践-信息抽取
根据系列上篇文章,我们已经了解了知识图谱的基本概念,以及现在知识图谱发展状况,与前沿AI结合方向。现在就差真正实践构建知识图谱这临门一脚,基本上就会对知识图谱这一产品有更加清晰的认识。
fanstuck
2024/10/18
1.9K0
一文速学-知识图谱从零开始构建实战:知识图谱搭建构架实践-信息抽取
快递单信息抽取【三】--五条标注数据提高准确率,仅需五条标注样本,快速完成快递单信息任务
2.快递单信息抽取【二】基于ERNIE1.0至ErnieGram + CRF预训练模型
汀丶人工智能
2022/11/09
7920
PaddleNLP基于ERNIR3.0文本分类:WOS数据集为例(层次分类)
PaddleNLP基于ERNIR3.0文本分类以中医疗搜索检索词意图分类(KUAKE-QIC)为例【多分类(单标签)】
汀丶人工智能
2022/11/02
2.2K0
UIE_Slim满足工业应用场景,解决推理部署耗时问题,提升效能。
项目链接:fork一下即可 UIE Slim满足工业应用场景,解决推理部署耗时问题,提升效能! 如果有图片缺失查看原项目
汀丶人工智能
2022/12/21
2900
UIE_Slim满足工业应用场景,解决推理部署耗时问题,提升效能。
从整体视角了解情感分析、文本分类!
文本分类是自然语言处理(NLP)最基础核心的任务,或者换句话说,几乎所有NLP任务都是「分类」任务,或者涉及到「分类」概念。比如分词、词性标注、命名实体识别等序列标注任务其实就是Token粒度的分类;再比如文本生成其实也可以理解为Token粒度在整个词表上的分类任务。
Datawhale
2021/11/16
1.1K0
从整体视角了解情感分析、文本分类!
经典论文复现 | 基于标注策略的实体和关系联合抽取
过去几年发表于各大 AI 顶会论文提出的 400 多种算法中,公开算法代码的仅占 6%,其中三分之一的论文作者分享了测试数据,约 54% 的分享包含“伪代码”。这是今年 AAAI 会议上一个严峻的报告。 人工智能这个蓬勃发展的领域正面临着实验重现的危机,就像实验重现问题过去十年来一直困扰着心理学、医学以及其他领域一样。最根本的问题是研究人员通常不共享他们的源代码。
用户1386409
2019/03/07
1.4K0
经典论文复现 | 基于标注策略的实体和关系联合抽取
PaddleNLP基于ERNIR3.0文本分类以CAIL2018-SMALL数据集罪名预测任务为例【多标签】
PaddleNLP基于ERNIR3.0文本分类以中医疗搜索检索词意图分类(KUAKE-QIC)为例【多分类(单标签)】
汀丶人工智能
2022/11/03
9240
关系抽取论文整理,核方法、远程监督的重点都在这里
笔记中一部分来自个人解读,一部分来自原文,一部分来自网上摘录。部分笔记还不够完善,后续补上的话重点应该是这几年的前沿论文。
AI科技大本营
2020/02/24
1.3K0
关系抽取论文整理,核方法、远程监督的重点都在这里
推荐阅读
1.基于Label studio的训练数据标注指南:信息抽取(实体关系抽取)、文本分类等
2.5K1
2.基于Label studio的训练数据标注指南:(智能文档)文档抽取任务、PDF、表格、图片抽取标注等
1.9K2
强烈推荐:数据标注平台doccano----简介、安装、使用、踩坑记录
19.8K1
PaddleNLP--UIE(二)--小样本快速提升性能(含doccona标注)
1.1K0
4.基于Label studio的训练数据标注指南:情感分析任务观点词抽取、属性抽取
6950
3.基于Label studio的训练数据标注指南:文本分类任务
2K0
Paddlenlp之UIE分类模型【以情感倾向分析新闻分类为例】含智能标注方案)
8840
医疗领域实体抽取:UIE Slim最新升级版含数据标注、serving部署、模型蒸馏等教学,助力工业应用场景快速落地
3K0
人工智能知识图谱之信息抽取:基于Labelstudio的UIE半监督深度学习的智能标注方案(云端版),提效。
1.7K0
军事领域关系抽取:UIE Slim最新升级版含数据标注、serving部署、模型蒸馏等教学,助力工业应用场景快速落地
3.1K0
Paddlenlp之UIE模型实战实体抽取任务【打车数据、快递单】
7680
基于Labelst基于Labelstudio的UIE半监督智能标注方案(本地版),赶快用起来udio的UIE半监督智能标注方案(本地版),赶快用起来
1.5K0
一文速学-知识图谱从零开始构建实战:知识图谱搭建构架实践-信息抽取
1.9K0
快递单信息抽取【三】--五条标注数据提高准确率,仅需五条标注样本,快速完成快递单信息任务
7920
PaddleNLP基于ERNIR3.0文本分类:WOS数据集为例(层次分类)
2.2K0
UIE_Slim满足工业应用场景,解决推理部署耗时问题,提升效能。
2900
从整体视角了解情感分析、文本分类!
1.1K0
经典论文复现 | 基于标注策略的实体和关系联合抽取
1.4K0
PaddleNLP基于ERNIR3.0文本分类以CAIL2018-SMALL数据集罪名预测任务为例【多标签】
9240
关系抽取论文整理,核方法、远程监督的重点都在这里
1.3K0
相关推荐
1.基于Label studio的训练数据标注指南:信息抽取(实体关系抽取)、文本分类等
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档