百度飞桨：ERNIE 3.0 、通用信息抽取 UIE、paddleNLP的安装使用[一]

 相关文章：

基础知识介绍：

【一】ERNIE：飞桨开源开发套件，入门学习，看看行业顶尖持续学习语义理解框架，如何取得世界多个实战的SOTA效果？_汀、的博客-CSDN博客_ernie模型

百度飞桨：ERNIE 3.0 、通用信息抽取 UIE、paddleNLP的安装使用[一]_汀、的博客-CSDN博客_paddlenlp 安装

 项目实战：

PaddleHub--飞桨预训练模型应用工具{风格迁移模型、词法分析情感分析、Fine-tune API微调}【一】_汀、的博客-CSDN博客

PaddleHub--{超参优化AutoDL Finetuner}【二】_汀、的博客-CSDN博客

PaddleHub实战篇{词法分析模型LAC、情感分类ERNIE Tiny}训练、部署【三】_汀、的博客-CSDN博客

PaddleHub实战篇{ERNIE实现文新闻本分类、ERNIE3.0 实现序列标注}【四】_汀、的博客-CSDN博客

https://github.com/PaddlePaddle/PaddleNLP

https://github.com/PaddlePaddle/PaddleNLP

1.安装paddle

参考官网：开始使用_飞桨-源于产业实践的开源深度学习平台

首先在anaconda下创建虚拟环境：

conda create -n test  python=3.8 #test为创建的虚拟环境名称

在安装paddle

python -m pip install paddlepaddle==2.3.0 -i https://mirror.baidu.com/pypi/simple

验证安装

安装完成后您可以使用 python 进入python解释器，输入import paddle ，再输入 paddle.utils.run_check() 如果出现PaddlePaddle is installed successfully!，说明您已成功安装。

• 环境主要安装Python和Paddle对应版本要求的环境，中间建议使用pip安装方式进行安装。
• Python3版本要求：python3.7及以上版本，参考Welcome to Python.org
• PaddlePaddle版本要求：paddlepaddle2.0+版本，参考MacOS下的PIP安装-使用文档-PaddlePaddle深度学习平台
• Paddle环境的安装，需要确认Python和pip是64bit，并且处理器架构是x86_64（或称作x64、Intel 64、AMD64）架构，目前PaddlePaddle不支持arm64架构（mac M1除外，paddle 已支持Mac M1 芯片）。下面的第一行输出的是”64bit”，第二行输出的是”x86_64”、”x64”或”AMD64”即可：

python -c "import platform;print(platform.architecture()[0]);print(platform.machine())"

2.通用信息抽取 UIE

paddlenlp安装

环境依赖

• python >= 3.6
• paddlepaddle >= 2.2

pip install --upgrade paddlenlp

show paddlenlp

2.1 PaddleNLP一键预测功能：Taskflow API

环境依赖

• python >= 3.6
• paddlepaddle >= 2.2.0
• paddlenlp >= 2.2.5

 PaddleNLP提供一键预测功能，无需训练，直接输入数据即可开放域抽取结果：【信息提取】

from pprint import pprint

from paddlenlp import Taskflow

schema = ['时间', '选手', '赛事名称'] # Define the schema for entity extraction

ie = Taskflow('information_extraction', schema=schema) #花费时间会安装文件

pprint(ie("2月8日上午北京冬奥会自由式滑雪女子大跳台决赛中中国选手谷爱凌以188.25分获得金牌！"))

[{'时间': [{'end': 6,
          'probability': 0.9857379716035553,
          'start': 0,
          'text': '2月8日上午'}],
  '赛事名称': [{'end': 23,
            'probability': 0.8503087823987343,
            'start': 6,
            'text': '北京冬奥会自由式滑雪女子大跳台决赛'}],
  '选手': [{'end': 31,
          'probability': 0.8981548639781138,
          'start': 28,
          'text': '谷爱凌'}]}]

 当然定义实体提取的模式有一定灵活性：

ie = Taskflow('information_extraction', schema=schema)

[{'分数': [{'end': 39,
          'probability': 0.9873907344274926,
          'start': 32,
          'text': '188.25分'}],
  '时间': [{'end': 6,
          'probability': 0.9857379716035553,
          'start': 0,
          'text': '2月8日上午'}],
  '赛事名称': [{'end': 23,
            'probability': 0.8503087823987343,
            'start': 6,
            'text': '北京冬奥会自由式滑雪女子大跳台决赛'}],
  '选手': [{'end': 31,
          'probability': 0.8981548639781138,
          'start': 28,
          'text': '谷爱凌'}]}]

 这里如果增加“”“奖牌、名次”等实体则无法实现

schema = ['时间', '选手', '赛事名称',"城市","分数"] # Define the schema for entity extraction

[{'分数': [{'end': 39,
          'probability': 0.9873907344274926,
          'start': 32,
          'text': '188.25分'}],
  '城市': [{'end': 8,
          'probability': 0.8775704061407907,
          'start': 6,
          'text': '北京'}],
  '时间': [{'end': 6,
          'probability': 0.9857379716035553,
          'start': 0,
          'text': '2月8日上午'}],
  '赛事名称': [{'end': 23,
            'probability': 0.8503087823987343,
            'start': 6,
            'text': '北京冬奥会自由式滑雪女子大跳台决赛'}],
  '选手': [{'end': 31,
          'probability': 0.8981548639781138,
          'start': 28,
          'text': '谷爱凌'}]}]

2.2 小样本调参----轻定制功能

如果对一键预测效果不满意，也可以使用少量数据进行模型精调，进一步提升特定场景的效果，详见UIE小样本定制训练。

PaddleNLP/model_zoo/uie at develop · PaddlePaddle/PaddleNLP · GitHubEasy-to-use and powerful NLP library with Awesome model zoo, supporting wide-range of NLP tasks from research to industrial applications, including Neural Search, Question Answering, Information Extraction and Sentiment Analysis end-to-end system. - PaddleNLP/model_zoo/uie at develop · PaddlePaddle/PaddleNLP

https://github.com/PaddlePaddle/PaddleNLP/tree/develop/model_zoo/uie我们推荐使用数据标注平台doccano 进行数据标注

对于简单的抽取目标可以直接使用paddlenlp.Taskflow实现零样本（zero-shot）抽取，对于细分场景我们推荐使用轻定制功能（标注少量数据进行模型微调）以进一步提升效果。下面通过报销工单信息抽取的例子展示如何通过5条训练数据进行UIE模型微调。

代码结构： ├── utils.py          # 数据处理工具 ├── model.py          # 模型组网脚本 ├── doccano.py        # 数据标注脚本 ├── doccano.md        # 数据标注文档 ├── finetune.py       # 模型微调脚本 ├── evaluate.py       # 模型评估脚本 └── README.md

标注安装和标注指南：

https://github.com/PaddlePaddle/PaddleNLP/blob/develop/model_zoo/uie/doccano.md

最终效果展示：

Few-Shot实验

我们在互联网、医疗、金融三大垂类自建测试集上进行了实验：

0-shot表示无训练数据直接通过paddlenlp.Taskflow进行预测，5-shot表示基于5条标注数据进行模型微调。实验表明UIE在垂类场景可以通过少量数据（few-shot）进一步提升效果。

3.PaddleNLP Transformer预训练模型

PaddleNLP Transformer预训练模型 — PaddleNLP 文档

PaddleNLP的Transformer预训练模型包含从 huggingface.co 直接转换的模型权重和百度自研模型权重，方便社区用户直接迁移使用。 目前共包含了40多个主流预训练模型，500多个模型权重。

Transformer预训练模型适用任务汇总

使用预训练模型Fine-tune完成中文文本分类任务

https://github.com/PaddlePaddle/PaddleNLP/tree/develop/examples/text_classification/pretrained_models/