注意:最近的2.0版本在使用自定义模型包和策展时存在较大的向后不兼容性。
欢迎使用KAZU(韩国阿斯利康大学),这是一个与韩国大学合作构建的Python生物医学自然语言处理框架,旨在处理生产工作负载。
该库旨在简化在生产系统中使用最先进的自然语言处理研究的过程。其中包含的研究部分是我们自己的,但大部分来自社区,我们对此深表感激。
如果您想使用KAZU,请引用我们在EMNLP 2022上发表的论文!
需要Python 3.9或更高版本(已在Python 3.11上测试)。
可以选择以下方式之一:
pip install kazu或者从发布页面下载wheel文件并在本地安装。
如果您打算在自己的代码库中使用Mypy,请考虑使用以下方式安装KAZU:
pip install kazu[typed]这将引入kazu依赖项的类型存根,以便mypy在类型检查您的代码库时能够访问尽可能多的相关类型信息。
对于大多数功能,您还需要KAZU模型包。这与每个版本相关联,可以在发布页面上找到。下载后,解压存档并设置环境变量:
export KAZU_MODEL_PACK=<path to the extracted archive>KAZU是高度可配置的(使用Hydra),尽管它预装了适用于大多数文献处理用例的默认配置。
要利用这些配置并处理简单文档:
import hydra
from hydra.utils import instantiate
from kazu.data import Document
from kazu.pipeline import Pipeline
from kazu.utils.constants import HYDRA_VERSION_BASE
from pathlib import Path
import os
# Hydra配置保存在模型包中
cdir = Path(os.environ["KAZU_MODEL_PACK"]).joinpath("conf")
@hydra.main(
version_base=HYDRA_VERSION_BASE, config_path=str(cdir), config_name="config"
)
def kazu_test(cfg):
pipeline: Pipeline = instantiate(cfg.Pipeline)
text = "EGFR mutations are often implicated in lung cancer"
doc = Document.create_simple_document(text)
pipeline([doc])
print(f"{doc.get_entities()}")
if __name__ == "__main__":
kazu_test()根据Apache 2.0许可证授权。
KAZU包含符合兼容许可证的元素(完整许可证位于相关文件中或按指示注明):
对于当前使用的每个本体版本,请参阅kazu/conf/ontologies中的'data_origin'字段
根据知识共享署名-相同方式共享 3.0 未移植许可证:
根据知识共享署名 4.0 未移植许可证:
其他许可数据集和模型:
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。