NLP快速入门：手把手教你用HanLP做中文分词

导读：随着自然语言处理(Natural Language Processing, NLP)技术日趋成熟，实现中文分词的工具也越来越多。中文分词技术作为中文自然语言处理的第一项核心技术，是众多上层任务的首要基础工作，同时在日常的工作中起着基础性的作用。本文将讲解如何在Python环境下调用HanLP包进行分词，并结合Python语言简约的特性，实现一行代码完成中文分词。

常用中文分词工具

01 什么是中文分词？

众所周知，英文是以词为单位的，词和词之间是靠空格隔开。而在汉语中，词以字为基本单位，但是一篇文章的语义表达却仍然是以词来划分。例如，英文句子"I am a student"，用中文则为："我是一个学生"。计算机可以很简单通过空格知道"student"是一个单词，但是不能很容易明白"学"、"生"两个字合起来才表示一个词。把中文的汉字序列切分成有意义的词，就是中文分词，有些人也称为切词。"我是一个学生"，分词的结果是："我 是 一个 学生"。因此，需要针对中文汉字，将其按照一定的方式进行组织，分成不同的词。

中文分词是让计算机自动识别出句子中的词，然后在词间加入边界标记符。这个过程的主要困难在于分词规范、歧义切分和未登陆词的识别。

分词规范可以理解为国人并没有统一对汉语词的认识，对汉语词的认识的操作尺度很难把握，极易受到主观因素的影响，从而无法提供一个公认的、具有权威性的词表（例如普通说话人的语感与语言学家的标准就有较大的差异）。

歧义切分可以举例如下："南京市长江大桥"的分词有两种切分，"南京市\长江大桥" 和 "南京\市长\江大桥"。这种情况在汉语文本中非常普遍，并且处理这类问题往往也要复杂得多。

未登录词的识别（生词）可以有两种解释：一是指已有词典中没有收录的词；二是指已有的训练语料中未曾出现过的词。所以从某种意义上来说，生词对分词的影响是最容易处理的。

02 HanLP分词

1. 安装HanLP

HanLP的API总体来说并不多，且需要进行的配置并不复杂，适合新手上手。下载完成后，可以使用如下命令进行安装。要求Python 3.6以上，支持Windows，可以在CPU上运行，推荐GPU/TPU。

pip install pyhanlp

注：若未安装Java则会报如下错误。因为HanLP 主项目采用 Java 开发，所以需要 Java 运行环境，请安装 JDK。

jpype.jvmfinder.JVMNotFoundException: No JVM shared library file (jvm.dll) found. Try setting up the JAVAHOME environment variable properly.

项目Github地址：https://github.com/hankcs/pyhanlp

2. 分词实战

2.1 简单实例

首先，我们通过一个官网的实例直观认识下HanLP的分词结果。

import pyhanlp
text = '铁甲网是中国最大的工程机械交易平台'
words = []
for term in pyhanlp.HanLP.segment(text):
    words.append(term.word)
print(words)  #输出分词结果

分词结果如下所示。

['铁甲', '网', '是', '中国', '最大', '的', '工程', '机械', '交易', '平台']

2.2 自定义词典分词

接着，我们通过自定义增加不同领域内的专有名词的词典，从而进一步优化HanLP的分词结果。

CustomDictionary.add("铁甲网")
    CustomDictionary.insert("工程机械", "nz 1024")
    CustomDictionary.add("交易平台", "nz 1024 n 1")
    print(HanLP.segment(txt))

分词结果如下所示。

['铁甲网', '是', '中国', '最大', '的', '工程机械', '交易平台']

2.3 优化分词代码

最后，我们可以利用Python语言的简约性将代码优化成如下一行。

其中，text 存放的是待分词的文本；

正则表达式 re.fullmatch(r'[\u4e00-\u9fa5]+',i) 的作用是仅保留汉字，过滤掉非汉字之外的字符。

words = [i for i in [i.word for i in pyhanlp.HanLP.segment(text)] if re.fullmatch(r'[\u4e00-\u9fa5]+',i)]

当然了，HanLP作为开源框架，并不是只有分词这一个功能，还提供了很多在分词之上的算法，如关键词提取、自动摘要、依存句法分析、情感分析等，这里不再赘述。