中文分词组件：thulac及jieba试用手记
一、THULAC
THULAC由《清华大学自然语言处理与社会人文计算实验室》研制推出的一套中文词法分析工具包。 官网地址：http://thulac.thunlp.org，该项目提供了多种语言，本文以java版为例，先下载以下二个组件： 1、THULAC_lite_v1_2分词java版可执行的jar包：THULAC_lite_java_v1_2_run.jar 2、THULAC模型，包括分词模型和词性标注模型（v1_2）: Models_v1_v2(v1_2).zip 把THULAC模型解压到与jar文件相同的目录下，默认会生成models目录。
然后创建一个input.txt做为输入，这里选择了一首歌词：
郁可唯-茶汤
词曲：方文山
山岚像茶杯上的云烟
颜色越来越浅
你越走越远
有好多的话还来不及兑现，你就不见
我身后窗外那片梯田
像一段段从前
我站在茶园，抬头望着天，想象你会在山的，那一边
我说再喝一碗我熬的茶汤
你说你现在马上要渡江
渡江到那遥远的寒冷北方
就怕你的手会冻僵
你何时回来喝我熬的茶汤
这次我会多放一些老姜
你寄来的信一直搁在桌上
不知要寄还哪地方
北风它经过多少村落
来来回回绕过
分不清那年，我求天保佑，只见风声大做，却更寂寞 使用方法：
java -jar THULAC_lite_java_v1_2_run.jar -seg_only -input input.txt -output output.txt上面表示，将从input.txt做为输入，然后仅分词（不做词性标注)，并将结果生成到output.txt(如果这个文件没生成，会自动创建)
输出结果：
郁可唯 - 茶 汤
词曲 ： 方文山
山岚 像 茶杯 上 的 云烟
颜色 越来越 浅
...
北风 它 经过 多少 村落
来来回 回绕 过
分 不 清 那年 ， 我 求 天 保佑 ， 只见 风声 大 做 ， 却 更 寂寞其它一些通用的参数：
####1.2.通用参数
-t2s 将句子从繁体转化为简体
-seg_only 只进行分词，不进行词性标注
-deli delimeter 设置词与词性间的分隔符，默认为下划线_
-filter 使用过滤器去除一些没有意义的词语，例如“可以”。
-user userword.txt 设置用户词典，用户词典中的词会被打上uw标签。词典中每一个词一行，UTF8编码(python版暂无)
-model_dir dir 设置模型文件所在文件夹，默认为models/
####1.3.Java版特有的参数
-input input_file 设置从文件读入，默认为命令行输入
-output output_file 设置输出到文件中，默认为命令行输出比较有用的参数：-user userword.txt，可以创建自定义词典，比如象上面的歌词，“茶汤”、“来来回回”、“分不清” 这三个词，都拆成了：
茶 汤
来来回 回绕 过
分 不 清 那年 如果希望这3个词不分，可以创建一个userword.txt的文件，类似下面这样：
茶汤
来来回回
绕过
分不清
风声大做然后加上-user userword.txt，输出结果会有变化：
郁可唯 - 茶汤
...
来来回 回绕 过
分不清 那年 ， 我 求 天 保佑 ， 只见 风声大做 ， 却 更 寂寞“茶汤”，“分不清”这二个词，已经按预期正确识别了，但是“来来回回”却并没有。
二、jieba分词组件
官网地址：https://github.com/fxsjy/jieba
这里我们使用python版本(java版本的功能比较弱)，pip3 install jieba后，可以参考如下使用方法：
python3 -m jieba -u /Users/yangjunming/Downloads/thulac/userword.txt -d ' ' /Users/yangjunming/Downloads/thulac/input.txt > /Users/yangjunming/Downloads/thulac/jieba_output.txt解释一下：
-u 表示使用自定义词典
-d ' ' 表示分词的间隔符，使用空格（默认是/)
结果如下：（左侧的是thulac的输出，右侧的是jieba的输出)
个人感觉：默认情况下，jieba分词的颗粒度要粗一些，而thulac则分得太细（但对于一些人名，thulac识别要好一些）
腾讯云开发者
