如何批量导入搜狗词库？

写

在前面

最近@黄小绵羊同学给大猫留言，说你当时那篇《如何在分词中导入搜狗字典》怎么太监了呢？第一期只讲了如何导入单个词典，并且承诺在下一期会给出批量导入的方法，但第二期至今遥遥无期。嗯，所以这次大猫决定要填坑了！

概

述

上一期大猫讲到了如何使用@qinwf写的cidian包（大家可以在github上找到）将搜狗词典导入分词词库，使用到的核心函数是：

decode_scel

至于批量导入呢，其实方法非常简单。核心就是使用list.files函数获取工作目录下面的所有词库文件名，然后使用lapply函数全部导入。最后把导入的文件汇总并去除重复的观测后输出，就大功告成啦。

一步一步来。

步

骤分解

首先是建立相关目录

# 建立相关目录 ----

# 建立数据目录，本项目所有数据都保存在这个文件夹下（包括搜狗词库文件）。其中getwd()用来获取当前工作环境的目录

data.dir <- sprintf("%s/data", getwd())

# 用来输出结果的目录

results.dir <- sprintf("%s/results", getwd())

# 搜狗词典所在目录

cidian.dir <- sprintf("%s/搜狗细胞词库-201602", data.dir)

# 获取所有搜狗词库的完整路径

scel.paths <- list.files(cidian.dir, pattern = ".scel$", full.names = T)

其次是依次导入目录下所有词库

# 将所有词库逐个导入，并输出成.txt文件 ----

lapply(seq_along(scel.paths), function(i) {

decode_scel(scel = scel.paths[i],

output = str_c(scel.paths[i], ".txt"),

cpp = TRUE)}) %>%

invisible()

接着，将所有词库合并成一个词库，并进行去重，这里用到了data.table的rbindlist函数。

# 将所有的txt字典导入并整合成单一的用户词典，这里使用到了data.table包中的rbindlist函数 ----

dict.paths <- list.files(cidian.dir, pattern = ".txt$", full.names = T)

dict.list <- lapply(seq_along(dict.paths),

function(i) fread(dict.paths[i], encoding = "UTF-8"))

dict <- rbindlist(dict.list);

# 去重

dict <- unique(dict, by = names(dict))

最后，将生成的词库导出成外部txt文件，用于后续分词

# 将最后生成的词库导出成单一的txt文件，用于后续分词 ----

write.table(dict, file = sprintf("%s/guba.use.dict.utf8", data.dir),

quote = F,

row.names = F,

col.names = F,

fileEncoding = "UTF-8")

大功告成！

下

期预告

下期大猫课堂暂定教大家如何进行分组回归。其实这个技能在《35行代码搞定事件研究法》中已经涉及，只是一来那几期比较久远，二来那几期内容众多，大家可能把这个知识点忽略了。不过没关系，重要的东西重复三遍，大猫在下期就再讲一遍分组回归哈。