首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >如何在多线程中运行命令行CoreNLP?

如何在多线程中运行命令行CoreNLP?
EN

Stack Overflow用户
提问于 2018-04-28 03:33:18
回答 1查看 299关注 0票数 0

我需要解析很多文档(大约30万份)。正如斯坦福网络中所建议的那样,我创建了一个名为filelist.txt的文件,该文件包含要解析的所有文件的路径。

https://stanfordnlp.github.io/CoreNLP/cmdline.html

然后我调用了CoreNLP,如下所示。

代码语言:javascript
运行
复制
java -mx20g -cp "$SCRIPT/*" edu.stanford.nlp.pipeline.StanfordCoreNLP -annotators tokenize,ssplit,pos,lemma,ner,parse -ssplit.eolonly tokenize.whitespace true -filelist filelist.txt -outputDirectory $OUTDIR

但是CPU的使用率仅为100%,这意味着CoreNLP似乎不使用多线程。因此,解析太慢了(每个文档大约10秒)。

当我在没有CoreNLP选项的情况下运行-filelist时,它作为多线程运行。

在CoreNLP中有使用多线程的任何选项或方法吗?

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2018-04-29 09:51:42

我认为命令行参数-threads k应该对k线程上的文件列表进行注释。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/50072568

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档