spaCy v2.3发布：新增5种语言模型与性能优化

spaCy v2.3发布：新增5种语言模型与性能优化

spaCy自然语言处理库的2.3版本新增了五种语言的预训练模型：中文、日语、丹麦语、波兰语和罗马尼亚语。所有15个模型家族均更新了词向量并提升准确率，同时减少了带向量模型的体积和加载时间。

新增语言支持

• 中文模型：采用pkuseg进行分词，默认支持jieba，分词准确率达94.6%
• 日语模型：改用SudachiPy实现分词和词性标注，安装仅需pip install spacy[ja]

模型性能优化

• 词向量改进：大模型(lg)包含50万唯一向量，中模型(md)保留2万高频词向量
• 训练数据更新：基于Universal Dependencies v2.5语料库，标注和解析准确率提升3-5%
• 体积缩减：中型模型体积减少50%，英文大模型缩小120MB
• 加载加速：带向量模型的加载速度提升2-4倍

技术细节

• 自定义训练FastText词向量（CBOW, 300维，5字符n-grams）
• 移除了可推导的lexeme属性以减小模型体积
• 新增细粒度词性标签（如法语ADP_DET合并标签）

兼容性说明

v2.2训练的模型需重新训练以适应新版本，可通过python -m spacy validate检查兼容性。

配套资源更新

• 在线课程《Advanced NLP with spaCy》新增日语、德语和西班牙语版本
• 新增实体链接和规则匹配等实战教程视频

该版本是spaCy v2的最终主要更新，v3版本将重点改进训练流程和配置系统，预计近期发布预览版。