基于Bert的文本聚类工具：BERTopic

致Great

发布于 2021-03-03 02:39:35

4.1K00

代码可运行

文章被收录于专栏：自然语言处理自然语言处理

运行总次数：0

代码可运行

【干货推荐] 基于Bert的聚类工具：BERTopic 【简介】：BERTopic是一种主题建模技术，它利用?变换器和c-TF-IDF创建聚类簇，使主题易于理解，同时在主题描述中保留重要的单词。同时可以支持类似于LDAvis的可视化。【快速上手】安装pip install bertopic[visualization]

from bertopic import BERTopic
from sklearn.datasets import fetch_20newsgroups
 
docs = fetch_20newsgroups(subset='all',  remove=('headers', 'footers', 'quotes'))['data']

topic_model = BERTopic()
topics, _ = topic_model.fit_transform(docs)