首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >10行Python代码的词云

10行Python代码的词云

作者头像
半吊子全栈工匠
发布于 2018-08-22 02:05:42
发布于 2018-08-22 02:05:42
3.3K00
代码可运行
举报
文章被收录于专栏:喔家ArchiSelf喔家ArchiSelf
运行总次数:0
代码可运行

什么是词云呢?

词云又叫文字云,是对文本数据中出现频率较高的“关键词”在视觉上的突出呈现,形成关键词的渲染形成类似云一样的彩色图片,从而一眼就可以领略文本数据的主要表达意思。

现在,可以从网络上找到各种各样的词云,下面一图来自沈浩老师的微博:

从百度图片中还可以可以看到更多制作好的词云,部分截图如下:

词云制作有很多工具.....

从技术上来看,词云是一种有趣的数据可视化方法,互联网上有很多现成的工具:

  1. Wordle是一个用于从文本生成词云图而提供的游戏工具
  2. Tagxedo 可以在线制作个性化词云
  3. Tagul 是一个 Web 服务,同样可以创建华丽的词云
  4. Tagcrowd 还可以输入web的url,直接生成某个网页的词云
  5. ......

十行代码

但是作为一个老码农,还是喜欢自己用代码生成自己的词云,复杂么?需要很长时间么? 很多文字都介绍过各种的方法,但实际上只需要10行python代码即可。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
import matplotlib.pyplot as plt
from wordcloud import WordCloud
import jieba

text_from_file_with_apath = open('/Users/hecom/23tips.txt').read()

wordlist_after_jieba = jieba.cut(text_from_file_with_apath, cut_all = True)
wl_space_split = " ".join(wordlist_after_jieba)

my_wordcloud = WordCloud().generate(wl_space_split)

plt.imshow(my_wordcloud)
plt.axis("off")
plt.show()

如此而已,生成的一个词云是这样的:

读一下这10行代码:

1~3 行,分别导入了画图的库matplotlib,词云生成库wordcloud 和 jieba的分词库;

4 行,是读取本地的文件,代码中使用的文本是本公众号中的《老曹眼中研发管理二三事》。

5~6 行,使用jieba进行分词,并对分词的结果以空格隔开;

7行,对分词后的文本生成词云;

8~10行,用pyplot展示词云图。

这是我喜欢python的一个原因吧,简洁明快。

执行环境

如果这十行代码没有运行起来,需要检查自己的执行环境了。对于完整的开发学习环境,可以参考本公众号《老曹眼中的开发学习环境》。 对于面向python 的数据分析而言,个人喜欢Anaconda,可以去https://www.continuum.io/downloads/ 下载安装,安装成功后的运行界面如下:

anaconda 是python 数据爱好者的福音吧。

安装wordcloud 和 jieba 两个库同样非常简单:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
pip install wordcloud
pip install jieba

遇到的一个小坑,刚开始运行这十行代码的时候,只显式了若干彩色的小矩形框,中文词语显式不出来,以为是万恶的UTF8问题,debug一下,发现print 结巴分词的结果是可以显示中文的,那就是wordcloud 生成词语的字体库问题了。开源的好处来了,直接进入wordcloud.py 的源码,找字体库相关的代码

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
FONT_PATH = os.environ.get("FONT_PATH", os.path.join(os.path.dirname(__file__), "DroidSansMono.ttf"))

wordcloud 默认使用了DroidSansMono.ttf 字体库,改一下换成一个支持中文的ttf 字库, 重新运行一下这十行代码,就可以了。当然,解读代码后有更优雅的方法。

看一下源码

既然进入了源码,就会忍不住好奇心,浏览一下wordcloud 的实现过程和方式吧。

wordcloud.py总共不过600多行,其间有着大量的注释,读起来很方便。其中用到了较多的库,常见的random,os,sys,re(正则)和可爱的numpy,还采用了PIL绘图,估计一些人又会遇到安装PIL的那些坑。

生成词云的原理其实并不复杂,大体分成5步:

  1. 对文本数据进行分词,也是众多NLP文本处理的第一步,对于wordcloud中的process_text()方法,主要是停词的处理
  2. 计算每个词在文本中出现的频率,生成一个哈希表。词频计算相当于各种分布式计算平台的第一案例wordcount, 和各种语言的hello world 程序具有相同的地位了,呵呵。
  3. 根据词频的数值按比例生成一个图片的布局,类IntegralOccupancyMap 是该词云的算法所在,是词云的数据可视化方式的核心。
  4. 将词按对应的词频在词云布局图上生成图片,核心方法是generate_from_frequencies,不论是generate()还是generate_from_text()都最终到generate_from_frequencies
  5. 完成词云上各词的着色,默认是随机着色

词语的各种增强功能大都可以通过wordcloud的构造函数实现,里面提供了22个参数,还可以自行扩展。

更多的小例子

看看一个准文言文的词云,文本文字来自本公众号去年的旧文——《妻》,其中在构造函数中传入了关于屏幕和字体大小的几个参数:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
width=800,height=400,max_font_size=84,min_font_size=16

得到了这样的词云图:

自惭形秽,根本看不出文言文的色彩和对妻子的感情流露,不是好文字呀!或许是词云的局限吧!

矩形的词云的确太简陋了,直接在图片上用词云来填充就有意思多了,wordcloud中可以采用mask的方式来实现。换上一张自己的照片,用《再谈<全栈架构师>一文》中的文字,词云出来的效果是这样的 :

还是很难看出肖像的轮廓,还好,可以遮丑。其中增加了3行代码

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
from PIL import Image
import numpy as np
abel_mask = np.array(Image.open("/Users/hecom/chw.png"))

在构造函数的时候,将mask传递进去即可:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
background_color="black", mask=abel_mask

自己做的这些词云图片还是太陋,这就是原型简单,好的产品困难呀!做好一个漂亮词云的图片,还是要在诸多细节上下功夫的。

例如:

分词的处理,“就是”这样没有意义的词不应该出现在词云里呀?

所展示关键词的目的性选择?

如何选择一个合适的字库?

如何更好地自主着色?

图片的预处理,如何让图片和词云表达原图片的主要特征?

......

词云的背后

词云的背后实际上是数据集成处理的典型过程,我们所熟知的6C,如下图:

  • Connect: 目标是从各种各样数据源选择数据,数据源会提供APIs,输入格式,数据采集的速率,和提供者的限制.
  • Correct: 聚焦于数据转移以便于进一步处理,同时保证维护数据的质量和一致性
  • Collect: 数据存储在哪,用什么格式,方便后面阶段的组装和消费
  • Compose: 集中关注如何对已采集的各种数据集的混搭, 丰富这些信息能够构建一个引入入胜的数据驱动产品。
  • Consume: 关注数据的使用、渲染以及如何使正确的数据在正确的时间达到正确的效果。
  • Control: 这是随着数据、组织、参与者的增长,需要的第六个附加步骤,它保证了数据的管控。


这十行代码构建的词云,没有通过API从公众号(wireless_com)直接获取,简化和抽象是工程化的典型方式,这里至今复制粘贴,甚至省略了correct的过程,直接将数据存储在纯文本文件中,通过jieba分词进行处理即compose,使用词云生成可视化图片用于消费consume,把一个个自己生成的词云组织到不同的文件目录便于检索算是初步的管控control吧。

参考网站
  • https://www.continuum.io
  • https://github.com/fxsjy/jieba
  • https://github.com/amueller/word_cloud
本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2017-03-05,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 喔家ArchiSelf 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
python抓取数据构建词云
词云图,也叫文字云,是对文本中出现频率较高的“关键词”予以视觉化的展现,词云图过滤掉大量的低频低质的文本信息,使得浏览者只要一眼扫过文本就可领略文本的主旨。
周小董
2019/03/25
2.8K0
python抓取数据构建词云
简单NLP分析套路(3)---- 可视化展现与语料收集整理
构思这个系列的初衷是很明显的,之前我是从图论起家搞起了计算机视觉,后来发现深度学习下的计算机视觉没的搞了,后来正好单位的语料很丰富就尝试了NLP 的一些东西,早期非常痴迷于分词等等的技术,后来发现NLP 里面是有广阔天地的。 如果你现在打开微信,可能很多公众号都在推送从哪里爬取了一些语料数据如下图,
流川疯
2019/01/17
9510
干货!三大招教你轻松挖掘客户意见(含Python代码)。
随着大数据营销模式的发展,精准了解客户需求越来越重要,这其中最好的方式,就是直接收集客户意见。但客户意见往往天马行空,既无序又杂乱。虽然收集的意见不少,但分析出有效的信息少之又少。因此怎样从大量意见中挖掘出有效信息,真正读懂客户的心,成为一个刚需。
1480
2020/02/26
1.4K0
10行python代码做出哪些酷炫的事情?
Python凭借其简洁的代码,赢得了许多开发者的喜爱。因此也就促使了更多开发者用Python开发新的模块,从而形成良性循环,Python可以凭借更加简短的代码实现许多有趣的操作。下面我们来看看,我们用不超过10行代码能实现些什么有趣的功能。
Python小二
2022/08/24
1.1K0
10行python代码做出哪些酷炫的事情?
WordCloud 中英文词云图绘制,看这一篇就够了
摘要: 当我们手中有一篇文档,比如书籍、小说、电影剧本,若想快速了解其主要内容是什么,则可以采用绘制 WordCloud 词云图,显示主要的关键词(高频词)这种方式,非常方便。本文将介绍常见的英文和中文文本的词云图绘制,以及 Frequency 频词频词云图。
数据森麟
2019/09/27
1.2K0
怎么用Python画出好看的词云图?
相信很多人在第一眼看到下面这些图时,都会被其牛逼的视觉效果所吸引,这篇文章就教大家怎么用Python画出这种图。
数据森麟
2020/02/20
3.3K0
怎么用Python画出好看的词云图?
10行python代码做出哪些酷炫的事情?
Python凭借其简洁的代码,赢得了许多开发者的喜爱。因此也就促使了更多开发者用Python开发新的模块,从而形成良性循环,Python可以凭借更加简短的代码实现许多有趣的操作。下面我们来看看,我们用不超过10行代码能实现些什么有趣的功能。
Python研究者
2022/04/08
9160
10行python代码做出哪些酷炫的事情?
关于词云可视化笔记二(jieba和中文词汇可视化)
可以看出直接采用jieba也能分词,分词效果比wordcloud强一些,但一些无关紧要的词未过滤
python与大数据分析
2022/03/11
3640
关于词云可视化笔记二(jieba和中文词汇可视化)
利用简书首页文章标题数据生成词云1.词云图2.推荐几个不错的词云图工具3.爬取数据,制作词云图
词云图,也叫文字云,是对文本中出现频率较高的“关键词”予以视觉化的展现,词云图过滤掉大量的低频低质的文本信息,使得浏览者只要一眼扫过文本就可领略文本的主旨。
Python攻城狮
2018/08/23
1.8K0
利用简书首页文章标题数据生成词云1.词云图2.推荐几个不错的词云图工具3.爬取数据,制作词云图
实战|Python轻松实现绘制词云图(附详细源码)
项目背景虽然现在已经有很多现成的制作词云图的工具了,但一般存在以下几个问题:问题一:工具太多,眼花缭乱,质量参差不齐,选择困难症; 问题二:大多词云工具或多或少有一些限制,自定义的空间有限;问题三:有些工具甚至收费。基于以上几个问题,迪迪觉得有必要写一篇Python绘制词云图的文章,因为实在太简单!没有任何编程基础的小白都能搞定的事,还找什么工具啊!
程序员迪迪
2022/01/10
1.4K0
你真的会用wordcloud制作词云图吗?
对于文本分析而言,大家都绕不开词云图,而python中制作词云图,又绕不开wordcloud,但我想说的是,你真的会用吗?你可能已经按照网上的教程,做出来了一张好看的词云图,但是我想今天这篇文章,绝对让你明白wordcloud背后的原理。
罗罗攀
2021/02/04
6470
你真的会用wordcloud制作词云图吗?
软件测试|教你使用Python快速绘制酷炫词云图
词云图现在似乎成了各个互联网产品年终盘点的标准形式,比如我们的热搜,我们QQ音乐网易云音乐最喜欢的歌手最喜欢的歌曲等等,词云图实在是太契合互联网时代了。那么我们能不能自己也去画一个词云图出来?就用我们的Python来完成这个目标。
霍格沃兹测试开发Muller老师
2023/02/19
8740
词云图:论一个精致猪猪男孩的数据修养
“词云”就是对网络文本中出现频率较高的“关键词”予以视觉上的突出,形成“关键词云层”或“关键词渲染”,从而过滤掉大量的文本信息,使浏览网页者只要一眼扫过文本就可以领略文本的主旨。
用户1621951
2018/07/31
6570
词云图:论一个精致猪猪男孩的数据修养
Python生成词云图,TIIDF方法文本挖掘: 词频统计,词云图
python中使用wordcloud包生成的词云图。 下面来介绍一下wordcloud包的基本用法。 class wordcloud.WordCloud(font_path=None, width=400, height=200, margin=2, ranks_only=None, prefer_horizontal=0.9,mask=None, scale=1, color_func=None, max_words=200, min_font_size=4, stopwords=None, random
学到老
2018/03/19
2.1K0
Python生成词云图,TIIDF方法文本挖掘: 词频统计,词云图
简单几步教你用Python生成词云图
词云图,也叫文字云,是对文本中出现频率较高的“关键词”予以视觉化的展现,词云图过滤掉大量的低频低质的文本信息,使得浏览者只要一眼扫过文本就可领略文本的主旨。
昱良
2019/07/04
3.8K0
Python生成圣诞节词云-代码案例剖析
这段代码使用了jieba进行中文分词,结合stylecloud库生成了一个基于指定配色方案的圣诞主题词云图。以下是对代码的解释:
一键难忘
2023/12/23
1.4K0
用 Python 制作微信好友个性签名词云图
0.前言 上次查看了微信好友的位置信息,想了想,还是不过瘾,于是就琢磨起了把微信好友的个性签名拿到,然后分词,接着分析词频,最后弄出词云图来。 1.环境说明 Win10 系统下 Python3,编译器是 Pycharm,需要安装 itchat、matplotlib、pandas、jieba、wordcloud、numpy、pillow 这几个包 介绍 Pycharm 安装第三方包的方法。 由于某些包不能直接用 Pycharm 安装,所以这里说一下安装的方法。 安装w
伪君子
2018/04/04
1.7K0
用 Python 制作微信好友个性签名词云图
词云图展示
import jieba #分词库 import matplotlib.pyplot as plt #数学绘图库 from wordcloud import WordCloud #词云库 #1、读入txt文本数据 file=open("E:\Data\Lofter\demo-txt\demo.txt","r",encoding="utf-8") text =file.read() #2、结巴分词,默认精确模式。可以添加自定义词典userdict.txt,然后jieba.load_userdict(fil
hankleo
2020/09/17
1.2K0
[Python从零到壹] 十六.文本挖掘之词云热点与LDA主题分布分析万字详解
欢迎大家来到“Python从零到壹”,在这里我将分享约200篇Python系列文章,带大家一起去学习和玩耍,看看Python这个有趣的世界。所有文章都将结合案例、代码和作者的经验讲解,真心想把自己近十年的编程经验分享给大家,希望对您有所帮助,文章中不足之处也请海涵。
Eastmount
2022/08/31
2.1K0
Python 词云生成
https://www.lfd.uci.edu/~gohlke/pythonlibs/
arcticfox
2019/06/26
4.3K0
Python 词云生成
推荐阅读
相关推荐
python抓取数据构建词云
更多 >
交个朋友
加入HAI高性能应用服务器交流群
探索HAI应用新境界 共享实践心得
加入[游戏服务器] 腾讯云官方交流站
游戏服运维小技巧 常见问题齐排查
加入[跨境业务] 腾讯云官方方案交流站
共享跨境方案指南 洞察行业动向
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档