腾讯云

文章/答案/技术大牛

发布

社区首页 >专栏 >COVID-19数据分析实战：WordCloud 词云分析

COVID-19数据分析实战：WordCloud 词云分析

统计学家

发布于 2020-05-25 08:14:29

1.4K00

代码可运行

文章被收录于专栏：机器学习与统计学机器学习与统计学

运行总次数：0

代码可运行

前言

上一篇文章（链接）我们对COVID19_line_list数据集进行了清洗以及初步分析。本文中我们将分析如何用词云来展示文本信息的概要。

比如我们从词云百度百科截取文字，制作词云。简单来说，词云就是重要单词的可视化，如下图。

line list 数据集中有两列很重要的文本信息，symptoms （症状）以及summary（摘要）。我们可以轻易的提出两个问题：

COVID19 的主要症状是什么
文本摘要的内容主要是什么

我们将用词云回答这两个问题。

python 作为一个万能胶水语言，各种有用的轮子自然不胜枚举。wordcloud 便是专门用于制作词云的包。安装方式很简单，pip即可。

准备数据

数据我们采用上篇中清理好的数据，这里我将清理好的数据保存为新的csv文件（COVID19_line_list_data_cleaned.csv）。

第一步，导入必要的库。

import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
from PIL import Image
from wordcloud import ImageColorGenerator
from wordcloud import WordCloud
import jieba

# read the data
line_list_data_cleaned_file = 'data/COVID19_line_list_data_cleaned.csv'
line_list_data_raw_df = pd.read_csv(line_list_data_cleaned_file)

我们需要分析的是symptom 和summary 两列的信息。wordcloud 分析的文本为str 格式，因此我们需要将dataframe 每一行的数据组合成一个str 格式。

# prepare the text by using str.cat
all_symptoms = line_list_data_raw_df['symptom'].str.cat(sep=',')
print(type(all_symptoms))

<class 'str'>

可以看到all_symptoms 已经是str 格式。我们先分析symptom 列，后续会处理summary列的信息。

快速做经典词云

借用经典的案例代码，我们先用默认的参数制作词云。

# fast show wordcloud
wordcloud = WordCloud().generate(all_symptoms)
plt.figure()
plt.imshow(wordcloud, interpolation="bilinear")
plt.axis("off")
plt.show()

很不错，已经有了初步的模样，不过我们还是发现一些问题：

有些词太小了，几乎看不见
两个fever 是个什么东西？
字体好模糊，不能更清楚吗？

当然能解决，wordCould 类带有一些初始化参数，比如min_font_size控制最小的词字体大小，像素大小通过width和height 来调节。默认的collocations 为True，用于合并重要性/频次相当的文本。设定这些参数，我们可以轻而易举的改善的词云画面。

# change the resolution and cancel the collocations
wordcloud = WordCloud(
    min_font_size=10,
    width=800,
    height=400,
    collocations=False).generate(all_symptoms)
plt.figure()
plt.imshow(wordcloud)
plt.axis("off")
plt.show()

一款经典版的词云就出炉了，看上去很不错。我们的第一个问题也有了答案：fever 和cough 是最常见的症状。

更modern的词云

这里有一幅人类体形图，我们也可以将这些症状的词条作为tag 刻画在人物肖像上。这里需要用到wordcloud的mask 参数。mask 顾名思义就是用于掩盖一些像素。

加载图像，并且转化为array作为mask。print mask的信息，我们可以看到大批量的255 255 255。这是一个好的mask，因为这个代表着白色，白色的区域我们将不会用于填写词条，仅仅对有色区域进行填写。

# modern wordcloud
mask = np.array(Image.open('data/human_body_shape.png'))
print(mask)

 [[255 255 255   0]
  [255 255 255   0]
  [255 255 255   0]
  ...
  [255 255 255   0]
  [255 255 255   0]
  [255 255 255   0]]
 [[255 255 255   0]
  [255 255 255   0]
  [255 255 255   0]
  ...
  [255 255 255   0]
  [255 255 255   0]
  [255 255 255   0]]
 [[255 255 255   0]
  [255 255 255   0]
  [255 255 255   0]
  ...
  [255 255 255   0]
  [255 255 255   0]
  [255 255 255   0]]]

再次创建wordcloud，代码几乎和上次雷同，仅仅是添加一个mask参数，以及设定图像的线条宽度contour_width 以及颜色contour_color。

wordcloud = WordCloud(
    background_color="white",
    min_font_size=10,
    width=800,
    height=400,
    mask=mask,
    collocations=False,
    contour_width=2,
    contour_color='black').generate(all_symptoms)
plt.figure()
plt.imshow(wordcloud)
plt.axis("off")
plt.show()

效果看起来比经典款的要好一些，但是还有一些瑕疵。我们可以看到body 轮廓中很多空白处，这是因为symptom 统计的词条类数目比较少，无法填满图像。

彩色图像词云

很明显，summary 列的信息量要远远大于symptom，下面我们可以分析该列数据。这次我们选择一幅彩色图像，我把human换成robot。几乎同样的代码，再次运行。

mask = np.array(Image.open('data/robot.png'))
all_summary = line_list_data_raw_df['summary'].str.cat(sep=',')
image_colors = ImageColorGenerator(mask)
wordcloud = WordCloud(
    background_color="white",
    min_font_size=10,
    width=800,
    height=400,
    mask=mask,
    collocations=False,
    contour_width=1,
    contour_color='black').generate(all_summary)
plt.figure()
plt.imshow(
    wordcloud.recolor(
        color_func=image_colors),
    interpolation="bilinear")
plt.axis("off")
plt.show()

结果。。。oops, 说好的机器人呢？怎么只有两个眼睛和几个大门牙，一定是mask出了问题。

我们打印一下创建的mask矩阵。一堆堆零，边框明明是白色的，为什么是零呢？datacamp 博客给出了一定的解释(https://www.datacamp.com/community/tutorials/wordcloud-python)。总之，零不是我们想要的。

[[[0 0 0 0]
  [0 0 0 0]
  [0 0 0 0]
  ...
  [0 0 0 0]
  [0 0 0 0]
  [0 0 0 0]]
 [[0 0 0 0]
  [0 0 0 0]
  [0 0 0 0]
  ...
  [0 0 0 0]
  [0 0 0 0]
  [0 0 0 0]]
 [[0 0 0 0]
  [0 0 0 0]
  [0 0 0 0]
  ...
  [0 0 0 0]
  [0 0 0 0]
  [0 0 0 0]]
 ...
 [[0 0 0 0]
  [0 0 0 0]
  [0 0 0 0]
  ...
  [0 0 0 0]
  [0 0 0 0]
  [0 0 0 0]]
 [[0 0 0 0]
  [0 0 0 0]
  [0 0 0 0]
  ...
  [0 0 0 0]
  [0 0 0 0]
  [0 0 0 0]]
 [[0 0 0 0]
  [0 0 0 0]
  [0 0 0 0]
  ...
  [0 0 0 0]
  [0 0 0 0]
  [0 0 0 0]]]

解决方案也很简单，替换0为255，然后重新制作词云。

mask[mask == 0] = 255

可爱的机器人终于出现了。

回到我们开始提到的问题，我们可以看到summary主要是关于新确认的（new confirmed）一些COVID 案例，病人(patient)可能和Wuhan相关。而且我们可以看到样本中male 似乎比female 多一些。

到此我们的两个问题都圆满的通过词云回答了。

bonus: 中文词云

回到开篇的词云图，我们展示了一份中文词云。如果直接借用我们今天的代码可能会出现一些问题。这里我们仅仅贴出中文词云制作的代码，以及一点注意事项。

处理画面出现显示异常，可能是字体的问题。
画面中词分割不好？用jieba

ciyun.csv 就是从百度词条随便截取的，你可以换成任意的文章。

ciyun = 'data/ciyun.csv'
with open(ciyun) as f:
    ciyun_str  = f.read()

def jieba_processing_txt(text):
    mywordlist = []
    seg_list = jieba.cut(text, cut_all=False)
    liststr = "/ ".join(seg_list)
    for myword in liststr.split('/'):
        if len(myword.strip()) > 1:
            mywordlist.append(myword)
    return ' '.join(mywordlist)
font = 'data/SourceHanSerifCN-Light.otf' # 可以下载或者用电脑的自带的字体
wordcloud = WordCloud(
    min_font_size=10,
    width=800,
    height=400,
    collocations=False,font_path=font).generate(jieba_processing_txt(ciyun_str))
plt.figure()
plt.imshow(wordcloud, interpolation="bilinear")
plt.axis("off")
plt.show()