前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >遇见大数据可视化 :人人都能做数据可视化

遇见大数据可视化 :人人都能做数据可视化

原创
作者头像
腾讯大数据可视化设计团队
修改2017-07-05 11:34:41
9.4K1
修改2017-07-05 11:34:41
举报

之前写过几篇大数据的文章《遇见大数据可视化 :基础研究》《遇见大数据可视化 : 来做一个数据可视化报表》《遇见大数据可视化 : 图表的视觉系统感知》。得到了身边不少小伙伴的认可,都觉得数据可视化是一件挺有意思的事情,纷纷投入到数据可视化上来。

但是很快一腔热血就被浇灭了,很多小伙伴都反映来说做数据可视化的学习成本太高了。从最开始数据的挖掘(学习:Python,JavaScript,R语言等等),再到可视化图表的设计(学习:Processing,D3.js,PhotoShop,Illustrator等等),还要看各种书籍。其实小伙伴的目标只是想简单的做一些不是很复杂的数据可视化,但陡峭的学习成本,让很多小伙伴望而却步,看到各种复杂的教程,简直是从入门到放弃。

那么有没有什么好的办法,可以不用学习这么多的知识点,而能做一些不太复杂的数据可视化图表出来呢?答案肯定是有的,那下面就手把手的带领大家,零代码来做数据可视化图表。

【生产力有两项,一项是人,一项是工具。工具是由人创造的。 - 毛主席】

想要零代码来完成数据可视化图表来,很简单,只要选好工具来就可以了。网上有很多介绍各种工具的文章,这里就不一一的去粗浅的介绍各种工具,而是深入的用案列的方式带大家了解我觉得还不错的可视化工具(数据挖掘和可视化图表),目标的就是让大家可以零代码的做一些简单的可视化分析报表出来。

既然是按照案列的方式,那首先需要确定我们做什么主题。作为一个四川人,每次做自我介绍的时候,都会说到四川的美食,川菜作为中国八大菜系之一,还是深受广大人民的喜爱的。那么我们就用数据,来看看川菜和中国其他菜系(鲁菜、川菜、粤菜、苏菜,浙菜、闽菜、湘菜、徽菜)到底有什么不同,来做一个【中国八大菜系菜谱数据可视化图表分析】出来。

主题确定了,下一步就是数据的挖掘。 一般来说,基础数据的来源分为这几类。

自家数据 – 自家应用APP收集的数据。不对外输出,最好的数据来源,纯洁数据拿来就可以用。

行业报告 – 上市公司的年报、半年报、工商系统、股转系统。定期对外输出,有干扰项。

政府官方数据 – 国家统计局,中国环境监测总站,世界银行等。定期对外输出,或有接口API,干扰项较少。

全网公开数据 – 拉勾、知乎、链家、雪球等公开网站的数据。需自己抓取数据,干扰项较多,一般都需要做二次数据清理。

那这次我们要做菜谱的分析,自家数据是没有的。行业报告和政府官方数据也没有这方面的数据。所以我们只能去网上自己爬取相关数据了。简单找了一番,就发现了很多的菜谱网站,比如【下厨房】、【美食天下】、【豆果美食】、【好豆网】等等,这些网站上面都有大量用户上传的各种菜谱。这里我选择【美食天下】来爬菜谱数据,因为【美食天下】刚好有按照菜系进行分类,这样我们在做二次数据清理的时候,就可以减少一个步骤了。

代码语言:txt
复制
		 

上图就是我们需要爬取的一条内容。有了爬取网站,确定了爬取内容。接下来就开始对数据开始爬取。怎么爬取呢?代码大神通常会推选用Python来做数据的爬取。

说好的零代码呢。这时候就要给大家推荐第一款数据挖掘的工具了 - 【造数】https://zaoshu.io 对于简单的数据爬取足够用的工具,简单的了解,10分钟就能上手。

下面我们就开始进行数据的爬取。

第一步:输入需要爬取的网站地址,然后点击【开始爬取】。

第二步:设置爬取规则。点击【开发爬取】后,会进入这个界面,在这个页面进行爬取规则的制定(就是选择出我们需要获取的内容),只需点击我们想要的内容即可,下图绿色区域就是我们需要的内容,然后点击【完成创建】。

第三步:执行下载数据。这步就可以下载数据了,只需三步造数就能得到想要的数据,而不需要各种配置。

下图就是下载下来的原始数据,大致是这样的,全部汇总在一个Excel表中。在这里有菜谱名称,网站地址,和所需原料。当然不是所有内容都是我们需要用的,这时候就需要对原始数据进行清理,删除,汇总等处理。

因为数据量不大,对于原始数据的处理,我们直接选用Excel来做了。

单个菜谱的原料是全部汇总在一个单元格中的,所以首先我们需要把原料分解到单个单元中去。原料是按照【、】来间隔的,那我们直接用【文本分列】直接处理就可以了。通过【文本分列】我们把原料分解到单个单元中,如下图所示。

文本分列后,把它聚合到一起,然后用【数据透视】即可统计出来每个原料的个数出来。再通过简单的降序排序,我们就能得到最终我们需要的数据了。

小结

在这一步我们完成了【中国八大菜系菜谱数据可视化图表分析】的一半的流程,及数据挖掘和清理汇总。在这里我们用到了两个工具,一个是【造数】用做数据的爬取,一个是【Excel表格】用做数据的清理汇总。类似【造数】这类的爬虫软件其实挺多的,比如国内的Gooseeker(集收客),八爪鱼。国外的Kimono,import.io。但是我们的目标是能快速的上手做一些简单数据挖掘,所以这里给大家推荐的是造数,它规则提取足够简单,能通过可视化的简洁的方式来设置提取规则,同时爬取路线很清晰,很容易就能理解它是怎么运行的,从而快速上手。而【Excel表格】也是我们办公常用的软件,对于数级不大数据源,我们完全可以用Excel手动的来做数据清理汇总。

可视化图表

数据处理好后,我们就可以开始进入可视化图表制作这一步了。关于图表的制作,其实用Excel就能完成的。不过Excel图表的默认样式,和图表的对应数据的关系都做的十分不友好的,你很难能对应出数据和图表横纵坐标的关系。毕竟Excel主要是做表格的,而非做图表的工具。这里就是给大家推荐第二款图表制作工具 - 【BDP】https://me.bdp.cn/home.html 。BDP把数据拆分出来,把图表的维度和数值列出来,通过拖拽的方式进行数据分析,完爆Excel。

BDP的具体使用过程就不在这里给大家贴出来了,感兴趣的去试试,很快就能上手开始做图表的了。下面我们就来看下,用BDP做出的图表,来看看中国八大菜系(鲁菜、川菜、粤菜、苏菜,浙菜、闽菜、湘菜、徽菜)有什么不同。

我们在【美食天下】的网站中,一共爬取了1062篇菜谱,其中川菜就有350篇,就占了总量的三分之一的量,全国人民还是都比较喜欢吃川菜的,真可为八大菜系之首的。而紧跟其后的就是粤菜,也有212篇之多的。

我们把川菜和粤菜的Top15的原料拿出来继续来看。

川菜前15项分布是:盐、料酒、生抽、花椒、姜、葱、鸡精、白糖、蒜、干辣椒、八角、淀粉、郫县豆瓣酱和酱油。

粤菜的是:盐、白糖、酱油、生抽、姜、葱、鸡蛋、耗油、胡椒粉、酱油、老抽、香油、花生油、水和淀粉。

除去相同的东西,川菜出现最多就是各种重口味的花椒、辣椒、八角、豆瓣酱之类的。而粤菜是各种油油水水的东西。作为一个四川人,还是不能理解为什么需要放耗油来做菜,耗油不只是用在吃火锅的时候做蘸碟吗?还有居然没有豆瓣酱,豆瓣酱才是做菜的王道呀,炒菜放点豆瓣酱味道一下就来了。

再看下,把1000多个菜谱所有的原料进行统计下。盐是所有原料中使用最多的,60%以上的菜品都用到了盐。不过让我没想到的是排第二的是白糖(PS:具大厨了解,加白糖多是为了上色,而非让味道变甜),而豆瓣酱在Top15中已经没见了,果然豆瓣酱只有在四川才流行的。

我们再把调味品提出去,只看下主材的情况。在主材中鸡蛋出现了121次,也就是说10%菜品用到了鸡蛋,上榜率相当高的。紧接着就是猪肉,这个也是意料之中的。如果把排骨等也归为猪肉的话,猪肉就是最多的了。但没想到的是有这么多菜品用到了香菜,而土豆这种我觉得应该用的很多的主材,却这么少。

OK,这边我们就只做简单的分析即可,如果有同学有兴趣,可以在分析下去,我这边就不继续展开去说了。

总结

在上述【中国八大菜系菜谱数据可视化图表分析】的案例中。我们通过【造数】、【Excel表格】和【BDP】这些工具的使用, 就能做到零代码的完成包括数据挖掘和图表制作的过程。所以想做数据的可视化展示并不难,只要我们开始动手去做,人人都可数据可视化图表来,这就是工具的价值。

所以我们设计中心也在思考,有没有可能在图表之上,提供更好的数据可视化工具,而不单只是做一个个单一的图表。集合图表、地图、大数据的整体可视化工具,我们在这个方向前进,推出一款更好打大数据可视化工具。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 小结
  • 可视化图表
  • 总结
相关产品与服务
大数据
全栈大数据产品,面向海量数据场景,帮助您 “智理无数,心中有数”!
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档