一想到大数据,我们可能想到的是大数据可视化平台,展示的有多么的炫酷,可是你可能没有想到的是大数据中数据的存储,数据的计算(mapreduce)会是有多么的漫长,下面我们来看图
这里就表示的是用时间为11分钟50秒还没有结束的意思。
所以我整个程序的实现,从每一插入数据,选择数据,清洗数据,每次都要10多甚至二十多分钟,于是我就可以自动化办公了。每次点击运行键,我都会去思考我该不该点。因为一旦我点击了这个运行键,我的电脑会为了迎接我的点击从而燃起来了
所以我希望大家在选择从事大数据开发的时候,一定要对自己的电脑有一个基本的了解,知道我们的电脑的cpu,内存,硬盘空间的大小。
我最初的想法是看我的笔记本的内存能不能扩容,于是计划好第二天去学校外面的电脑维修中心,想着把我的笔记本的内存和固态硬盘空间给扩大一下就好了,准备好了之后,啥也没想,就把电脑送给师傅,师傅说你是想要扩容,是硬盘空间还是内存空间,我…我能都扩容吗?于是师傅打开后盖之后,这个还真不行,你的需求我一个都满足不了,第一板载内存,如果重新换了之后,会出现数据的丢失,硬盘空间的大小只能换一个盘,我的天,这就是超薄本。
所以我还是推荐大家如果对大数据开发,机器学习,人工智能学习很感兴趣的化,我还是很建议大家去买一个游戏本,而不是一个超薄本,超薄本除了能够卖个萌之外,还真的不能开发大型的项目。
最后附上我写了半个小时的代码,但是却花了1天的时间运行出来的大数据平台展示效果。