未来三年大数据走向何方?
哪些技术趋势正在呈现?
什么是大数据的“三角困境”?
谁来捍卫数据“遗忘权”?
大数据与区块链到底啥关系?
在日前召开的“2018大数据产业峰会”上,中国信息通信研究院云计算与大数据研究所所长,“技术相面师”何宝宏就上述问题发表了精彩演讲,对于未来几年大数据技术的发展动态和产业机会进行了独到分析。
以下是对何博演讲内容进行了归纳总结。
安全:大数据成长的烦恼
何宝宏认为,大数据正在遭遇成长的烦恼,未来三年或者更长的时间用户隐私保护是大数据工作的重中之重。
最近一系列数据安全事件的爆发,并不是宣告已经发展20多年的互联网免费模式的终结,而是意味着行业从开始关心技术的第一阶段,发展到强调合规性、安全及隐私问题的第二阶段。整个产业正在回归理性,从前几年高估大数据的影响,走向低估大数据的长期影响,2021年前后大数据产业将迎来新一轮的黄金发展期。
在数据安全问题上,我们又一次遭遇“三角困境”,即“不可能三角”理论。何宝宏认为,技术发展追求的很多目标之间是有冲突的,在数据安全方面,个人隐私、国家安全、便利性三者不可兼得。2013年奥巴马在演讲中提到,不能在拥有100%安全的情况下同时拥有100%隐私和100%便利。因此,在大数据的发展中,我们需要作出选择。
苦炼内功,过“紧日子”
未来一段时间,大数据产业要做好过“紧日子”的准备。何宝宏表示,如果将大数据的发展分阶段,那么2012-2016年是大数据发展的泡沫期,2017-2020年整个行业将回归理性,而2021-2028年整个产业将迎来规模商用。
从市场特性上看,未来几年大数据行业将依然保持规模小、增速快的特点。何宝宏认为,如果说过去几年大数据的主要应用场景是互联网领域,那么未来几年大数据的主要应用场景将转向传统行业,大数据更多地服务实体经济。
八大趋势,不容忽视
“大数据技术的八大趋势值得关注。”何宝宏表示,在大数据技术的发展中,需要特别关注八大动向,分时是开源、分布式、OLAP/OLTP的融合、云化、模块化、运维自动化、容器化和专用硬件。具体而言,开源正在引领大数据的发展,大数据产品与技术需要标准化、模块化。同时,大数据也需要借助容器的思想封装交付。
“算法的黑箱将被打破。”何宝宏认为,数据算法的透明度将成为业界关心的重点问题。当前,虽然数据开放使得数据更加透明,但是算法却还是黑箱里,未来随着数据量的不断增多和更加开放,数据算法的黑箱需要被打破,以解决算法歧视和杀熟等问题。
流通产生价值
何宝宏认为,未来几年,业界还需要学习如何将数据变成资产。如果说过去的几年,我们明白了数据是资产,那么未来的几年,我们需要学习如何将数据变成资产,这不仅意味着管理手段的提升,更需要新的技术,包括算法创新、模式创新等。
随着大数据不断落地,数据流通的重要性日渐凸显。何宝宏认为,未来几年大数据“男耕女织”的时代难以结束。相关调查显示,今天大数据企业使用的数据50%左右来自于自己,其它的则来自于客户或其他渠道,这就好似农业社会的“男耕女织”时代,家中使用的物品50%左右都是自己生产。事实上,这意味着今天的数据流通还处于发展早期,而未来要支撑大数据的普及,数据必须流动起来,消除一个又一个的数据孤岛。
“数据流通会产生新的价值。”何宝宏认为,万物皆数据,今天我们步入了连接的时代,数据只有在流通中才会产生新的价值。他强调,连接比数据本身更重要,数据的价值不在于数据本身,而来自于数据和数据之间的关系,因而让数据连接和流通起来将是未来一段时间里行业的重要目标。
机遇何在?
摩尔定律正在“老去”。何宝宏认为,摩尔定律的减速会给整个行业带来翻天覆地的变化,这意味着我们需要改变传统思维方式。以前,我们认为计算资源非常便宜,可以浪费,而随着摩尔定律减速,计算资源越来越贵。未来,我们不能仅仅只是依靠摩尔定律,而是要依靠软件,行业需要更新软件的结构,而也这是很多新的软件构架出现的原因之一。
“当底层资源部再符合摩尔定律的增长速度,就需要创新软件与构架的设计。”何宝宏说,我们还需要改进算法,当底层的计算资源越来越贵,算法优化将成为未来几年非常重要的发展方向。同时,数据的软硬件结合也是重点。
对于业界关注的大数据和区块链的协同发展。何宝宏认为,尽管两者都是用来处理数据的,但是从技术上看存在诸多的不同。如:大数据是从结构化数据扩展到更多的数据结构,而区块链则是是从信息拓展到价值,大数据针对的问题是海量数据,提高性能,区块链则是聚焦关键数据,防止篡改。从激励方式上,大数据需要给处理数据的人发公司,激励来自于外部,而区块链的激励机制是内置的。
当大数据遇上人工智能。何宝宏认为,大数据做数据可视化,是因为计算机把数据看明白了,可是人却看不明白;计算机视觉则是人看明白了,机器却看不明白。
在大数据快速兴起下,人们需要特别关注“忘记”。“数据恒久远,一上永流传。”在何宝宏看来,遗忘权将成为大数据时代的新问题,关注如何永久性消灭数据将成为工程师新的发展机会。
今天,我们更多关心数据从哪儿来。事实上,数据用完之后究竟去了哪里也值得研究。何宝宏表示,大数据基本都会“进冷宫”,相关数据显示,当前80%的数据3个月就处于无人理睬的状态。而区块链技术的兴起,则意味着那些少数的具有价值的数据,即“贵族”数据,将“得永生”。
精彩内容回顾
领取专属 10元无门槛券
私享最新 技术干货