Loading [MathJax]/jax/input/TeX/config.js
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >大数据时代的技术特色与隐私保护

大数据时代的技术特色与隐私保护

作者头像
CDA数据分析师
发布于 2018-02-08 06:49:48
发布于 2018-02-08 06:49:48
1K0
举报
文章被收录于专栏:CDA数据分析师CDA数据分析师

【摘要】“大数据”是当今最热的概念之一,有人把大数据形容为未来世界的石油,有人宣称掌握大数据的人可以像上帝一样俯瞰整个世界,美国政府甚至已经把对大数据的研究上升为国家战略。喧哗的背后,实际上,随着信息与通讯技术的发展,“大数据”正进入与我们息息相关的每一个角落。

  “大数据”是当今最热的概念之一,有人把大数据形容为未来世界的石油,有人宣称掌握大数据的人可以像上帝一样俯瞰整个世界,美国政府甚至已经把对大数据的研究上升为国家战略。喧哗的背后,实际上,随着信息与通讯技术的发展,“大数据”正进入与我们息息相关的每一个角落。近日,记者参加中国科协主办的第36期科学家与媒体面对面活动,采访相关专家,请他们畅谈了大数据时代的技术特色与隐私保护。   大数据是什么   故事一:无法完成的任务   大数据是一个时髦的新词,也是一个古老的现象。因为,对某个时代来说,超出当时社会信息处理能力的数据,就可以说是大数据。   以人类遇到的第一个大数据人口普查为例。中国在公元2年就有史书记载的人口普查数据(《汉书 地理志》):全国103个郡国,人口是59594978人。对当时的古代中国来说,近六千万人口的普查无疑就是一个难以处理的大数据。美国宪法曾规定,美国人口普查十年一次。1880年开始,美国人花8年完成了一次人口普查,并预计1890年做下一次人口普查大概需要13年时间。也就是说,人口普查成为当时一项无法完成的任务。不过,危机常常带来新的技术革命。有人发明了穿孔卡片制表机,使得这个任务仅用一年时间就可以完成。穿孔卡片制表机就是今天计算机的前身。   “大数据不是今天就出现的,你对付不了的就是大数据。”工业和信息化部电信研究院互联网中心主任何宝宏说:“今天所说的大数据革命也是2008年之后,这5年来信息发生了翻天覆地的变化。大数据让物质世界变得可计算,这是整个人类的目标。”   无法完成的任务,带来的是前所未有的技术突破。如今,移动互联网、物联网、基因测序等采集数据的工具越来越多样化,使我们对物质世界的描述越来越精确,拥有的数据量越来越大;云计算等处理数据的工具越来越经济,又使得大数据的应用走入百姓身边,对我们的生产和生活方式产生深远的影响。   目前大数据最成熟的应用是互联网广告营销。近一年中,老百姓在搜索或者浏览网页时会发现,网上推出的广告越来越精确。这是因为互联网广告已经进入到完全自动、实时竞价的状态,通过对个人上网行为的分析,推导出这个人的性格特征和可能需要,并有针对性地投放广告。广告请求、竞价邀请、受众筛选、申请出价、中标投放的全过程,仅需120毫秒也就是0.12秒即可完成,而在传统媒体完成这样的工作,很可能需要几个月的时间。   互联网金融也是近一年的大热点,根基就是由于大数据技术的成熟。互联网金融在面对中小企业的贷款业务中,拥有独特的优势。据一份对中国互联网金融的调查报告显示,互联网金融对小微企业贷款时,不良贷款率仅为1.02%,单笔放款成本为2.3元;而传统银行对小微企业的贷款不良率为5.5%至6%,单笔成本达800元至2000元。这种低成本、低坏账率、全时服务(机器可以全天候开启)的金融服务,使广大中小企业变成了互联网金融的客户,可以解决小微企业贷款难的问题——这其实也是一个过去无法完成的任务。   大数据怎么用   故事二:不懂外语的翻译   百度公司发展研究中心副主任率鹏给记者讲了一个有趣的故事。“百度翻译”这个工具,目前已经提供了24种语言的自动翻译服务,翻译质量在行业中领先。“但这24种语言中有12种语言,整个百度翻译的团队没有人能懂。”率鹏说,“大数据的技术使我们完全在不了解、不懂得、不能够理解这种语言的情况下,仅仅靠技术本身就开发出一个非常好的翻译工具,这在以往的时代是难以想象的。”   不懂外语的外语翻译,这个听起来很天方夜谭的故事,其实精准反映了如今大数据技术的一大特点——不需要知道为什么,只需要知道是什么。   这个技术特点,是由如今大数据本身的特点决定的。中国通信学会副理事长兼秘书长张新生表示,大数据有四大特点:一是海量,大到“以目前的技术无法管理的数据量”;二是多样,数据种类复杂,非结构数据占到所存储数据总量的75%—95%,这些非结构数据无法以现在的技术手段与关系分析的数据库来处理;三是速度,数据产生的频率和传送频率非常快,需要进行实时处理;四是价值密度低,需从大量的低质量、低价值的数据中获取知识,犹如大海捞针,获取数据成本很高。   事实上,大数据还将越来越大。在过去两年中,全球产生的信息占到人类整体掌握信息总量的90%,现在每天全球产生的数据相当于国家图书馆馆藏总量的1500倍。而互联网数据中心IDC预测,到2020年全世界将有300亿个物联网终端。中国在这一市场上将占据至关重要地位,届时中国普通家庭将拥有40个到50个智能设备或传感器,每年创造出20TB的数据。而中国国家图书馆藏书是2631万册,信息量相当于41TB。也就是说,届时一个普通中国家庭每年产生的数据,就相当于半个国家图书馆。   我们如何才能不被大数据所淹没?   “大数据的核心重点在于深度挖掘,通过挖掘产生新的应用。”张新生表示,大数据的处理技术是一个工具,它有几个新特色:不再是小样本、随机样本,而要全体数据;接收数据有混杂性,不再追求精确性;关注事物之间的相关性,可以只知道是什么,不知道为什么;对所获数据可多次、反复利用,并可扩展,具有互用性,也就是未来可能知道为什么。   大数据产业也在变得越来越大。大数据的采集和传感、物联网领域有很大关联性;大数据的处理,又和云计算等产业相关;大数据的应用和医疗、金融等各个行业相关。未来将有越来越多企业发展成大数据企业。   “大数据应该是我们的战略性新兴产业中新一代信息技术重要的产业部分,和互联网产业、物联网产业、电信产业都有很大关联性。”中国联通网络技术研究院首席专家唐雄燕表示:“大数据本身和很多产业相关,现在可能已经有几千亿元的产业规模,将来会无处不在。大数据的从业者,未来也将不止是高科技人员,也会有很多蓝领。大数据是一个材料,和石油、矿藏一样,需要有采集数据的人员,需要有探矿的人员,各种各样的人都需要。”   大数据怎么管   故事三:应该保护的隐私   我国大数据应用面临着数据资源难以开放共享、数据安全和隐私急需保护、大数据技术创新人才不足等诸多挑战,其中个人隐私如何保护,是大众最为关注的问题。   事实上,真正好用的大数据技术,应该是用加工实现增值,用分析来指导决策,而非贩卖用户个性化隐私这种原始数据信息本身的低层次滥用。   中兴通讯首席架构师、业务总工程师罗圣美表示:“使用这些数据的企业,其实有两大类,一类是互联网企业,第二类是电信企业。企业有安全保护措施,有技术解决方案,做只针对群体,而不针对个体的信息挖掘,这是应遵循的基本原则。”   率鹏认为,在隐私保护问题上,大数据技术要重点强调符号化和用户特征这两个概念。“符号化,是当我们去识别一个用户时,用和他真实信息不相关的符号标记这个用户。符号通过算法来保证,是单向的识别,使我们能识别出两次登录的是同一个用户,却无法通过此符号反推出该用户在真实生活中的姓名、电话和住址,这就基本享受了大数据带来的优势,同时又规避了信息安全的风险。用户特征,是在大数据时代,企业感兴趣的往往是这个用户的特征,而不是家庭地址、电话号码真正敏感的信息。比如说,我希望知道你是一个20岁到30岁年龄段,生育过子女,有高等教育学历的女性,这些都是你的特征,但是我并不想知道你姓甚名谁,今年多大,有几个小孩。如果在数据使用过程中严格遵循符号化和用户特征原则,我们就能规避掉不良风险。”   除了技术以外,政策和立法才是大数据时代个人隐私保障的重要凭借。2012年12月28日,《全国人民代表大会常务委员会关于加强网络信息保护的决定》审议通过。2013年,工信部根据全国人大的决定,出台了关于互联网和电信网个人信息保护的条例,提出了数据保护的一系列要求。   数据需要保护,数据也需要交易。大数据的保护与交易需要遵循什么样的标准,是当前政策制定者面临的挑战。   张新生说:“有价值的数据是非常重要的资源,但前提是要建立交易规则。我国的几大互联网运营企业都在做大数据分析,并且都想把数据作为可交易的产品,这需要我们尽快建立数据交易有关的法律法规。”   何宝宏认为,目前的大数据分为两类。一类是公共数据,比如政府所掌握的数据,或者公益企业的数据,公共数据面临的是开放和共享的问题。一类是商业数据,商业性数据需交易,因为这是资产,交易产生新的价值。“标准和政策的制定是不断摸索的过程,需要随着市场去探索,我们已经深度地介入到关于目前国内数据交易的活动中,去探讨这方面的政策、标准制定。”   对于用户来说,提高信息安全意识、注意个人隐私保护也十分重要。不过,鉴于大数据时代个人隐私保护的困难程度,已有专家提出了“遗忘”的必要性。牛津大学教授、大数据领域权威专家维克托就在他的著作《删除》中表示,对于人类而言,遗忘一直是常态,而记忆才是例外。然而,由于数字技术与全球网络的发展,这种平衡已经被打破了。大量数字化的私人信息不仅可能在今天被滥用,在几年甚至几十年后仍然可能被滥用。   罗圣美说:“在大数据时代,建议国家相关部门在制定产业政策时,需要重点考虑涉及个人隐私的信息,采取删除、锁定,或者安全加密等多种级别的保密措施,避免个人隐私被检索、发现、滥用和扩散。”

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2014-01-15,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 CDA数据分析师 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
“被遗忘权”:大数据时代的隐私保护
互联网上产生的越来越多的个人数据,究竟应该如何处理?莫妮卡·莱温斯基自称是“互联网时代第一个受全球侮辱的人”。 她是美国前总统比尔·克林顿“桃色新闻”事件的女主角,白宫实习生。丑闻曝光使莱温斯基成为“全世界最丢脸的人”,生活轨迹从此改变。之后的十几年里,她四处求职均碰壁,雇主们总是有意无意提及那段“黑历史”,并最终拒绝了她。尽管希望避开公众的关注,莱温斯基却总是身不由己地被牵涉进诸如克林顿、希拉里、女性主义的话题漩涡里,接受人们的“指指点点”。 两个月前,莱温斯基在《名利场》撰文坦承多年来所受到的这些困扰
大数据文摘
2018/05/21
7960
【热点】大数据商业化 我的隐私成了谁的财富
PPV课大数据 智慧购物、智慧医疗、智慧交通、智慧物联网……来势汹汹的大数据为超过6亿的中国网民描绘了一幅幅美好的生活蓝图。然而,任何技术都是一把双刃剑。在大数据日益商业化的同时,我们也发现,我们在网络上的任何痕迹都无所遁形,各种商业广告“有据而来”,甚至在左右我们的决策。随着大数据技术从行为分析发展到身份认证,在商家看到蕴藏无穷机会的“金矿”同时,我们却发现,在不久的将来,我们将不得不面对一场隐私与安全之战。 数据就是未来的石油、黄金 在不知不觉中,滴滴打车的爽约记录、骗取保费时伪造的个人信息、网店贩卖假
小莹莹
2018/04/20
8930
无处不在的数据“脚印” 大数据时代何处安放我们的“小世界”?
大部分数据都是人们‘主动’贡献出来的。”东软集团董事长兼CEO刘积仁在近日海南博鳌2014年年会举行的大数据与云计算分论坛上说。“事实上大家每一个动作,都不知道背后有多少‘诱惑’使你自愿贡献数据。你的
小莹莹
2018/04/18
8620
无处不在的数据“脚印” 大数据时代何处安放我们的“小世界”?
从“e融”到“智多星”:江苏银行如何利用大数据实现弯道超车
从“e融”到“智多星”:江苏银行如何利用大数据实现弯道超车
数据猿
2018/04/19
8120
从“e融”到“智多星”:江苏银行如何利用大数据实现弯道超车
大数据安全问题分析及对策建议
图片来自网络 作者简介:王竹欣,硕士,毕业于北京航空航天大学电子信息工程学院,现任职于中国信息通信研究院信息通信安全研究所,主要研究方向为网络安全、数据安全。陈湉,毕业于北京邮电大学计算机学院,硕士,现任中国信通院安全研究所数据安全研究部副主任,主要研究方向为大数据安全、个人信息保护。 随着大数据时代的到来,大数据技术为经济社会发展带来创新活力的同时,也使传统网络安全防护面临严重威胁与全新挑战。本文介绍了大数据技术及产业发展的有关背景,从数据安全、个人信息保护及大数据平台自身安全三个方面梳理大数据技术应
企鹅号小编
2018/01/23
2.2K0
大数据安全问题分析及对策建议
大数据时代的数据保护与数据开放┃腾讯研究院公开课
  坤源衡泰·中国民法成长论坛第三十讲  
腾讯研究院
2018/01/31
2.1K0
大数据时代的数据保护与数据开放┃腾讯研究院公开课
【钱塘号专栏】大数据时代的掘金之道:精准营销、价值变现
一石激起千层浪,国务院发布的2015 第50号文《促进大数据发展行动纲要》刷满了朋友圈,特别是其中提到了大力推动政府部门数据共享,稳步推动公共数据资源开放。2017年底前形成跨部门数据资源共享格局,到
钱塘数据
2018/03/02
8060
【钱塘号专栏】大数据时代的掘金之道:精准营销、价值变现
大数据时代的创业趋势
面对信息化潮流,只有积极抢占制高点,才能赢得发展先机。世界正迈入大数据时代,随着互联网技术的不断发展,大数据成为一种重要资源,有利于推动创业创新。在此背景下,中央提出将“大众创业、万众创新”作为新常态下我国经济发展的一个重要引擎,是恰逢其时的时代号角。 1 大数据是以容量大、类型多、存取速度快、应用价值高为主要特征的数据集合,正快速发展为对数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析,从中发现新知识、创造新价值、提升新能力的新一代信息技术和服务业态。数据之所以对于创业具有不同寻常的意义或价值
灯塔大数据
2018/04/10
1.1K0
社交关系+大数据=?
“大家还没搞清楚PC的时候,移动互联网来了,还没搞清楚移动互联网的时候,大数据来了。” 有个不太靠谱的命题:如何让赵本山和迈克尔乔丹搭上关系?其实很简单,通过分析两个人的社交圈子,兴趣爱好等,最终可以找出一条线路能让他们两个人认识,这就是隐藏其中的大数据魅力之一点点…… 随着互联网的冲击,UGC(用户产生内容)不断发展,社交网络已经不断普及并深入人心,用户可以随时随地在网络上分享内容,由此产生了海量的用户数据。这些数据并不是我们想象中的那样冷冰冰、枯燥的数据,而是更加活生生、有趣的数据;这些数据不
腾讯研究院
2018/03/09
8550
【干货】大数据时代的金融征信
以下为分享实景全文: 我先从征信的概念说起吧,因为这个概念曾经让我很抓狂。放贷机构之“征信”是放贷机构基于内部信息的风险管理过程,而征信行业之“征信”是为放贷机构的风险管理提供外部信息支持的活动,包括
小莹莹
2018/04/20
1.3K0
【干货】大数据时代的金融征信
大数据时代,你的数据属于谁?
在这个所谓的DT(数据科技)时代,数据的价值正在为人所知,由此而来的个人信息泄露事件也层出不穷。然而,当人们将矛头指向黑客入侵系统漏洞、撞库拖库等,却忽略了掌握数据源的互联网企业。 《IT时报》记者在
灯塔大数据
2018/04/09
1.1K0
大数据时代,你的数据属于谁?
互联网+金融大数据,下一个大趋势!?
DT时代 数据就是变量 何谓“数据×”?即乘数效应。在中国经济新常态大背景下,我们以大数据应用为战略引领,实现了从“互联网+”到“大数据×”的融合效应,打通大数据成果向现实生产力转化的通道。 我国大数据产业离爆发期为期不远,目前正是大数据产业的上升发展期,国家提出的“互联网+”政策暖风又起到了一定的推动作用,无论是产业资本、企业科技投入,还是政府应用大数据服务国计民生,我认为,目前阶段应该是进入到大数据领域最好的时间。——北京明略软件系统有限公司技术副总裁,金融事业部总经理 周卫天:金融时代已经来临 与
小莹莹
2018/04/23
9340
互联网+金融大数据,下一个大趋势!?
【聚焦】大数据时代 谁动了我们的隐私
乐享电商的便利,憧憬智慧城市的美好,期待“互联网+”的无限可能……大数据正在改变我们的生活以及理解世界的方式。在这个万物互联的时代里,技术的进步让每个人都可能成为受益者。与之相随,当个人信息不断被收集、利用,隐私安全问题也日益凸显。 便利化与隐私权,如何选择? “普吉岛7日游,二手房交易,海外代购……最近上网总能在许多页面上看到我所关注的信息,感觉自己的隐私谁窥知了。”5月20日,家住济源的陈女士表示。 与陈女士的忧虑不同,在洛阳工作的陈蕊却挺享受数据推送的便利。“网购时经常收到与自己搜索东西相似的推荐
小莹莹
2018/04/23
5930
【聚焦】大数据时代 谁动了我们的隐私
云计算大数据互联网金融论坛:互联网中的“利来利往”
【CSDN现场报道】第六届中国云计算大会于2014年5月20-23日在北京国家会议中心拉开帷幕。本次大会立足实践,以国际化的视野,帮助与会者了解全球云计算技术的发展趋势;从应用出发,探讨交通、医疗、教育、金融、制造、数字娱乐等行业领域的实践经验;并通过技术专场、产品发布和培训课程等方式,深度剖析云计算大数据的核心技术。 “云计算大数据互联网金融论坛”在宏源证券研究所副所长易欢欢的主持下拉开了序幕,在互联网金融和金融互联网的交互创新中,如何实现数据对接与风险控制,如何保证支付安全,成为技术聚焦点。在“云计算大
CSDN技术头条
2018/02/07
1.1K0
为什么大数据会如此轰动?(值得深度的文章)
1、存在的背景 基础设施的巨大飞跃,数据储存技术、网络技术的迅猛发展,为大数据时代的到来准备了物质基础。 物联网本质上就是更多采集数据的入口和节点;云计算培养了服务的商业模式和集中建设降低单位计算和存储成本。到了移动互联网就更有意思了:第一个特点是身份,在合适的时间,合适的地点,将合适的信息送给合适的人,你要知道你的对方是谁,他有什么喜好,他现在是什么状态,没有这个精准身份的信息,一切都无从谈起。第二个就是连接,双向适时的互动连接,有了网络以后,你想要什么信息,就从电脑上去索取。手机我们一半除了拿信息以外,
CDA数据分析师
2018/02/08
1K0
【数据分析】大数据征信分析报告对互联网金融和信用评估的启迪
近期,美国互联网金融公司ZestFinance受到国内互联网金融专业人士的热捧,其基于大数据的信用评估模型也越来越受到关注和效仿。本文结合美国的金融环境,对ZestFinance进行简要介绍,分析大数据征信产生的背景,剖析大数据征信技术,并全面客观地阐述了大数据征信技术对于中国互联网金融和征信业未来发展的借鉴意义。 ZestFinance简介 ZestFinance,原名ZestCash,是美国一家新兴的互联网金融公司,2009年9月成立于洛杉矶,由互联网巨头谷歌(Google)的前信息总监道格拉斯·梅瑞
陆勤_数据人网
2018/02/27
1.9K0
【数据分析】大数据征信分析报告对互联网金融和信用评估的启迪
中关村大数据交易产业联盟成立
京东新浪天翼已接入数据交易平台 近年来,在IT产业特别是如电子商务、互联网金融等领域,庞大的交易数据等成为挖掘客户需求、创新商业模式的有力手段,数据已成为众多企业的核心竞争力,由于缺乏规范的数据共享和交易渠道,数据交易平台乃至交易所成为势在必行的产业需求。 中关村数海大数据交易平台将通过开放的应用程序接口(API)进行数据录入、检索、调用,为政府机构、科研单位、企业乃至个人提供数据交易和使用的场所。在确保数据不涉及个人隐私、不危害国家安全,同时获得数据所有方授权的情况下,为数据所有者提供大数据变现的渠道;
大数据文摘
2018/05/22
1.2K0
大数据时代下,保险业迎来了怎样的机遇与挑战?
大数据的发展越来越迅速,渗透到各行各业, 保险业也不例外。大数据不仅为保险业的发展提供了新的机遇和视角,也为保险业提出了新的挑战。 首先,我们来了解大数据给保险业带去的机遇。 一、大数据给保险业带来巨大商业价值 信息技术的进步在现代金融创新中发挥了极为重要的作用。而历史的经验告诉我们,大数据对金融业的影响将是全面和深刻的,金融业的经营理念、风险定价、产品设计、营销策略、客户服务、风险管控、组织构架乃至于金融监管,都必须适应大数据时代的要求。 但是,虽然这些年保险业在大数据战略和网络经营等方面进行了积极探索
小莹莹
2018/04/24
3K0
大数据时代下,保险业迎来了怎样的机遇与挑战?
推荐阅读
相关推荐
“被遗忘权”:大数据时代的隐私保护
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档