Loading [MathJax]/jax/output/CommonHTML/config.js
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >大数据时代的技术特色与隐私保护

大数据时代的技术特色与隐私保护

作者头像
CDA数据分析师
发布于 2018-02-08 06:49:48
发布于 2018-02-08 06:49:48
1K0
举报
文章被收录于专栏:CDA数据分析师CDA数据分析师

【摘要】“大数据”是当今最热的概念之一,有人把大数据形容为未来世界的石油,有人宣称掌握大数据的人可以像上帝一样俯瞰整个世界,美国政府甚至已经把对大数据的研究上升为国家战略。喧哗的背后,实际上,随着信息与通讯技术的发展,“大数据”正进入与我们息息相关的每一个角落。

  “大数据”是当今最热的概念之一,有人把大数据形容为未来世界的石油,有人宣称掌握大数据的人可以像上帝一样俯瞰整个世界,美国政府甚至已经把对大数据的研究上升为国家战略。喧哗的背后,实际上,随着信息与通讯技术的发展,“大数据”正进入与我们息息相关的每一个角落。近日,记者参加中国科协主办的第36期科学家与媒体面对面活动,采访相关专家,请他们畅谈了大数据时代的技术特色与隐私保护。   大数据是什么   故事一:无法完成的任务   大数据是一个时髦的新词,也是一个古老的现象。因为,对某个时代来说,超出当时社会信息处理能力的数据,就可以说是大数据。   以人类遇到的第一个大数据人口普查为例。中国在公元2年就有史书记载的人口普查数据(《汉书 地理志》):全国103个郡国,人口是59594978人。对当时的古代中国来说,近六千万人口的普查无疑就是一个难以处理的大数据。美国宪法曾规定,美国人口普查十年一次。1880年开始,美国人花8年完成了一次人口普查,并预计1890年做下一次人口普查大概需要13年时间。也就是说,人口普查成为当时一项无法完成的任务。不过,危机常常带来新的技术革命。有人发明了穿孔卡片制表机,使得这个任务仅用一年时间就可以完成。穿孔卡片制表机就是今天计算机的前身。   “大数据不是今天就出现的,你对付不了的就是大数据。”工业和信息化部电信研究院互联网中心主任何宝宏说:“今天所说的大数据革命也是2008年之后,这5年来信息发生了翻天覆地的变化。大数据让物质世界变得可计算,这是整个人类的目标。”   无法完成的任务,带来的是前所未有的技术突破。如今,移动互联网、物联网、基因测序等采集数据的工具越来越多样化,使我们对物质世界的描述越来越精确,拥有的数据量越来越大;云计算等处理数据的工具越来越经济,又使得大数据的应用走入百姓身边,对我们的生产和生活方式产生深远的影响。   目前大数据最成熟的应用是互联网广告营销。近一年中,老百姓在搜索或者浏览网页时会发现,网上推出的广告越来越精确。这是因为互联网广告已经进入到完全自动、实时竞价的状态,通过对个人上网行为的分析,推导出这个人的性格特征和可能需要,并有针对性地投放广告。广告请求、竞价邀请、受众筛选、申请出价、中标投放的全过程,仅需120毫秒也就是0.12秒即可完成,而在传统媒体完成这样的工作,很可能需要几个月的时间。   互联网金融也是近一年的大热点,根基就是由于大数据技术的成熟。互联网金融在面对中小企业的贷款业务中,拥有独特的优势。据一份对中国互联网金融的调查报告显示,互联网金融对小微企业贷款时,不良贷款率仅为1.02%,单笔放款成本为2.3元;而传统银行对小微企业的贷款不良率为5.5%至6%,单笔成本达800元至2000元。这种低成本、低坏账率、全时服务(机器可以全天候开启)的金融服务,使广大中小企业变成了互联网金融的客户,可以解决小微企业贷款难的问题——这其实也是一个过去无法完成的任务。   大数据怎么用   故事二:不懂外语的翻译   百度公司发展研究中心副主任率鹏给记者讲了一个有趣的故事。“百度翻译”这个工具,目前已经提供了24种语言的自动翻译服务,翻译质量在行业中领先。“但这24种语言中有12种语言,整个百度翻译的团队没有人能懂。”率鹏说,“大数据的技术使我们完全在不了解、不懂得、不能够理解这种语言的情况下,仅仅靠技术本身就开发出一个非常好的翻译工具,这在以往的时代是难以想象的。”   不懂外语的外语翻译,这个听起来很天方夜谭的故事,其实精准反映了如今大数据技术的一大特点——不需要知道为什么,只需要知道是什么。   这个技术特点,是由如今大数据本身的特点决定的。中国通信学会副理事长兼秘书长张新生表示,大数据有四大特点:一是海量,大到“以目前的技术无法管理的数据量”;二是多样,数据种类复杂,非结构数据占到所存储数据总量的75%—95%,这些非结构数据无法以现在的技术手段与关系分析的数据库来处理;三是速度,数据产生的频率和传送频率非常快,需要进行实时处理;四是价值密度低,需从大量的低质量、低价值的数据中获取知识,犹如大海捞针,获取数据成本很高。   事实上,大数据还将越来越大。在过去两年中,全球产生的信息占到人类整体掌握信息总量的90%,现在每天全球产生的数据相当于国家图书馆馆藏总量的1500倍。而互联网数据中心IDC预测,到2020年全世界将有300亿个物联网终端。中国在这一市场上将占据至关重要地位,届时中国普通家庭将拥有40个到50个智能设备或传感器,每年创造出20TB的数据。而中国国家图书馆藏书是2631万册,信息量相当于41TB。也就是说,届时一个普通中国家庭每年产生的数据,就相当于半个国家图书馆。   我们如何才能不被大数据所淹没?   “大数据的核心重点在于深度挖掘,通过挖掘产生新的应用。”张新生表示,大数据的处理技术是一个工具,它有几个新特色:不再是小样本、随机样本,而要全体数据;接收数据有混杂性,不再追求精确性;关注事物之间的相关性,可以只知道是什么,不知道为什么;对所获数据可多次、反复利用,并可扩展,具有互用性,也就是未来可能知道为什么。   大数据产业也在变得越来越大。大数据的采集和传感、物联网领域有很大关联性;大数据的处理,又和云计算等产业相关;大数据的应用和医疗、金融等各个行业相关。未来将有越来越多企业发展成大数据企业。   “大数据应该是我们的战略性新兴产业中新一代信息技术重要的产业部分,和互联网产业、物联网产业、电信产业都有很大关联性。”中国联通网络技术研究院首席专家唐雄燕表示:“大数据本身和很多产业相关,现在可能已经有几千亿元的产业规模,将来会无处不在。大数据的从业者,未来也将不止是高科技人员,也会有很多蓝领。大数据是一个材料,和石油、矿藏一样,需要有采集数据的人员,需要有探矿的人员,各种各样的人都需要。”   大数据怎么管   故事三:应该保护的隐私   我国大数据应用面临着数据资源难以开放共享、数据安全和隐私急需保护、大数据技术创新人才不足等诸多挑战,其中个人隐私如何保护,是大众最为关注的问题。   事实上,真正好用的大数据技术,应该是用加工实现增值,用分析来指导决策,而非贩卖用户个性化隐私这种原始数据信息本身的低层次滥用。   中兴通讯首席架构师、业务总工程师罗圣美表示:“使用这些数据的企业,其实有两大类,一类是互联网企业,第二类是电信企业。企业有安全保护措施,有技术解决方案,做只针对群体,而不针对个体的信息挖掘,这是应遵循的基本原则。”   率鹏认为,在隐私保护问题上,大数据技术要重点强调符号化和用户特征这两个概念。“符号化,是当我们去识别一个用户时,用和他真实信息不相关的符号标记这个用户。符号通过算法来保证,是单向的识别,使我们能识别出两次登录的是同一个用户,却无法通过此符号反推出该用户在真实生活中的姓名、电话和住址,这就基本享受了大数据带来的优势,同时又规避了信息安全的风险。用户特征,是在大数据时代,企业感兴趣的往往是这个用户的特征,而不是家庭地址、电话号码真正敏感的信息。比如说,我希望知道你是一个20岁到30岁年龄段,生育过子女,有高等教育学历的女性,这些都是你的特征,但是我并不想知道你姓甚名谁,今年多大,有几个小孩。如果在数据使用过程中严格遵循符号化和用户特征原则,我们就能规避掉不良风险。”   除了技术以外,政策和立法才是大数据时代个人隐私保障的重要凭借。2012年12月28日,《全国人民代表大会常务委员会关于加强网络信息保护的决定》审议通过。2013年,工信部根据全国人大的决定,出台了关于互联网和电信网个人信息保护的条例,提出了数据保护的一系列要求。   数据需要保护,数据也需要交易。大数据的保护与交易需要遵循什么样的标准,是当前政策制定者面临的挑战。   张新生说:“有价值的数据是非常重要的资源,但前提是要建立交易规则。我国的几大互联网运营企业都在做大数据分析,并且都想把数据作为可交易的产品,这需要我们尽快建立数据交易有关的法律法规。”   何宝宏认为,目前的大数据分为两类。一类是公共数据,比如政府所掌握的数据,或者公益企业的数据,公共数据面临的是开放和共享的问题。一类是商业数据,商业性数据需交易,因为这是资产,交易产生新的价值。“标准和政策的制定是不断摸索的过程,需要随着市场去探索,我们已经深度地介入到关于目前国内数据交易的活动中,去探讨这方面的政策、标准制定。”   对于用户来说,提高信息安全意识、注意个人隐私保护也十分重要。不过,鉴于大数据时代个人隐私保护的困难程度,已有专家提出了“遗忘”的必要性。牛津大学教授、大数据领域权威专家维克托就在他的著作《删除》中表示,对于人类而言,遗忘一直是常态,而记忆才是例外。然而,由于数字技术与全球网络的发展,这种平衡已经被打破了。大量数字化的私人信息不仅可能在今天被滥用,在几年甚至几十年后仍然可能被滥用。   罗圣美说:“在大数据时代,建议国家相关部门在制定产业政策时,需要重点考虑涉及个人隐私的信息,采取删除、锁定,或者安全加密等多种级别的保密措施,避免个人隐私被检索、发现、滥用和扩散。”

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2014-01-15,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 CDA数据分析师 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
Spring学习笔记_2
2.Spring的jdbcTemplate 2.1 介绍: jdbcTemplate就是Spring对jdbc的封装的模板。用于操作数据库。 2.2 新添的jar包 spring-jdbc-4.2.4.RELEASE.jar spring-tx-4.2.4.RELEASE.jar mysql-connector-java-5.1.7-bin.jar 2.3 操作步骤: (1)new DriverManagerDataSource() (2)new jdbcTemplate() (3)jdbcTemplate.update(); 2.4 初级版本:
曼路
2018/10/18
2960
Spring事务管理
事务的特性: 原子性:事务不可分割 一致性:事务执行前后数据完整性保持一致 隔离性:一个事务的执行不应该受到其他事务的干扰 持久性:一旦事务结束,数据就持久到数据库
用户3112896
2019/09/26
5170
Spring第三天:Spring的AOP的注解开发、Spring的声明式事务、JdbcTemplate
Spring是EE开发的一站式的框架,有EE开发的每层的解决方案。Spring对持久层也提供了解决方案:ORM模块和JDBC的模板。
AlbertYang
2020/09/08
6030
Spring第三天:Spring的AOP的注解开发、Spring的声明式事务、JdbcTemplate
JAVAEE框架整合技术之spring03-SpringJdbcTemplate模板技术和事务处理
从如上的代码中,可以看到两个方法中基本99%的代码都是重复的,除了sql语句之外,都是重复的代码,重复的代码就是坏味道,会让我们的产生大量的冗余代码,不易于维护和修改,而且写起来还累。
张哥编程
2024/12/13
1050
SSH框架之Spring第四篇
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
海仔
2019/09/23
5530
Spring--JdbcTemplate使用
在MySQL中新建test数据库,在其中新建表account,其中包含name(varchar)和money(double)两个字段:
花猪
2022/02/22
4030
Spring--JdbcTemplate使用
Spring学习笔记——带你真正了解掌握Spring框架
欢迎关注专栏:Java架构技术进阶。里面有大量batj面试题集锦,还有各种技术分享,如有好文章也欢迎投稿哦。
慕容千语
2019/06/11
6250
快速学习-Spring 中的 JdbcTemplate
除了默认构造函数之外,都需要提供一个数据源。既然有set方法,依据我们之前学过的依赖注入,我们可以在配置文件中配置这些对象。
cwl_java
2020/04/03
9160
快速学习-Spring 中的 JdbcTemplate
Spring:(三) --常见数据源及声明式事务配置
Spring自带了一组数据访问框架,集成了多种数据访问技术。无论我们是直接通过 JDBC 还是像Hibernate或Mybatis那样的框架实现数据持久化,Spring都可以为我们消除持久化代码中那些单调枯燥的数据访问逻辑。Spring对大多数的持久化方式提供支持。
宋先生
2019/07/18
1.1K0
【翻译】spring-data 之JdbcTemplate 使用
一个Application作为入口。IUserRepository和UserRepository作为具体的实现。applicationContext.xml定义spring的配置。db.properties保存数据库相关的信息。
_淡定_
2019/08/18
6970
SSH框架之旅-spring(3)
Spring 框架是一站式的框架,针对 JavaEE 的三层结构,每一层都有解决的技术,在 DAO(数据操作层)使用 jdbcTempalte。并且 Spring 也是一个胶水式的框架,对于第三方的框架也有很好的整合支持,对不同的持久层技术都进行封装。
Wizey
2018/08/30
4700
SSH框架之旅-spring(3)
[Spring框架]Spring JDBCTmplate基础入门总结.
前言: 前面有讲过 Spring IOC以及AOP的基本使用方法, 这里就再来讲下Spring JDBCTemplate的使用方法. 一, 概述 这里先说一下Spring 整合的一些模板: 从上图中
一枝花算不算浪漫
2018/05/18
6680
利用Spring的IOC的实现数据库的CRUD
正文 引言: 纵然是基础,也还是有很多人不会; 先看一下完整的目录结构 打开你的图形化界面工具(sqlyog,navicat...),创建数据库spring-test,导入以下SQL DROP TA
框架师
2020/02/12
3950
利用Spring的IOC的实现数据库的CRUD
Spring-事务
今天开始学习我自己总结的 Java-学习路线 中的《Spring-事务》,小简从 0 开始学 Java 知识,并不定期更新所学笔记,期待一年后的蜕变吧!
小简
2023/01/04
3830
Spring-事务
Spring中框架
JdbcTemplate是Spring对JDBC的封装,目的是使JDBC更加易于使用。JdbcTemplate是Spring的一部分。JdbcTemplate处理了资源的建立和释放。他帮助我们避免一些常见的错误,比如忘了总要关闭连接。他运行核心的JDBC工作流,如Statement的建立和执行,而我们只需要提供SQL语句和提取结果。
星哥玩云
2022/09/14
5510
Spring中框架
[Spring框架]Spring 事务管理基础入门总结.
前言: 在之前的博客中已经说过了数据库的事务, 不过那里面更多的是说明事务的一些锁机制, 今天来说一下Spring管理事务的一些基础知识.  之前的文章: [数据库事务与锁]详解一: 彻底理解数据库事务 一, 什么是事务 事务是逻辑上一组操作,这组操作要么全都成功,要么全都失败. 事务的属性: ACID 原子性(Atomicity): 事务作为一个整体被执行,包含在其中的对数据的操作要么全部被执行,要么都不执行. 一致性(Consistency):事务应确保数据库的状态从一个一致状态转变为另一个一致状态.
一枝花算不算浪漫
2018/05/18
7930
JAVAEE框架之Spring JdbcTemplate
1.数据库配置的代码,放到了java里面,根据“高内聚,低耦合”原则,应该尽量做到分离;
张哥编程
2024/12/19
1420
Spring的IOC的实现账户的CRUD
Spring的IOC的实现账户的CRUD 完整目录结构 image.png 打开你的图形化界面工具(sqlyog,navicat...),创建数据库spring-test,导入以下SQL DROP TABLE IF EXISTS USER; CREATE TABLE USER ( id INT(11) NOT NULL AUTO_INCREMENT, username VARCHAR(32) NOT NULL COMMENT '用户名称', birthday DATETIME DEFAU
框架师
2021/03/05
2900
Spring:JDBC Template,声明式事务
JdbcTemplate 是 spring 框架中提供的一个模板对象,是对原始繁琐的 JDBC API 对象的简单封装。
RendaZhang
2020/09/16
1.2K0
Spring:JDBC Template,声明式事务
数据库|Spring整合JDBC
JDBC代表Java Database Connectivity,它是提供一组JavaApi来访问关系数据库的Java程序。这些Apis可以使Java应用程序执行sql语句,能够与任何符合sql规范的数据库进行交互。
算法与编程之美
2020/04/24
9480
相关推荐
Spring学习笔记_2
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档