前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >专栏 >什么是数据科学

什么是数据科学

作者头像
雪地二货
发布于 2018-09-18 10:16:09
发布于 2018-09-18 10:16:09
1K0
举报

有一部分是个人的见解和看法,未必正确

什么是数据科学

在搞懂什么是大数据前,先来了解下什么是数据科学。 因为在个人眼里所谓的大数据其实是数据科学的一个高阶状态

数据科学是一个概念,没有一个固定的体系。 概率统计,密码学,数据库,所有对数据的操作都可以被称为数据科学 而数据科学其实主要是为了解决三个问题

  1. data pre-processing; 数据前处理
  2. data interpretation;数据翻译
  3. data modeling and analysis. 数据建模分析

1)原始的一大批数据未必全是自己所需要的,因此需要进行“前处理”,也就是把这些数据提取,过滤,整理,等等过程,把自己需要的数据取出来

2)翻译,打个比方,假设我们不懂英语只懂汉语,那么我们拿到一串英语的时候需要把它翻译成汉语才能理解,这是现实生活方面的翻译,数据科学中的翻译其实也是这个概念,我们拿到的数据也许是我们不懂的格式和规律,这样我们就需要做一件事:看看数据“长什么样”它“表达了什么”。

3)数据进行了前处理的过滤,翻译的解析之后依旧是一堆数据,我们需要对他们做最后也是最重要的一件事,分析,按照自己的需求对数据进行分析或者分类或者预测,从这些大量复杂的数据中提取出有价值的信息


三个问题只是个概念,在解决问题的时候每个大问题又会分出很多个小问题,但是只要按照这个大思路走。数据就不会跑偏。

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
【学习】如何进行大数据的入门级学习?
大数据是眼下非常时髦的技术名词,自然也催生出了一些与大数据相关的职业,通过对数据的分析挖掘来影响企业的商业决策。   这群人被称做数据科学家(Data Scientist),这个头衔最早由D.J.Pati和Jeff Hammerbacher于2008年提出,他们后来分别成为了领英(LinkedIn)和Facebook数据科学团队的负责人。而数据科学家目前也已经在美国传统的电信、零售、金融、制造、物流、医疗、教育等行业里开始创造价值。   不过在国内,大数据的应用才处于萌芽状态,人才市场还不太成熟,每家公司对
小莹莹
2018/04/20
5770
【学习】如何进行大数据的入门级学习?
【数据科学家】数据科学家修炼之路
经常有人问我“要成为数据挖掘工程师或者数据科学家应该读什么书?”类似的问题。下面是一份建议书单,同时也是成为数据科学家的指南,当然,这不包括取得合适大学学位的要求。 在深入探讨之前,数据科学家似乎需要
陆勤_数据人网
2018/02/27
9460
【数据科学家】数据科学家修炼之路
怎样进行大数据的入门级学习?
文 | 郭小贤 数据科学并没有一个独立的学科体系,统计学,机器学习,数据挖掘,数据库,分布式计算,云计算,信息可视化等技术或方法来对付数据。 但从狭义上来看,我认为数据科学就是解决三个问题: 1. data pre-processing;(数据预处理) 2. data interpretation;(数据解读) 3.data modeling and analysis.(数据建模与分析) 这也就是我们做数据工作的三个大步骤: 1、原始数据要经过一连串收集、提取、清洗、整理等等的预处理过程,才能形成高质量的
CDA数据分析师
2018/02/24
7520
一条通往数据科学家的必经之路!
经常有人问我“要成为数据挖掘工程师或者数据科学家应该读什么书?”类似的问题。下面是一份建议书单,同时也是成为数据科学家的指南,当然,这不包括取得合适大学学位的要求。 在深入探讨之前,数据科学家似乎需要掌握许多技巧,如:统计学、编程、数据库、演讲技巧、数据清理与变换知识。 理想情况下,你需要具备以下技能: 了解统计学与数据预处理知识。 理解统计陷阱。你必须明白在统计分析过程中偏差与常见错误都将影响统计分析人员。 了解几个机器学习与统计技术的工作原理。 时间序列分析。 编程技巧 (R, Java, Pyth
小莹莹
2018/04/20
7760
一条通往数据科学家的必经之路!
【干货】怎样进行大数据的入门级学习?
数据科学并没有一个独立的学科体系,统计学,机器学习,数据挖掘,数据库,分布式计算,云计算,信息可视化等技术或方法来对付数据。但从狭义上来看,我认为数据科学就是解决三个问题: 1. data pre-processing; 2. data interpretation; 3.data modeling and analysis. 这也就是我们做数据工作的三个大步骤: 1、原始数据要经过一连串收集、提取、清洗、整理等等的预处理过程,才能形成高质量的数据; 2、我们想看看数据“长什么样”,有什么特点和规律; 3
小莹莹
2018/04/20
5570
【译】如何真正学习数据科学
对于数据科学领域来说,现在是一个令人振奋的时期。它是新兴的研究领域,但是却在飞速的发展。如今数据科学领域需要大量的数据科学家,而他们在硅谷年人均收入则超过10万美元。哪里有优厚的薪酬,哪里就会有相当多的人会尽可能的拿到这样的薪酬。而数据科学技能的不足意味着很多人都要学习或者尝试着学习数据科学。 学习数据科学的第一步通常都是问问自己:我要怎样学习数据科学?这个问题的回复是我们要上一系列的课程和阅读一些书籍,并且我们需要先从线性代数或统计学开始学习。一年前,在学习过程中我也有过类似的经历。当时我不懂编程,但
小莹莹
2018/04/20
6420
【译】如何真正学习数据科学
独家 | 数据科学入门指南:新手如何步入数据科学领域?
数据科学,据说是本世纪最吸引人的工作,已经成为我们许多人梦寐以求的工作。但对某些人来说,数据科学看起来像一个充满挑战的迷宫,让人无从下手。如果你也是其中之一,那就继续阅读。
数据派THU
2020/06/01
7940
独家 | 数据科学入门指南:新手如何步入数据科学领域?
业界 | 别跟风了!你的公司根本不需要数据科学家
数据科学家不是魔法师,当所需的数据不可得或者质量很差的时候,数据科学家能做的很有限,这已经超过了技术的范畴。企业管理者如果能从全局出发部署数据战略,才能真正解决当下数据科学家的痛点,这样数据科学家才能发挥作用解决公司的痛点。
大数据文摘
2018/08/08
2540
业界 | 别跟风了!你的公司根本不需要数据科学家
《数据科学家访谈录》总结·2
01 - 05:DJ Patil, Hillary Mason, Pete Skomoroch, Mike Dewar, Riley Newman 06 - 10:Clare Corthell, Drew Conway, Kevin Novak, Chris Moody, Erich Owen 11 - 15:Eithon Cadag, George Roumeliotis, Diane Wu, Jace Kohlmeier, Joe Blitzstein
SeanCheney
2018/09/19
3720
《数据科学家访谈录》总结·2
我们问了Yann LeCun等16个顶级数据科学家,这是他们给数据新人的建议
大数据文摘作品 编译:Fei、杨小咩是小怪兽、张南星、Rita、云舟 数据科学为何迷人?这与数据科学家密不可分! 通过合理使用大量数据,在这群人的手中,大批新应用、新行业应用而生。 语音识别,计算机视觉中的物体识别,机器人,自动驾驶汽车,生物信息学,神经科学,系外行星的发现,对宇宙起源的理解,以及在经费有限的条件下,组织一支胜出的棒球队。 数据科学家是整个产业的核心。他们必须将应用领域的知识与统计专业知识结合起来,并运用最新的计算机科学思想来实施。 本文节选自《工作中的数据科学家》,书中采访了16个不同行业
大数据文摘
2018/05/23
3070
做一个大数据技术的搬运工 | 数据科学50人·沈志勇
如今,我们每个人都在谈论“数据科学”,《哈佛商业评论》甚至将数据科学家定义为“21世纪最性感的职业”。在这个大数据时代,究竟什么是数据科学?数据科学家又究竟是怎样的一群人?他们在创造着什么令人着迷的东西?DT君将在2018年走访50位来自各行各业的顶尖数据科学家,希望能让你们了解这些神奇的人和他们神秘事儿,为你们一窥数据科学的未来与未知。
DT数据侠
2018/08/08
7570
做一个大数据技术的搬运工 | 数据科学50人·沈志勇
数据科学难题,怎么解释到底什么是数据科学
网络上没有任何文章比较和对比数据科学术语。所有类型的人都写了各种各样的文章,将他们的意见传达给任何愿意倾听的人。这几乎是压倒性的。
架构师研究会
2018/10/23
6120
数据科学难题,怎么解释到底什么是数据科学
【数据科学】需求高涨的数据科学家
从技术方面来看,硬盘价格下降,NoSQL数据库等技术的出现,使得和过去相比,大量数据能够以廉价高效的方式进行存储。此外,像Hadoop这样能够在通用性服务器上工作的分布式处理技术的出现,也使得对庞大的非结构化数据进行统计处理的工作比以往更快速且更廉价。 然而,就算所拥有的工具再完美,它本身是不可能让数据产生价值的。接下来我们还需要能够运用这些工具的人才,他们能够从堆积如山的大量数据中找到金矿,并将数据的价值以易懂的形式传达给决策者,最终得以在业务上实现。具备这些技能的人才,就是在大数据浪潮如火如荼的美国目前
陆勤_数据人网
2018/02/27
1.1K0
你为什么应该关注“数据科学50人”?
喧嚣尘上的每一次技术浪潮,归根结底,都是“人”在创造、在改变、在影响。当你关注数据科学的时候,我们希望为你从那些创造者身上,看到这个时代的微光。
DT数据侠
2018/08/08
4070
你为什么应该关注“数据科学50人”?
从美国到中国,他用大数据拼写中国的Fintech | 数据科学50人·呼延如生
如今,我们每个人都在谈论“数据科学”,哈佛商业评论杂志甚至将数据科学家定义为“21世纪最性感的职业”。在这个大数据时代,究竟什么是数据科学?数据科学家门又究竟是怎样的一群人?他们在创造着什么令人着迷的东西?DT君将在2018年走访50位来自各行各业的数据科学顶尖专家,了解这些神奇的人和他们的神秘事儿,带你们一窥数据科学的未来与未知。
DT数据侠
2018/08/08
6470
从美国到中国,他用大数据拼写中国的Fintech | 数据科学50人·呼延如生
只需4步,微软数据科学家教你用OpenRefine搞定数据清洗
导读:本文将使用OpenRefine清理我们的数据集;它很擅长数据的读取、清理以及转换数据。
IT阅读排行榜
2019/01/23
5K0
只需4步,微软数据科学家教你用OpenRefine搞定数据清洗
民科危险!公民数据科学家也一样
公民数据科学家(Citizen Data Scientist , CDS)的概念始于2017年,在2018年火爆全球。
大数据文摘
2018/12/28
4490
如何成为一名数据科学家?Yann LeCun的建议也许能给你答案
AI 科技评论按:本文为雷锋字幕组编译的技术博客,原标题 16 Useful Advice for Aspiring Data Scientists,作者为 James Le。 翻译 | 杨丽 noodleslee Ray Eldath 整理 | 凡江 最近,我在读 Sebastian Gutierrez’s 「Data Scientists at Work」这本书,他采访 16 个不同行业的 16 位数据科学家了解他们如何从理论思考问题和如何解决实际问题,数据是怎样发挥作用,并且是如此成功。
AI科技评论
2018/03/06
7160
如何成为一名数据科学家?Yann LeCun的建议也许能给你答案
解析 :跻身数据科学领域的五条职业规划道路
原文链接:http://www.kdnuggets.com/2017/02/5-career-paths-data-science-big-data-explained.html
小莹莹
2018/07/24
7670
解析 :跻身数据科学领域的五条职业规划道路
【数据科学】数据科学家与数据科学
仅仅在几年前,数据科学家还不是一个正式确定的职业,然而一眨眼的工夫,这个职业就已经被誉为“今后十年IT行业最重要的人才”了。 一、数据科学家的起源 "数据科学"(DataScience)起初叫"datalogy "。最初在1966年由Peter Naur提出,用来代替"计算机科学"(丹麦人,2005年图灵奖得主,丹麦的计算机学会的正式名称就叫Danish Society of Datalogy,他是这个学会的第一任主席。Algol 60是许多后来的程序设计语言,包括今天那些必不可少的软件工程工具的原型。
陆勤_数据人网
2018/02/26
1.1K0
【数据科学】数据科学家与数据科学
推荐阅读
相关推荐
【学习】如何进行大数据的入门级学习?
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
查看详情【社区公告】 技术创作特训营有奖征文