Loading [MathJax]/jax/input/TeX/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >常用的大数据技术有哪些?

常用的大数据技术有哪些?

作者头像
黑泽君
发布于 2018-12-10 02:27:23
发布于 2018-12-10 02:27:23
1.8K0
举报
文章被收录于专栏:黑泽君的专栏黑泽君的专栏

  参考链接:https://blog.csdn.net/lmseo5hy/article/details/79542571

  大数据技术为决策提供依据,在政府、企业、科研项目等决策中扮演着重要的角色,在社会治理和企业管理中起到了不容忽视的作用,很多国家,如中国、美国以及欧盟等都已将大数据列入国家发展战略,微软、谷歌、百度以及亚马逊等大型企业也将大数据技术列为未来发展的关键筹码,可见,大数据技术在当今乃至未来的重要性!   大数据技术,简而言之,就是提取大数据价值的技术,是根据特定目标,经过数据收集与存储、数据筛选、算法分析与预测、数据分析结果展示等,为做出正确决策提供依据,其数据级别通常在PB以上,以下是常用的大数据技术:

一、大数据基础阶段

  大数据基础阶段需掌握的技术有:Linux、Docker、KVM、MySQL基础、Oracle基础、MongoDB、redis以及hadoop、mapreduce、hdfs、yarn等。

二、大数据存储阶段

  大数据存储阶段需掌握的技术有:hbase、hive、sqoop等。

三、大数据架构设计阶段

  大数据架构设计阶段需掌握的技术有:Flume分布式、Zookeeper、Kafka等。

四、大数据实时计算阶段

  大数据实时计算阶段需掌握的技术有:Mahout、Spark、storm。

五、大数据数据采集阶段

  大数据数据采集阶段需掌握的技术有:Python、Scala。

六、大数据商业实战阶段

  大数据商业实战阶段需掌握的技术有:实操企业大数据处理业务场景,分析需求、解决方案实施,综合技术实战应用。

  在拥有Java编程语言基础的前提下,可以学习以上大数据技术,大数据是未来的发展方向,正在挑战我们的分析能力对世界的认知方式,因此,我们与时俱进,迎接变化,并不断的成长!

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2018-11-08 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
常用的大数据技术有哪些?hadoop学习总结
大数据技术为决策提供依据,在政府、企业、科研项目等决策中扮演着重要的角色,在社会治理和企业管理中起到了不容忽视的作用,很多国家,如中国、美国以及欧盟等都已将大数据列入国家发展战略,微软、谷歌、百度以及亚马逊等大型企业也将大数据技术列为未来发展的关键筹码,可见,大数据技术在当今乃至未来的重要性!
用户2292346
2018/07/21
1.9K0
2019年武汉专业大数据采集处理技术及方案有哪些?武汉数道云科技
大数据的发展伴随着互联网技术的进步,数据量的增大、数据源的增多,大数据在互联网时代针对数据类别特别大的数据集,并且这样的数据集无法用传统数据库工具对其内容进行抓取、管理和处理。
数道云大数据
2019/02/28
8530
如何学习大数据技术
针对第一个问题,就是ETL技术-数据的抽取,清洗,加载。传统数据抽取、清洗、加载是无法做到的。例如一个1TB的数据,需要抽取一些客户的基本信息。上万的文件,多种数据库,每个数据库有很多节点等,这些问题如何解决。第二是时间问题,如果这个ETL过长需要半个月时间,那么就没有意义的。
用户2292346
2019/06/11
5470
如何学习大数据技术
为什么大数据应用需要敏捷?敏捷大数据方法论
本文系投稿作品 作者 | 杜圣东 大数据文摘欢迎各类优质稿件 请联系tougao@bigdatadigest.cn 前段时间有报道称,有学者质疑“大数据”理论,也有硅谷公司负责人质疑大数据应用的效果。结合2011年Gartner关于BI(Business Intelligence)应用70%-80%都失败的一个调查结论(这里的fail是夸张的说法,更确切地讲应该是没有达到预期效果),本文就来谈谈为什么会出现这样的问题,大数据应用落地的瓶颈是什么?为什么大数据应用容易失败?为什么大数据应用需要敏捷?敏捷
大数据文摘
2018/05/24
1K0
大数据开发工程师学习路线分享
大数据是对海量数据存储、计算、统计、分析等一系列处理手段,处理的数据量是TB级,甚至是PB或EB级的数据,是传统数据处理手段无法完成的,大数据涉及分布式计算、高并发处理、高可用处理、集群、实时性计算等等,汇集的是IT最热门、最流行的IT技术,大数据是机器学习、深度学习、AI等尖端可以领域的基础架构。
用户2292346
2019/03/21
8120
大数据开发工程师学习路线分享
建大数据平台太难了!给我发个工程原型吧!
本文作者 耿立超,架构师,14年IT系统开发和架构设计经验,CSDN博客专家,著有《大数据平台架构与原型实现:数据中台建设实战》一书。 原文链接: https://laurence.blog.csdn.net/article/details/106851739 故事缘起 我们需要工程原型! 从2008年Hadoop成为Apache的顶级项目开始,大数据技术迎来了十多年的持续发展,其间随着Spark的异军突起,整个大数据生态圈又经历了一次“装备升级”,变得更加完善和强大。 今天,很多企业已经完成了早期对大数据
博文视点Broadview
2023/05/19
3340
建大数据平台太难了!给我发个工程原型吧!
大数据行业的热门职位有哪些?
一般我们把数据科学与大数据领域的角色分成4类:数据架构师、数据分析师、数据科学家、数据工程师。以下是热门的大数据岗位:
加米谷大数据
2019/11/15
8530
大数据平台架构设计探究
近年来,随着IT技术与大数据、机器学习、算法方向的不断发展,越来越多的企业都意识到了数据存在的价值,将数据作为自身宝贵的资产进行管理,利用大数据和机器学习能力去挖掘、识别、利用数据资产。如果缺乏有效的数据整体架构设计或者部分能力缺失,会导致业务层难以直接利用大数据大数据,大数据和业务产生了巨大的鸿沟,这道鸿沟的出现导致企业在使用大数据的过程中出现数据不可知、需求难实现、数据难共享等一系列问题,本文介绍了一些数据平台设计思路来帮助业务减少数据开发中的痛点和难点。
2020labs小助手
2019/12/23
1.8K0
大数据学习的五大步骤
学习内容:Java 语言入门 → OOP 编程 → Java 常用Api、集合 → IO/NIO → Java 实用技术 → Mysql 数据库 → 阶段项目实战 → Linux 基础 → shell 编程
红目香薰
2022/11/29
5350
0基础学习大数据,你需要了解的学习路线和方向?
现在大数据这么火,各行各业想转行大数据,那么问题来了,该往哪方面发展,哪方面最适合自己?
用户2292346
2018/06/12
1.5K3
0基础学习大数据,你需要了解的学习路线和方向?
别光堆数据,架构才是大数据的灵魂!
在这个数据爆炸的时代,随便打开一个应用,都是TB级的数据流。企业都想用大数据挖掘价值,但很多人误以为“大数据=数据量大”。其实,大数据的核心不只是存,而是如何让数据高效流动、高效计算、高效服务业务。这就必须依赖一个合理的大数据架构,否则数据只是“一堆数字的坟墓”。
Echo_Wish
2025/04/16
910
别光堆数据,架构才是大数据的灵魂!
【活动回顾】成都理工信科院大数据技术讲座
活动背景 大数据时代已经到来,从国家到地方政府再到企业,都在致力与发展大数据,大数据也已经影响到我们生活的方方面面。2018年5月16日晚加米谷大数据应邀到成都理工大学信科院进行大数据技术讲座。 活动目的 大数据技术讲座的开展,让学生更深刻的了解什么是大数据,让学生能提早的了解到大数据相关职业,以便在未来的发展方向上提前做好准备。 主讲人 张安文,加米谷大数据创始人,国家大数据标准组成员,Spark Contributor,资深大数据专家,15年互联网IT技术经验,6年大数据项目实战经验,精通大数据领域
加米谷大数据
2018/06/04
4680
大数据平台框架、组件以及处理流程详解
数据产品和数据密不可分作为数据产品经理理解数据从产生、存储到应用的整个流程,以及大数据建设需要采用的技术框架Hadoop是必备的知识清单,以此在搭建数据产品时能够从全局的视角理解从数据到产品化的价值。本篇文章从三个维度:
全栈程序员站长
2022/08/31
3.2K0
大数据平台框架、组件以及处理流程详解
大数据技术概述
大数据(Big Data):指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。主要解决,海量数据的存储和海量数据的分析计算问题。
Francek Chen
2025/01/22
1.4K0
大数据技术概述
大数据的五大关键技术
大数据技术,就是从各种类型的数据中快速获得有价值信息的技术。大数据领域已经涌现出了大量新的技术,它们成为大数据采集、存储、处理和展现的有力武器。 一、大数据接入 1、大数据接入 已有数据接入、实时数据接入、文件数据接入、消息记录数据接入、文字数据接入、图片数据接入、视屏数据接入 2、大数据接入技术 Kafka、ActiveMQ、ZeroMQ、Flume、Sqoop、Socket(Mina、Netty)、ftp/sftp 二、大数据存储 1、大数据存储 结构化数据存储、半结构化数据存储、非结构化数据存储 2、
加米谷大数据
2018/04/02
1.6K0
一文遍历大数据架构变迁史
作者 | 松子(李博源) 策划 | Tina 编者按:《透过数字化转型再谈数据中台》系列连载 6-8 篇左右,作者结合自己在数据中台领域多年实践经验,总结了数据架构知识、BI 知识,以及分享给大家一些产业互联网实施经验。本文是系列文章中的第三篇。 在前面两篇 “关于数字化转型的几个见解 ”、“唯一性定理中的数据中台”提到了数据中台发展问题。比如概念发展太快,信息量过载,以及存在广义、狭义的数据中台定义的差别等,涉及到的这些知识都离不开数据架构的范畴,所以这一篇我会通过大数据架构发展的视角来总结与分享。(一些
深度学习与Python
2023/04/01
8320
一文遍历大数据架构变迁史
大公司都在做的大数据平台,为你精选这一份书单
现如今每个公司都有自己的大数据平台和大数据团队,可以看出大数据建设在公司的重要地位,不管是用于做数据分析、BI还是做用于机器学习、人工智能等领域,大数据都是基础,海量数据成为了互联网公司的重要资产。
程序员黄小斜
2020/06/12
4440
西安弈聪软件的大数据蓝图:耕耘大数据市场孕育大数据革命
大数据使未来复现成为可能,是未来的活化石。随着数据资源确权等制度的出台,海量数据要素将在开放、流通、交易中互通互联,创新驱动数字经济发展,助力数字我国建设。相比很多其他国家,我国是真正的大数据市场,快速的经济发展和蓬勃的新兴产业都催生了崭新的业务模式,推动了大数据和云计算的发展。几乎所有的企业都能描绘自己的大数据蓝图,憧憬大数据带来的产业革命。
西安弈聪软件公司
2018/07/16
4540
一张图,详解大数据技术架构
从这张大数据的整体架构图上看来,大数据的核心层应该是:数据采集层、数据存储与分析层、数据共享层、数据应用层,可能叫法有所不同,本质上的角色都大同小异。
芋道源码
2021/10/27
14K0
大数据经典学习路线(及供参考)不容错过
熟练使用Linux,熟练安装Linux上的软件,了解熟悉负载均衡、高可靠等集群相关概念,搭建互联网高并发、高可靠的服务架构;
用户2292346
2018/06/11
7940
大数据经典学习路线(及供参考)不容错过
推荐阅读
相关推荐
常用的大数据技术有哪些?hadoop学习总结
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档