目前市场上常见的企业级大数据平台型的产品主流的有两个，一个是Cloudera公司推出的CDH，一个是Hortonworks公司推出的一套HDP，其中HDP是以开源的Ambari作为一个管理监控工具，CDH对应的是Cloudera Manager，国内也有像星环这种公司专门做大数据平台。我们公司最初是使用CDH的环境，近日领导找到我让我基于Ambari做一个公司自己的数据平台产品。最初接到这个任务我是拒绝的，因为已经有了很完善很成熟的数据平台产品，小公司做这个东西在我看来是浪费人力物力且起步太晚。后来想想如果公司如果有自己数据平台的产品后续在客户面前也能证明自己的技术实力且我个人也能从源码级别更深入的学习了解大数据生态圈的各个组件。
容器仓库是容器化管理中非常重要的一环，相当于 SVN 在程序研发、运维发布中的地位。因此，一个稳定、可靠的容器仓库尤为重要。
Transwarp Data Hub（TDH） 是星环科技自主研发的企业级一站式多模型大数据基础平台，其领先的多模型技术架构提供统一的接口层，统一的计算引擎层，统一的分布式存储管理层，统一的资源调度层，以及异构存储引擎层。8种异构存储引擎可以支持包括关系表、文本、时空地理、图数据、文档、时序等在内的10种数据模型。存算解耦特性支持弹性扩展，让资源配置更灵活。
首先我们先了解一下Hadoop的起源。然后介绍一些关于Hadoop生态系统中的具体工具的使用方法。如:HDFS、MapReduce、Yarn、Zookeeper、Hive、HBase、Oozie、Mahout、Pig、Flume、Sqoop。
离线数据分析平台实战——110Hive介绍和Hive环境搭建 Hive介绍 Hive是构建在Hadoop之上的数据仓库平台，设计目标就是将hadoop上的数据操作同SQL结合，让熟悉SQL编程的开发人员能够轻松的向Hadoop平台上转移。 Hive可以在HDFS上构建数据仓库存储结构化数据，这些数据来源就是hdfs上，hive提供了一个类似sql的查询语言HiveQL来进行查询、变换数据等操作。 当然HiveQL语句的底层是转换为相应的mapreduce代码进行执行的。 Hive组成 Hive包含用户接口
在当今世界，社交媒体和其他来源的数据大量涌现。企业会仔细收集这些数据并将其存储起来，以便在需要时可以重复使用。处理如此大量的数据需要专门的工具和技术。因此，大数据成为我们生活中重要的组成部分。
数据仓库（Data Warehouse），是为企业所有决策制定过程，提供所有系统数据支持的战略集合。通过对数据仓库中数据的分析，可以帮助企业改进业务流程，控制成本，提高产品质量等。
五年前，Gartner 研究总监就曾 发文 说 Hadoop 光环幻灭；到现在，我们看到了更多的质疑文字，认为“Hadoop 气数已尽”。而这次质疑的起因是 Cloudera 和 Hortonworks 的合并，MapR 的裁员。
某医药集团信息中心数据库组组长，13 年数据库行业从业经历，Oracle OCM，关注 Oracle、MySQL、Redis、MongoDB、Oceanbase、Tidb、Polardb-X、TDSQL、CDH、Clickhouse、Doris、Databend 等多方面的关键领域技术，服务过传统通信、电力，互联网、移动互联网等行业。
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/wzy0623/article/details/51804557
1. Hive起源于Facebook，它使得针对Hadoop进行SQL查询成为可能，从而非程序员也可以方便地使用。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务运行。
数据仓库选型是整个数据中台项目的重中之重，是一切开发和应用的基础。而数据仓库的选型，其实就是Hive数仓和非Hive数仓的较量。Hive数仓以Hive为核心，搭建数据ETL流程，配合Kylin、Presto、HAWQ、Spark、ClickHouse等查询引擎完成数据的最终展现。而非Hive数仓则以Greenplum、Doris、GaussDB、HANA（基于SAP BW构建的数据仓库一般以HANA作为底层数据库）等支持分布式扩展的OLAP数据库为主，支持数据ETL加工和OLAP查询。
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/wzy0623/article/details/51757045
2021年有两条主线，一个是生态系统和商业模式的成熟，比如早在2020年就上市的云数据仓库公司 Snowflake 公司站稳了在资本市场的脚跟、Databricks、Dataiku、Datarobot 等公司估值更高了并且募集了大量的资金，甚至正在追求 IPO；另一方面则是新一代的数据和机器学习创业公司正在崛起，无论是几年前还是几个月前成立的公司都在过去一年左右经历了突飞猛进的增长。
如果说Hive是离线数仓的代表，那么Greenplum就是MPP数据库的代表。在离线数仓的年代，以Hive为核心的数据仓库席卷数据仓库市场，几乎成为了离线数仓的代名词。但是Hive的查询能力非常弱，通常需要其它计算引擎辅助才能完成OLAP查询。
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/wzy0623/article/details/51757009
十一、多重星型模式 从“进阶技术”开始，已经通过增加列和表扩展了数据仓库，在进阶技术（五） “快照”里增加了第二个事实表，month_end_sales_order_fact表。这之后数据仓库模式就有了两个事实表（第一个是在开始建立数据仓库时创建的sales_order_fact表）。有了这两个事实表的数据仓库就是一个标准的双星型模式。 本节将在现有的维度数据仓库上再增加一个新的星型结构。与现有的与销售关联的星型结构不同，新的星型结构关注的是产品业务领域。新的星型结构有一个事实表和一个维度表，用于存储数据仓库中的产品数据。 1. 一个新的星型模式 下图显示了扩展后的数据仓库模式。
阶段一、大数据、云计算 - Hadoop大数据开发技术 课程一、大数据运维之Linux基础 本部分是基础课程，帮大家进入大数据领域打好Linux基础，以便更好地学习Hadoop，hbase,NoSQL，Spark，Storm，docker,openstack等众多课程。因为企业 中的项目基本上都是使用Linux环境下搭建或部署的。 image.png 课程二、大数据开发核心技术 - Hadoop 2.x从入门到精通 本课程是整套大数据课程的基石：其一，分布式文件系统HDFS用于存储海量数据，无论是Hive
在当今大数据时代，处理海量数据成为了一项关键任务。Hadoop作为一种开源的分布式计算框架，为大规模数据处理和存储提供了强大的解决方案。本文将介绍Hadoop的组成和其在大数据处理中的重要作用，让我们一同踏上学习Hadoop的旅程。
一、日志采集系统 记录用户行为（搜索、悬停、点击事件、按钮、输入，请求异常采集等） PC端、App端（Ios，安卓），前端收集埋点数据
去年12月20日，某知名汽车品牌发生了数据泄露事件，而且泄露的数据包含用户个人隐私数据，也包含了公司的运营销售信息等商业机密数据。泄露的个人隐私信息将用户暴露于短信、电话骚扰甚至电信诈骗的危害之下，同时也造成了用户对企业的信任危机，企业也将会面临监管的调查。
（1）2002年10月，Doug Cutting和Mike Cafarella创建了开源网页爬虫项目Nutch。
Hadoop 作为MR 的开源实现，一直以动态运行解析文件格式并获得比MPP数据库快上几倍的装载速度为优势。不过，MPP数据库社区也一直批评Hadoop由于文件格式并非为特定目的而建，因此序列化和反序列化的成本过高。 1、hadoop 文件格式简介 目前 hadoop 中流行的文件格式有如下几种： （1）SequenceFile SequenceFile是Hadoop API 提供的一种二进制文件，它将数据以<key,value>的形式序列化到文件中。这种二进制文件内部使用Hadoop 的
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/wzy0623/article/details/51783410
诺亚控股有限公司以“诺亚财富”为品牌，源起于中国，是首家在港美两地上市的中国独立财富管理机构，首家开创了财富管理和资产管理的双轮驱动业务模式，同时也是国内首家获得标准普尔“投资级”评级的财富管理公司，公司业务涵盖财富管理、资产管理和其他业务。诺亚数据智能部门负责公司大数据体系框架建设，主要工作是支撑日常的BI分析，数据看板，人群画像，自助分析等场景。
其实比较也没啥意义，不同社区发展的目标总是会有差异，而且 Flink 在真正的实时流计算方面投入的精力很多。不过笔者想表达的是，Apache Hive 已经成为数据仓库生态系统的焦点，它不仅是一个用于大数据分析和 ETL 的 SQL 引擎，也是一个数据管理平台，所以无论是 Spark，还是 Flink，或是 Impala、Presto 等，都会积极地支持集成 Hive 的功能。
在将 Impala 工作负载从 CDH 平台迁移到 CDP 之前，您必须了解 CDH 和 CDP Impala 之间的语义和行为差异以及需要在数据迁移之前执行的活动。
我们都渴望获得数据。不仅是更多的数据……还有新的数据类型，以便我们能够最好地了解我们的产品、客户和市场。我们正在寻找有关各种形状和大小（结构化和非结构化）的最新可用数据的实时洞察力。我们希望拥抱新一代的业务和技术专业人员，这些人员是对数据和能够改变数据与我们生活息息相关的新一代技术有真正热情。
波克科技股份有限公司（以下简称“波克城市”）成立于 2010 年，立足于精品休闲游戏的全球化研发、发行，旗下拥有《爆炒江湖》《我是航天员》《猫咪公寓》等精品休闲游戏，连续五年入选中国互联网百强。目前，波克游戏积极探索和发展“游戏+”模式，努力构建以游戏产业为核心、多产业交融发展的互联网新生态。
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的[SQL]查询功能，可以将SQL语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。
开发环境： jdk：Jdk1.8 Scala：2.11.8 CDH6.2.1： zookeeper-3.4.5-cdh6.2.1、hadoop-3.0.0-cdh6.2.1，hive-2.1.1-cdh6.2.1、hue-4.3.0-cdh6.2.1 Sqoop：sqoop-1.4.7-cdh6.2.1 Mysql：5.7 Zeppelin：0.8.0
0. 下一代的企业数据云 将创建世界领先的下一代数据平台提供商，涵盖多云，内部部署和Edge。该组合为混合云数据管理建立了行业标准，加速了客户采用，社区发展和合作伙伴参与。 我们两家公司的业务具有很强的互补性和战略性。通过将Hortonworks在端到端数据管理方面的投资与Cloudera在数据仓库和机器学习方面的投资结合起来，我们将提供业界首个从Edge到AI的企业数据云。这一愿景将使我们的公司能够在追求数字化转型的过程中推动我们对客户成功的共同承诺。 两个公司希望通过合并，创造出一个年收入达到 7.2 亿美元的新实体，并制定清晰的行业标准，成为下一代数据平台领先者，提供业界第一个企业级数据云，提高公共云的易用性和灵活性 一直以来 Hortonworks 团队投资于实时数据流和数据摄取以支持边缘的物联网使用案例，而 Cloudera 更专注于 AI 和 ML 领域，使数据科学家能够使用极其复杂的工具来自动化机器学习工作流。 Cloudera新的CDP平台会同时支持运行在本地，私有云，以及5个最大的公有云包括Amazon，Microsoft，Google，IBM和Oracle 第一个CDP版本将包含CDH6.x和HDP3.x中的一系列组件，并将专注于运行客户现有的工作负载和数据 两家公司对外正式宣称统一版本会基于最新的HDP3.0+CDH6.0 Hadoop 商业化最典型的公司就是Hadoop的三驾马车——Hortonworks、Cloudera和MapR。 昨天我们是 Hortonworks，今天，随着我们合并的正式完成，我们是 Cloudera——现在是全球第二大开源软件公司。”，目前全球第一大开源软件公司仍旧是红帽。 1. 新的趋势 1.1 企业向公有云转变(aws,azure,google cloud) hadoop/spark 只是其一部分 1.2 云存储成本底 对象存储服务(aws s3,axure blob,google 云端存储) 比hadoop/spark 便宜了5倍 1.3 云服务器 以完全不一样的方式解决了同样的问题，运行即席查询 用户按计算时间计费，无需维护操作hadoop/spark集群 1.4 容器,kenernates和机器学习，今天在python/R语言下进行机器学习，容器与kubernates 为分布式计算提供了更加强大灵活的框架 不打算基于hadoop/spark 进行分发心得饿微服务应用程序 2. 产品影像 2.1 毫无疑问 对于一些无论是Cloudera还是Hortonworks都打包的较为通用的的组件，基本可以毫无疑问的确定会包含在统一版本中。具体包括核心的Apache Hadoop项目如MapReduce，HDFS和YARN - 以及Apache Spark，Apache Hive，Apache HBase，Apache Kafka，Apache Solr，Apache Oozie，Apache Pig，Apache Sqoop和Apache Zookeeper。 我们对新兴的对象存储项目Apache Hadoop Ozone的信心略有不足 2.2 存疑的 有一些开源项目目前仅包含在CDH或HDP中，而Cloudera也没有与之专门对标的产品，它们是否能包含在合并版中目前还存疑。比如说Apache Kudu和Apache Impala，这2个最初都是由Cloudera开发的，用于提供列式数据存储和ad hoc的分析，而最近Hortonworks引入了Apache Druid与之对应。 2.3 有争议的 Apache Ambari直接与Cloudera Manager竞争，再比如Cloudera使用Cloudera Navigator来实现数据治理和数据溯源，而Hortonworks则使用Apache Atlas。 Cloudera将清楚地意识到任何关于它想要扼杀开源功能的建议都将被认为是“大棒”，而不是“胡萝卜”，它将不会被Hortonworks客户和Apache软件基金会开发社区所接受。这是我们认为Cloudera如果想要退出开源需要很谨慎的考虑的另一个原因 - 至少在短期内如此 注：“Carrot and stick”(胡萝卜加大棒)
自从大数据的概念被提出后，出现了很多相关技术，其中对大数据发展最有影响力的就是开源分布式计算平台Hadoop，它就像软件发展史上的Window、Linux、Java一样，它的出现给接下来的大数据技术发展带来了巨大的影响。很多知名公司都加入Hadoop相关项目的开发中，如Facebook、Yahoo等，围绕大数据Hadoop技术产生了一系列大数据的相关技术
二、按需装载 前面已经做了“初始装载”和“定期装载”。还有一种需要熟悉的装载类型，按需装载。所谓“按需装载”指的是，在正常调度之外，当源数据有效或者数据仓库需要时进行装载。例如，促销销售源数据只有在促销期内有效，而在其它时间是无效的，而对促销期数据就要进行按需装载。 在“建立数据仓库示例模型”中讨论的日期维度数据生成可以看做是一种按需装载。数据仓库预先装载了日期，当日期用完时，需要再次运行预装载。 本节的主题是按需装载，首先修改数据库模式，然后在DW数据库上执行按需装载，使用促销期场景进行说明。定期装载不适合促销期场景，因为促销期数据并不是按调度定期装载。下面是需要装载的促销期内容，存储在source.promo_schedule表中。
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/wzy0623/article/details/51837457
尽管学校多年的信息化应用积累了大量的数据，但信息孤岛的壁垒一直没有打破，对这些数据无法进一步的挖掘、分析、加工、整理，不能给学校教育、教学、研发、总务等各方面管理决策提供科学、有效的数据支撑。目前的公司现状：
最早接触Doris是在2020年初，当时是为了解决在海量数据上实时高并发查询的问题，当时调研了很多框架，在使用这Doris之前我的架构和其他公司的架构基本差不多，Hadoop，Hive，Spark，Presto， 但是这些都满足不了我的需求，在调研Clickhouse的时候，发现了Doris，看网上介绍从性能、并发性及易用性上都非常好。在深度做了测试之后给我的是更大的惊喜，我之后就将我的架构全部转向以Doris为核心去构建。同时也深度参与到社区，提了一些RP去改进Doris。
我们VIP成员很多在2021年春节年前、后，拿到了offer。而且不止一个，有的两个，有的四个，有的六个。这里给我们分享其中一位成员，整理的一家公司的面试题，后续将会陆续发布。
Cloudera公司推出，提供对HDFS、Hbase数据的高性能、低延迟的交互式SQL查询功能。基于Hive使用内存计算，兼顾数据仓库、具有实时、批处理、多并发等优点 是CDH平台首选的PB级大数据实时查询分析引擎.一般公司选择使用CDH部署集群，可以考虑下Impala。
根据IDG的说法，当客户考虑更新到产品的最新版本时，他们期望新功能、增强的安全性和更好的性能，但越来越希望拥有更简化的升级过程。伴随着CDP私有云的每个新版本，我们正在努力提供这些内容。伴随着许多新功能，我们正在尽可能简化升级过程。在此博客中，我们将介绍7.1.6版本中的新功能以及从HDP进行的新的就地升级，从而完全消除了替换基础架构和数据迁移的麻烦。
在过去三年，Hadoop生态系统已经大范围扩展，很多主要IT供应商都推出了Hadoop连接器，以增强Hadoop的顶层架构或是供应商自己使用的Hadoop发行版。鉴于Hadoop的部署率呈指数级的增长
本文介绍了在Cloudera Manager上如何部署CDH集群，包括准备环境、安装和配置CDH以及部署Hadoop和Spark。
Cloudera与Dell / EMC保持了长期而成功的合作伙伴关系，为混合云中运行的分析工作负载开发共享存储解决方案。
掌握Linux必备知识，熟悉Python的使用与爬虫程序的编写，搭建Hadoop（CDH）集群，为大数据技术学习打好基础。
Workload XM是Cloudera现代数据平台以工作负载为中心的管理工具，可主动分析数据仓库、数据工程和机器学习环境的工作负载，提升应用程序性能，以及优化基础架构的容量配置。Workload XM与Cloudera Enterprise平台内的多种计算引擎进行交互，使用户能够全面了解各类性能指标，从而通过迭代模式进行自助服务。
导读：随着蜀海供应链业务的发展，供应链中各个环节角色的工作人员利用数据对业务进行增长分析的需求越来越迫切。在过去大数据分析平台架构1.0的实践中，存在数据生产链路太长，架构太复杂，开发运维成本都很高，之前的团队对这个架构的驾驭能力不足，数据冗余，对业务的适应能力较弱和不能快速的响应业务各种数据需求等诸多问题，基于这种问题，我们通过引入Apache Doris引擎优化生产方案，实现蜀海供应链大数据数仓的升级，在数据开发上跑通了一套完整的流程，使我们数据需求的日常迭代更加迅速和开发效率的提升，同时也解决了我们在1.0架构中存在的诸多问题。
顶级云计算数据仓库展示了近年来云计算数据仓库市场发展的特性，因为很多企业更多地采用云计算，并减少了自己的物理数据中心足迹。
首先，在学习大数据之前，需要了解什么是大数据？它是如何诞生的？它有哪些应用场景？只有了解了这些，才能窥视大数据的技术全貌。一个技术的诞生，是顺应时代的，是用于解决某些问题的，它的发展也一定是有内在逻辑的。接下来，一起去看看。
基于TB级的在线数据，支持缴费帐单明细在线查询。大家都知道，像银行帐单流水一样，查几年的流水是常有的事。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
云直播
对象存储
