📷 随着spark越来越流行，我们的很多组件都有可能和spark集成，比如说spark处理完的数据写入mysql，redis，或者hbase，elasticsearch，spark本身不包含db的依赖的，这就需要自己解决依赖的jar包，这里大致有两种处理思路处理依赖问题： （1）使用maven将整个依赖打成一个fat的jar，这样所有的依赖都会在一个jar包，这样的好处就是一个jar包包含所有依赖，不需要额外考虑依赖的问题，但是弊端也非常明显如果依赖多的话jar包的体积会非常大超过100M都很正常
Kylin介绍： 关于Kylin的简介网上资料有很多，就不做过多的赘述了，这里给一个中文链接： http://kylin.apache.org/cn/ 搭建步骤：
是否继续？[y/N]：y 2.下载 mysql57-community-release-el7-8.noarch.rpm 的 YUM 源：
NO.62 Hadoop MapReduce 实践—环境搭建（上） Mr. 王：前面我们讲了很多关于并行算法的理论，今天我们来看看如何在计算机上实际运行一些并行算法。 小可：我早就迫不及待想试试了。 Mr. 王：我们要先安装和配置Hadoop。前面我们提到过，Hadoop 是MapReduce 的一个开源实现版本，如今的Hadoop 已经成为了包含许多部分的独立集合，比如Hive、HBase、ZooKeeper 等。但从根本上讲，Hadoop 的基本组成部分主要有两个：一个是MapReduce ；另一个
基础依赖环境 Apache Hadoop2.7.1 Apache Spark1.6.0 Apache Hive1.2.1 Apache Hbase0.98.12 （1）提前安装好scala的版本，我这里是2.11.7 （2）下载spark-1.6.0源码，解压进入根目录编译 （3）dev/change-scala-version.sh 2.11 修改pom文件，修改对应的hadoop，hbase，hive的版本 执行编译支持hive功能的spark （4）mvn -Pyarn
spark官网下载：http://spark.apache.org/downloads.html
基础环境： Apache Hadoop2.7.1 Centos6.5 Apache Hadoop2.7.1 Apache Hbase0.98.12 Apache Hive1.2.1 Apache Tez0.7.0 Apache Pig0.15.0 Apache oozie4.2.0 Apache Spark1.6.0 Cloudrea Hue3.8.1 经测试，spark1.6.0和spark1.5.x集成hive on spark有问题， 相关链接:http://apach
笔者目前需要搭建数据平台，发现了Windows系统下，Hadoop和Hive等组件的安装和运行存在大量的坑，而本着有坑必填的目标，笔者还是花了几个晚上的下班时候在多个互联网参考资料的帮助下完成了Windows10系统下Hadoop和Hive开发环境的搭建。这篇文章记录了整个搭建过程中的具体步骤、遇到的问题和对应的解决方案。
UDF全称：User-Defined Functions，即用户自定义函数，在Hive SQL编译成MapReduce任务时，执行java方法，类似于像MapReduce执行过程中加入一个插件，方便扩展。
hive-jdbc依赖的hadoop-yarn-server-resourcemanager版本为SNAPSHOT，在仓库中都找不到，将其修改为使用项目指定的版本。
1.数据挖掘主要是做算法还是做应用？分别都要求什么？ 这个问题太笼统，基本上算法和应用是两个人来做的，可能是数据挖掘职位。做算法的比较少，也比较高级，其实所谓做算法大多数时候都不是设计新的算法（这个可以写论文了），更多的是技术选型，特征工程抽取，最多是实现一些已经有论文但是还没有开源模块的算法等，还是要求扎实的算法和数据结构功底，以及丰富的分布式计算的知识的，以及不错的英文阅读和写作能力。但即使是这样也是百里挑一的，很难找到。绝大读书数据挖掘岗位都是做应用，数据清洗，用现成的库建模，如果你自己不往算法或者
首先需要准备好Java运行环境和Hadoop环境，Hadoop搭建可以参考如下文章：
swappiness是Linux的一个内核参数，控制系统在使用swap虚拟内存时，内存使用的相对权重。
视频方面： 推荐《毕向东JAVA基础视频教程》。学习hadoop不需要过度的深入，java学习到javase，在Java虚拟机的内存管理、以及多线程、线程池、设计模式、并行化多多理解实践即可。
说在前面的话 此笔，对于仅对于Hadoop和Spark初中学者。高手请忽略！ 1 Java基础： 视频方面： 推荐《毕向东JAVA基础视频教程》。学习hadoop不需要过度的深入，java学习到javase，在Java虚拟机的内存管理、以及多线程、线程池、设计模式、并行化多多理解实践即可。 书籍方面： 推荐李兴华的《java开发实战经典》 2 Linux基础： 视频方面： （1）马哥的高薪Linux视频课程-Linux入门、
影响Hive效率的几乎从不是数据量过大，而是数据倾斜、数据冗余、job或I/O过多、MapReduce分配不合理等等。对Hive的调优既包含对HiveQL语句本身的优化，也包含Hive配置项和MR方面的调整。
了解Hive的都知道Hive有三种使用方式——CLI命令行，HWI（hie web interface）浏览器 以及 Thrift客户端连接方式。 为了体验下HWI模式，特意查询了多方的资料，都没
判断当前服务器是否在域内 RDS 如果目标服务器远程桌面服务开启，可尝试进行连接，若在用户名和密码栏下还有一个登录到(L)选项，下拉选项栏如果除了计算机名（此计算机）选项外还有其他选项，则此服务器可能位于域中，且选项名即为域名； net time /domain 执行该命令，有三种情况：第一种如果存在域会从域控返回时间，并在第一行返回域控及域名；第二种如果当前当前服务器在域内但当前用户非域用户，则会返回System error 5就表示权限不够；最后一种就是返回“找不到域WORKGROUP的域控制器
习惯使用spark-submit提交python写的pyspark脚本，突然想开发基于springboot开发java spark代码。在实际开发工程中，由于对springboot不熟，遇到了很多问题，好在最终都解决了。以下记录了一些问题及其解决方法。
由于工作原因，需要深入了解一下hive metastore相关源码，这几天尝试了在windows中运行hive metastore代码，这边记录一下踩坑的过程以及解决方法。
CDH中默认不支持Lzo压缩编码，需要下载额外的Parcel包，才能让Hadoop相关组件如HDFS，Hive，Spark支持Lzo编码。
大数据本质也是数据，但是又有了新的特征，包括数据来源广、数据格式多样化（结构化数据、非结构化数据、Excel文件、文本文件等）、数据量大（最少也是TB级别的、甚至可能是PB级别）、数据增长速度快等。
Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并
这里我们假定一个场景，你需要迁移CDH5.12到CDH6.2，CDH5.12和CDH6.2分别是两个不同的集群，我们的工作主要是HDFS数据和各种元数据从CDH5.12迁移到CDH6.2，本文不讨论HDFS数据的迁移也不讨论其他元数据的迁移比如CM或Sentry，而只关注Hive元数据的迁移。这里的问题主要是CDH5.12的Hive为1.1，而CDH6.2中Hive已经是2.1.1，Hive的大版本更新导致保存在MySQL的schema结构都完全发生了变化，所以我们在将CDH5.12的MySQL数据导入到CDH6.2的MySQL后，需要更新Hive元数据的schema。首先Fayson会搭建2个集群包括CDH5.12和CDH6.2，为了真实，我们在接下来的模拟过程中，创建的Hive表包含分区，视图和UDF，好方便验证是否迁移到CDH6.2都能正常运行。具体如何迁移Fayson会在接下来的文章进行详细描述。
Linux作为一个广泛使用的操作系统，被广泛用于服务器和开发环境。在Linux上执行命令是日常工作中的常见任务，然而，有时候可能会遇到一些问题。本文将重点解决一个常见问题：在Linux系统中找不到wget命令。我们将通过参考howtouselinux.com上的相关文章来解决这个问题，并提供详细的解决方法和示例。
NO.63 Hadoop MapReduce 实践—环境搭建（下） Mr. 王：vim 是Linux 下开源的文本编辑器，它的功能非常强大，受到广大编程爱好者的欢迎，非常适合用来编写程序代码等，它提
在代码中使用HiveContext对象访问Hive表ods_user（该表为Parquet格式）时发现作业报错，异常如下：
作者：Eric Lin (林晨辉)， Cloudera高级售后技术支持工程师。毕业于Monash大学计算机科学， Sir John Monash的奖学金获得者。曾就业于数据收集公司如Hitwise（现为Experian的子公司）和Effective Measure，担任高级工程师，负责设计，开发和管理用于采集， 处理和报告网络数据的平台（基于PHP，Java和CDH）。现任职Cloudera， 担任高级售后技术支持工程师，主要擅长解决在CDH生态系统中出现的各种疑难杂症。
1、jdk 1.7问题 hadoop 2.7.0必须要求jdk 1.7.0，而oracle官网已经声明，jdk 1.7 以后不准备再提供更新了，所以趁现在还能下载，赶紧去down一个mac版吧 http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html 应该选择mac ox 64位的版本 http://download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-
本文首先会简单介绍Kylin的安装配置，然后介绍启用Kerberos的CDH集群中如何部署及使用Kylin。
上传Linux.zip（LoadRunner Generator for Linux.zip,后台回复loadrunner获取下载地址），然后通过如下命令：
CDH 自带的Spark 不支持Spark Thrift，因为spark-assembly jar中缺少Hive thrift相关的依赖包，导致CDH用户没法使用JDBC的方式连接Spark并使用Spark SQL。Apache Spark 1.6之后spark-assembly jar 中包含了 Hive 相关的依赖包了，而恰好 CDH5.13 的 spark也是 1.6，所以可以直接使用Apache Spark 1.6 之后的spark-assembly jar替换CDH的。
Airflow中最重要的还是各种Operator，其允许生成特定类型的任务，这个任务在实例化时称为DAG中的任务节点，所有的Operator均派生自BaseOparator,并且继承了许多属性和方法。关于BaseOperator的参数可以参照：
在Linux系统中，Hive是一个基于Hadoop的数据仓库解决方案，用于查询和分析大规模数据集。在运行Hive时，有时我们需要查看Hive相关的进程信息，以便监控和管理。本篇文章将介绍如何在Linux系统中查看Hive进程的方法。
根据公司MySQL数据库中存储的业务数据，针对用户相关一些维度，提取用户相关的属性字段，其中包括属性字段直接提取，金额字段的计算提起，日期字段的格式转换等，最终将一个用户的各个属性在页面进行展示。
1.文档编写目的 在使用CDH/CDP集群过程中会遇到在集群外的节点使用Hadoop命令访问集群（如：HDFS、HBASE、HIVE、SPARK、YARN）等命令操作。但是有特殊需求： 1.不想将这个节点加入到CDH/CDP集群中管理，只用于实现CDH/CDP集群的访问。 2.支持多个不同版本的C6/CDP集群之间切换 3.支持多个用户同时访问不同集群，且环境变量互不影响 本篇文章主要介绍满足以上条件的一个客户端节点安装。 测试环境 1.集群1是CM版本6.3.4、CDH版本6.3.4 2.集群2 是Clo
在前面Fayson介绍了《0876-7.1.7-如何在CDP中部署Flink1.14》，同时Flink也提供了SQL Client的能力，可以通过一种简单的方式来编写、调试和提交程序到Flink集群，而无需编写一行Java或Scala代码。本篇文章主要介绍如何在CDP集群中使用Flink SQL Client与Hive集成。Flink与Hive的集成，主要有如下两个目的：
我曾经在Spark大数据开发过程当中，遇到过不少问题，这些问题及解决思路都有记录下来。有道是好记性不如烂笔头，当这些错误和解决思路被记录下来后，下次再遇到时，就能根据以前的坑很快做出回应，当然，若是他人也遇到相应的问题，同样可以提供帮助。
Apache Zeppelin 是一个提供交互数据分析且基于Web的笔记本。方便你做出可数据驱动的、可交互且可协作的精美文档，并且支持多种语言，包括 Scala(使用 Apache Spark)、Python(Apache Spark)、SparkSQL、 Hive、 Markdown、Shell等等。当前Hive与SparkSQL已经支持查询Hudi的读优化视图和实时视图。所以理论上Zeppelin的notebook也应当拥有这样的查询能力。
Spark on Hive： Hive只作为储存角色，Spark负责sql解析优化，执行。
Fayson在前面的文章中介绍过什么是Spark Thrift，Spark Thrift的缺陷，以及Spark Thrift在CDH5中的使用情况，参考《0643-Spark SQL Thrift简介》。
Atlas 部署之后就可以导入 Hive 元数据，这部分工作由 Atlas 组件 Hook 来完成。初次导入 Hive 元数据需要通过执行 shell 脚本来完成，然后，Atlas 就可以自动同步增量元数据信息了。下面我介绍一下如何完成这些工作。
Java也好, Tomcat也好, 都是很实用的啦, 早点掌握还是有必要的. 喜欢记得点赞哦, 有意见或者建议评论区哦, 当然暗中关注我也是可以的.
本文来自作者在GitChat（ID：GitChat_Club）上的精彩分享，CSDN独家合作发布。 申明：本文旨在为普通程序员（Java程序员最佳）提供一个入门级别的大数据技术学习路径，不适用于大数据工程师的进阶学习，也不适用于零编程基础的同学。 前言 一、背景介绍 本人目前是一名大数据工程师，项目数据50T，日均数据增长20G左右，个人是从Java后端开发，经过3个月的业余自学成功转型大数据工程师。 二、大数据介绍 大数据本质也是数据，但是又有了新的特征，包括数据来源广、数据格式多样化（结构化数据、非
记得之前写过一篇：《阿里巴巴 Java开发手册》读后感，之前自学时由于没怎么接触过打“日志”，所以《手册》中的“日志规约”我就先放一边去了。
官方文档不支持在windows上搭建rocket chat的开发环境，我自己也尝试过，最后放弃了,选择了linux环境。
Samba是在Linux和UNIX系统上实现SMB协议的一个免费软件，由服务器及客户端程序构成。SMB（Server Messages Block，信息服务块）是一种在局域网上共享文件和打印机的一种通信协议，它为局域网内的不同计算机之间提供文件及打印机等资源的共享服务。
hello我们有见面了，我今天给大家分享一些我自己都在使用的软件，使用这些软件无论是工作还是学习，我感觉我的工作效率提升了不知一点点，好了废话就不多说了，喜欢的朋友加个一键三连。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
