Thrift，Spark Thrift的缺陷，以及Spark Thrift在CDH5中的使用情况，参考《0643-Spark SQL Thrift简介》。...在CDH5中通过自己单独安装的方式运行Thrift服务现在已经调通并在使用的是如下版本组合： 1.在CDH5中安装Spark1.6的Thrift服务，参考《0079-如何在CDH中启用Spark Thrift...》 2.在CDH5中安装Spark2.1的Thrift服务，参考《0280-如何在Kerberos环境下的CDH集群部署Spark2.1的Thrift及spark-sql客户端》 ?...本文主要介绍使用网易的一个开源工具Kyuubi来实现Spark Thrift的功能。...的原始Thrift JDBC/ODBC服务的增强版，它由网易开源，并已经使用过到了网易现有的大数据平台中。
Thrift，Spark Thrift的缺陷，以及Spark Thrift在CDH5中的使用情况，参考《0643-Spark SQL Thrift简介》。...在CDH5基于网易开源的工具Kyuubi实现的Spark2.4 Thrift功能，参考《0644-5.16.1-如何在CDH5中使用Spark2.4 Thrift》。...Thrift部署 通过使用Spark官网提供的原生Thrift包在C5和C6环境下进行部署尝试。...2.2 编译Spark官网源码方式 在经过2.1章节使用Spark原生Thrift部署失败后，尝试使用Spark源码的方式编译Thrift。...2.使用Spark官网的方式选择hadoop版本，hive版本，使用mvn编译，编译失败。 3.使用cdh的Spark2.4的pom文件引入thrift依赖，使用mvn编译，失败。
Hive与Spark联合： Hive擅长元数据管理 Spark长高效分布式计算 Spark与Hive集成方式： Spark仅将Hive当成元信息管理工具：Spark with Hive Hive用Spark...SparkSession + Hive Metastore这种集成，Spark对Hive的访问，仅涉及Metastore，对Hive架构其他组件，Spark并未触及。...即Spark仅“白嫖”Hive的Metastore，拿到数据集的元信息后，Spark SQL自行加载数据、处理： 在第一种集成方式下，通过sql API，可直接提交复杂SQL，也可以在创建DataFrame...有，Spark with Hive集成的第三种途径，就是使用Beeline客户端，去连接Spark Thrift Server，从而完成Hive表的访问与处理。...所谓的“Hive on Spark”，实际上指的就是Hive采用Spark作为其后端的分布式执行引擎，如下 从用户的视角来看，使用Hive on MapReduce或是Hive on Tez与使用Hive
内容概述 1.部署Spark Thrift 2.启动与停止Spark Thrift 3.功能验证及总结 测试环境 1.CM和CDH版本为5.12.1 2.使用root用户操作 前置条件 1.集群已启用Kerberos...Thrift服务需要使用Spark官网编译的spark-assembly jar包来替换集群中原有的jar包。...3.启动与停止Spark Thrift ---- 1.由于集群启用Kerberos，这里我们需要为Spark Thrift服务创建一个Kerberos账号 在KDC所在服务器上执行如下命令创建一个hive...将hive.keytab文件拷贝至SparkThriftServer服务所在服务器。 ?...4.验证Spark Thrift及spark-sql ---- 1.使用fayson的Kerberos账号初始化，通过beeline测试 [root@cdh01 ~]# kinit fayson [root
内容概述 1.部署Spark Thrift 2.启动与停止Spark Thrift 3.功能验证及总结 测试环境 1.CM和CDH版本为5.12.1 2.使用root用户操作 前置条件 1.集群已启用Kerberos...3.启动与停止Spark Thrift ---- 1.由于集群启用Kerberos，这里我们需要为Spark Thrift服务创建一个Kerberos账号 在KDC所在服务器上执行如下命令创建一个hive...将hive-cdh03.keytab文件拷贝至Spark2.1 ThriftServer服务所在服务器。...4.验证Spark Thrift及spark-sql ---- 1.使用fayson的Kerberos账号初始化，通过beeline测试 [root@cdh01 ~]# kinit fayson [root...上图可以看到成功使用Beeline连接Spark ThriftServer。
运行 Thrift JDBC/ODBC 服务器 这里实现的 Thrift JDBC/ODBC 服务器对应于 Hive 1.2 中的 HiveServer2。...您可以使用 Spark 或 Hive 1.2.1 附带的直线脚本测试 JDBC 服务器。 要启动 JDBC/ODBC 服务器，请在 Spark 目录中运行以下命令: ....现在，您可以使用 beeline 来测试 Thrift JDBC/ODBC 服务器: ./bin/beeline 使用 beeline 方式连接到 JDBC/ODBC 服务器: beeline> !...您也可以使用 Hive 附带的 beeline 脚本。 Thrift JDBC 服务器还支持通过 HTTP 传输发送 thrift RPC 消息。...请注意，Spark SQL CLI 不能与 Thrift JDBC 服务器通信。 要启动 Spark SQL CLI，请在 Spark 目录中运行以下命令: .
HMS将元数据存储在Hive、Impala、Spark和其他组件的后端。 Beeline、Hue、JDBC和Impala Shell客户端通过thrift或JDBC向HiveServer发出请求。...，例如Hive或Spark，并将客户端的功能与表要求进行比较。...您需要使用Cloudera Manager在hive-site.xml的安全阀中添加一些Hive Metastore（HMS）属性 。 HMS可以对读取操作返回的数据执行服务器端过滤。...使用默认的thrift属性（8K）： hive.server2.async.exec.threads 8192 hive.server2.async.exec.wait.queue.size 8192...例如，如果poolSize = 100，具有3个HMS实例（一个专门用于压缩），并且每个服务器具有4个池，则可以容纳1200个连接。
ThiriftServer V.S Spark Application 例行作业 Thrift Server 独立的服务器应用程序，它允许多个客户端通过网络协议访问其上运行的 Thrift 服务。...Thrift 服务通常是由一组 Thrift 定义文件定义的，这些文件描述了可以从客户端发送到服务器的请求和响应消息的数据结构和协议。...Thrift Server 可以使用各种编程语言进行开发，包括 Java、C++、Python 等，并支持多种传输和序列化格式，例如 TSocket、TFramedTransport、TBinaryProtocol...使用 Thrift Server，您可以轻松地创建高性能、可伸缩和跨平台的分布式应用程序。...因此，Thrift Server 和 Spark Application 适用不同的场景和应用程序： 需要创建一个分布式服务并为多个客户端提供接口，使用 Thrift Server 需要处理大规模数据集并使用分布式计算和机器学习算法来分析数据
确保thrift服务正常运行 HUE读取HBASE的数据是使用的thrift的方式，默认HBASE的thrift服务没有开启，所以需要手动开启thrift服务。...修改hue.ini配置文件 hue配置Spark需要安装spark livy server组件，默认端口为8998；spark sql的配置依赖于hive，配置如图所示： image.png 还需要配置...我们可以使用NOTEBOOK内支持的Spark SQL、scala、pySpark来操作使用Spark。...当前仅介绍sqlite与mysql数据库的配置，如下图所示： 1....本文内容支持HUE与HDFS、YARN、HIVE、HBASE、RDMS、OOZIE、SPARK、NOTEBOOK等服务集成使用。
Kyuubi 通过 Thrift JDBC/ODBC 接口提供纯 SQL 网关，供最终用户使用预编程和可扩展的 Spark SQL 引擎操作大规模数据。...这种“开箱即用”的模型最大限度地减少了最终用户在客户端使用 Spark 的障碍和成本。...类似 HiveServer2 的 API 多租户 Spark 支持 以无服务器方式运行 Spark Kyuubi 的目标是让anyone可以轻松高效地使用 Spark（也许很快还有其他引擎），并方便用户像处理普通数据一样处理大数据...它提供了分布式 SQL 引擎，又名 Spark Thrift Server(STS)，旨在与 HiveServer2 无缝兼容并获得更好的性能。...另一方面，Thrift Server 耦合在 Spark 驱动程序的 JVM 进程中。
在集团内部实际使用过程中，更希望用户的使用行为通过Server端完成，否则会很难管理，因为客户端根本不在平台掌控范围之内，我们很难进行各种升级及配置变化。...Kyuubi基于Spark Thrift Sever改造，Spark Thrift Sever类似于HiveSever2，但是它不够完善。...要想实现多租户功能，首先要把SparkContext变成多实例，之后每次执行代理真正的用户身份执行;其次，我们提供了Spark SQL集群，用户请求负载均衡到每台Kyuubi服务器，并且这部分是高可用的...，一台服务器挂了会立刻切换到另一台。...总结 Kyuubi以HiveServer2 Thrift API为接口协议，提供Spark SQL服务。
只是底层的SQL执行改为了Spark，同时是使用spark submit启动的服务。...如果用户要在CDH中使用Spark Thrift服务，则需要自己打包或单独添加这个服务，但Cloudera官方并不会提供支持服务。...Spark Thrift在现有CDH5中的使用 从CDH5.10到最新的CDH5.16.1，都支持同时安装Spark1.6以及最新的Spark2.x，Spark2具体包含从Spark2.0到最新的Spark2.4...在CDH5中通过自己单独安装的方式运行Thrift服务现在已经调通并在使用的是如下版本组合： 1.在CDH5中安装Spark1.6的Thrift服务，参考《0079-如何在CDH中启用Spark Thrift...如何在CDH5中使用最新的Spark2.4 Thrift，请关注Fayson后续的文章。
4.关于CDH为什么一直不打包集成Spark Thrift Server，可以参考Fayson之前的文章《0643-Spark SQL Thrift简介》 1.不支持用户模拟，即Thrift Server...3.单点问题，所有Spark SQL查询都走唯一一个Spark Thrift节点上的同一个Spark Driver，任何故障都会导致这个唯一的Spark Thrift节点上的所有作业失败，从而需要重启Spark...如果用户要在CDH中使用Spark Thrift服务，则需要自己打包或单独添加这个服务，但Cloudera官方并不会提供支持服务。...Kyuubi基于Spark Thrift Sever改造，Spark Thrift Sever类似于HiveSever2，但是它不够完善。...中如果要使用Spark SQL JDBC，通过使用Livy Thrift Server来解决，Livy Thrift Server是对Spark Thrift Server的一次改进提升，Fayson会在后续的文章中进行介绍
，并不一定要依赖hive创建元数据库，所以不需要一定启动hive，只要有元数据库，Spark SQL就可以使用。...但是如果要像hive一样持久化文件与表的关系就要使用hive，当然可以不启动hive程序使用spark提供的HiveContext类即可。 ...6.Thrift JDBC/ODBC server Spark SQL实现Thrift JDBC/ODBC server,这就意味着我们可以像HIVE那样通过JDBC远程连接Spark SQL发送SQL...启动thrift 在spark根目录下执行：./sbin/start-thriftserver.sh 开启thrift服务器。 ....第二种方案： 根据Spark官网所述，Spark SQL实现了Thrift JDBC/ODBC server 最后，这篇文章很久了，一直编辑没有发布，我现在已经一年不搞spark了，专注java核心技术的研究
温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。...内容概述 1.部署Spark Thrift 2.启动与停止Spark Thrift 3.功能验证及总结 测试环境 1.CM和CDH版本为5.12.1 2.使用root用户操作 前置条件 1.集群未启用Kerberos...的依赖包，部署Spark2.1 ThriftServer服务需要使用Spark2.1官网编译的原生spark-hive-thriftserver jar包。...上图可以看到成功使用Beeline连接Spark ThriftServer。...2.使用spark-sql客户端需要将提到的两个jar包部署到集群所有节点。
1.文档编写目的 为什么CDH甚至最新的CDP中对于Spark SQL CLI或者JDBC/ODBC没有提供基于Spark Thrift Server的支持，参考Fayson之前的文章《0827-7.1.4...-如何在CDP中使用Spark SQL CLI》，在CDP中，Cloudera给出了新的解决方案Livy Thrift Server，它是对Spark Thrift Server的增强，支持JDBC/Thrift...本文主要介绍如何在CDP中通过Livy Thrift Server来提交Spark SQL作业。...2.3 测试使用 1.通过beeline客户端进行连接 beeline -u "jdbc:hive2://hadoop03.macro.com:10090/;principal=livy/hadoop03...3.总结 1.在Livy中， Thrift Server默认是禁用的，可以使用Cloudera Manager来启用Thrift Server。
Beeline、Hue、JDBC 和 Impala shell 客户端通过 thrift 或 JDBC 向 HiveServer 发出请求。HiveServer 实例向 HMS 读/写数据。...所有的 HMS 实例使用相同的后端数据库。一个单独的 RDBMS 支持安全服务，例如 Ranger。在任何给定时间，所有连接都路由到单一的 RDBMS 服务。...HMS 通过thrift与 NameNode 对话，并充当 HDFS 的客户端。...完全的ACID 表属性包含 transactional=true 但不包含insert_only=true 仅插入的ACID 表属性包含 insert_only=true。...ACID 表 不 是的 insert_only=true 创建表失败 例如，如果 Spark 客户端不具备所需的功能，则会出现以下类型的错误消息： Spark has no access to table
此过程还使用安全的HadoopRPC（请参阅远程过程调用）进行密钥交换。但是，HttpFS REST接口不提供客户端与HDFS之间的安全通信，仅提供使用SPNEGO进行的安全身份验证。...Hadoop服务在SSL的使用方面有所不同，如下所示： HDFS，MapReduce和YARN守护程序既充当SSL服务器又充当客户端。 HBase守护程序仅充当SSL服务器。...Oozie守护程序仅充当SSL服务器。 Hue充当上述所有内容的SSL客户端。 启动时，充当SSL服务器的守护程序将加载密钥库。...当客户端连接到SSL服务器守护程序时，服务器会将在启动时加载的证书传输到客户端，然后客户端使用其信任库来验证服务器的证书。 有关为CDH服务设置SSL / TLS的信息，请参阅适用的组件指南。...Cloudera Navigator Encrypt作为Linux内核模块运行，是操作系统的一部分。
---- Spark On Hive Spark SQL模块从发展来说，从Apache Hive框架而来，发展历程：Hive（MapReduce）-> Shark (Hive on Spark) ->...false hive.metastore.uris thrift...使用sparksql操作hive /export/server/spark/bin/spark-sql --master local[2] --conf spark.sql.shuffle.partitions...代码中集成Hive 在IDEA中开发应用，集成Hive，读取表的数据进行分析，构建SparkSession时需要设置HiveMetaStore服务器地址及集成Hive选项，首先添加MAVEN依赖包： thrift://node3:9083") .enableHiveSupport()//开启hive语法的支持
使用 beeline 来测试Thrift JDBC/ODBC服务： ./bin/beeline 连接到Thrift JDBC/ODBC服务 beeline> !...Thrift JDBC服务也支持通过HTTP传输发送thrift RPC messages。...需要注意的是，Spark SQL CLI不能与Thrift JDBC服务交互。 在Spark目录下执行如下命令启动Spark SQL CLI： ....6.1.1 在Hive warehouse中部署Spark SQL Spark SQL Thrift JDBC服务与Hive相兼容，在已存在的Hive上部署Spark SQL Thrift服务不需要对已存在的...仅元数据查询：对于可以通过仅使用元数据就能完成的查询，当前Spark SQL还是需要启动任务来计算结果。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
云直播
对象存储
腾讯会议
