首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

如何使用java连接Kerberos和非kerberoskerberos的Spark1.6 ThriftServer

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。...环境下的CDH集群部署Spark1.6 Thrift及spark-sql客户端》,本篇文章Fayson主要介绍如何使用Java JDBC连接非KerberosKerberos环境下Spark ThriftServer...内容概述 1.环境准备 2.非KerberosKerberos环境连接示例 测试环境 1.Kerberos和非Kerberos集群CDH5.12.1,OS为Redhat7.2 前置条件 1.Spark1.6...这里在cdh04.fayson.com启动的ThriftServer,使用hive/cdh04.fayson.com@FAYSON.COM账号启动,在下面的JDBC连接时需要该账号。...5.总结 ---- 通过JDBC访问Spark ThriftServer使用Hive JDBC驱动即可,不需要做额外的配置 在启用非Kerberos环境下的Spark ThriftServer服务时需要指定用户为

1.8K20
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    使用Docker快速搭建Kerberos环境

    简介 Kerberos认证在大数据场景下用的比较多,特别是在Hadoop生态下,认证基本用的都是Kerberos认证。...本文简单介绍怎快快速搭建Kerberos认证,做一些简单的测试。后续课程会说明如何使用代码进行Kerberos认证。...kdc = krb5-kdc-server:88 admin_server = krb5-kdc-serve } 其中TEST.COM为域名,krb5-kdc-server为kdc对应的域名,也可以使用...步骤三:Docker启动脚本 在Docker启动的时候,需要同步创建admin以及需要使用的业务用户。 在准备好的目录下面新建文件`start.sh`,写入下面内容: #!...镜像 在已经准备好的目录下面执行下面命令打包镜像: docker build -t kerberos:1.0.0 ./ 步骤七:启动Docker镜像 使用下面命令启动Kerberos相关的镜像:

    1.1K50

    使用Docker快速搭建Kerberos环境

    简介 Kerberos认证在大数据场景下用的比较多,特别是在Hadoop生态下,认证基本用的都是Kerberos认证。...本文简单介绍怎快快速搭建Kerberos认证,做一些简单的测试。后续课程会说明如何使用代码进行Kerberos认证。...kdc = krb5-kdc-server:88 admin_server = krb5-kdc-server } 其中TEST.COM为域名,krb5-kdc-server为kdc对应的域名,也可以使用...步骤三:Docker启动脚本 在Docker启动的时候,需要同步创建admin以及需要使用的业务用户。 在准备好的目录下面新建文件start.sh,写入下面内容: #!...镜像 在已经准备好的目录下面执行下面命令打包镜像: docker build -t kerberos:1.0.0 ./ 步骤七:启动Docker镜像 使用下面命令启动Kerberos相关的镜像: docker

    1.4K20

    在Linux中使用kerberos黄金票据

    攻击的工作如下: 攻击者在域中获得管理员权限 攻击者提取域用户"krbtgt"的ntlm哈希,并获取目标域的SID 攻击者伪造kerberos票 此票据用于使用域管理员的权限进行身份验证 以下是关于如何在...差不多好了,需要导出系统变量,所以impacket的psexec.py可以使用票证。运行psexec.py时,使用-k键进行Kerberos身份验证: ?...很可能你会想使用smbclient来完成这个任务。使用kerberos与smbclient有点复杂。我们必须将kerberos添加到位于/etc/krb5.conf的配置文件。...在socks隧道上使用kerberos票据需要更多的额外工作。有可能不能直接访问活动目录服务器,因此我们必须编辑/etc/hosts文件。...添加目标服务器,域控制器(也是kerberos服务器)和域的全名。这是必须的,因为Kerberos仅适用于主机名,如果指定IP地址,则将失败。

    1.8K10

    如何使用Java连接Kerberos的HBase

    温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。 1.文档编写目的 ---- 出于CDH集群安全考虑,在CDH集群中增加了Kerberos认证机制。...在Linux下使用HBase客户端访问HBase数据时需要先kinit初始化Kerberos账号,认证完成后我们就可以直接使用HBase shell操作HBase了。...通过Linux的Kinit命令可以方便的完成Kerberos的认证,那么在Java开发中如何完成Kerberos的登录认证呢?本篇文章主要讲述如何使用Java连接Kerberos环境的HBase。...的keytab文件 使用kadmin为Kerberos账号生成keytab,fayson.keytab文件生成在当前目录下。...在使用Kerberos账号进登录行认证时,如果使用的是普通账号(fayson),则需要为fayson账号授权,否则fayson用户无权限访问HBase库的表。

    5.7K80

    Kerberos实战

    Ambari上启用了Kerberos,接下来我们再来研究一下如何使用Kerberos。...关于Kerberos的一些基础概念,可以戳《Kerberos基本概念及原理汇总》了解。 如果使用各服务的话,就需要进行Kerberos认证了。...准确的说,是开启了kerberos认证的组件都必须先kinit后才可以使用,具体权限取决于组件本身的授权机制(ACL/Sentry等) 二、访问Kerberos数据库查看principal 1....(建议使用这种方式) 现在我们使用Kerberos认证的lyz用户来操作HDFS shell。 首先使用hdfs超级用户创建一个文件夹,并改变其文件夹的所有者。...lyz@EXAMPLE.COM这个principal使用了HDFS、Mapreduce、Hive、HBase、Spark等服务,Kerberos相当于是一个单点登陆系统,经过Kerberos认证之后,使用服务的用户就变成了

    6.5K54

    内网渗透 | Kerberos 协议与 Kerberos 认证原理

    但是如果你对其背后的所使用的原理还不太了解的话,那么这篇(系列)文章你一定不能错过。...在本篇文章中,我们将对 Kerberos 协议与 Kerberos 认证原理分模块进行详细的讲解,为下篇文章中讲解 Kerberos 认证原理的安全问题做下铺垫。...黄金票据(Golden ticket) 在 Windows 的kerberos认证过程中,Client 将自己的信息发送给 KDC,然后 KDC 使用 Krbtgt 用户的 NTLM-Hash 作为密钥进行加密...因为在票据生成过程中不需要使用 KDC,所以可以绕过域控制器,很少留下日志。...而如果域用户设置了选项 "Do not require Kerberos preauthentication"(该选项默认没有开启)关闭了预身份验证的话,攻击者可以使用指定的用户去请求票据,向域控制器发送

    1.7K30

    基于Kerberos环境下,使用Java连接操作Hive

    放弃不难,但坚持很酷~ 本文主要介绍基于 Kerberos 环境下,如何使用 Java 远程连接 Hive 。...一、创建自定义 Principal 与 keytab 虽然可以使用 Hive 服务本身的 Principal 与 keytab 来连接 Hive ,但使用服务本身的 principal 不具有普遍性,所以还是建议使用自定义的...有两种场景,一种是在 Kerberos KDC 所在的主机上,一种是非 Kerberos KDC 所在的主机。以下分这两种场景来创建 Principal 和 Keytab 。...在 kerberos kdc 所在的主机上,在 root 用户下使用 kadmin.local 进入: # 为linux增加liuyzh用户 useradd liuyzh # 创建principal,randkey...在非 kerberos kdc 主机上,在 root 用户下使用 kadmin 进入: # 在非 kerberos kdc 所在的主机,首先需要验证身份:kinit xxx/admin@EXAMPLE.COM

    9.4K20

    Windows认证--Kerberos

    什么是Kerberos Kerberos是一种由MIT(麻省理工学院)提出的一种网络身份验证协议,可通过密钥系统为客户端/服务端提供认证服务。...第二部分使用Session Key加密的信息其中包括Sesion Key、TimeStamp、ST有效时间。...至此Kerberos认证完成,通信双方确认身份后便可以进行网络通信 NTLM与Kerberos的区别 NTLM和Kerberos协议都是基于对称密钥加密策略,并且都是强大的相关身份验证系统 主要区别如下...: 1.NTLM和Kerberos的主要区别在于前者是基于挑战/响应的身份验证协议,而后者是基于票据的身份验证协议 2.Kerberos的安全性高于NTLM 3.Kerberos提供了相互身份验证功能,...SPN SPN(Server Principal Names,服务主体名称),是域中服务的唯一标识,Kerberos身份验证使用SPN将服务实例域服务登录账户相关联。

    1.2K80

    如何使用Scala代码访问Kerberos环境的HDFS

    温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。...访问HDFS为目录设置配额》,随着开发语言的多样性,也有基于Scala语言进行开发,本篇文章主要介绍如何使用Scala代码访问Kerberos环境的HDFS。...内容概述 1.环境准备 2.Kerberos环境连接示例 测试环境 1.CDH版本为5.15.0 2.OS为Redhat7.2 前置条件 1.CDH集群运行正常 2.集群已启用Kerberos 2 环境准备...使用IDE工具通过Maven创建一个Scala工程,这里就不详细介绍Scala的开发环境搭建了。...温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。 推荐关注Hadoop实操,第一时间,分享更多Hadoop干货,欢迎转发和分享。

    1.9K100

    如何禁用Kerberos

    在Hadoop集群内提供身份认证最佳和可接受的方式是使用KerberosKerberos提供了强大的身份验证功能,但是它的复杂性也让很多集群管理员心生畏惧。...而开发者在调用Hadoop生态组件的API或者向YARN提交任务时,需要在代码中添加Kerberos访问机制,如果不是对在数据安全极其苛刻的条件下,启用Kerberos对管理员和开发人员都是一种很大的负担...本文主要讲解如何在CDH7.1.1集群中禁用Kerberos。...配置 修改Hadoop的安全身份验证 修改DataNode的数据目录权限为755 修改DataNode的如下端口 4.修改HBase的Kerberos配置 5.Hue服务修改 删除Hue实例中的 “Kerberos...Ticket Renewer”服务 6.修改Kafka的Kerberos配置 7.修改Atlas的Kerberos配置 8.修改Solr的Kerberos配置 9.修改Flink的Kerberos配置

    3.9K22

    Windows认证之Kerberos

    Kerberos起源于希腊神话,是一只守护着冥界长着3个头颅的神犬,在Kerberos认证中,Kerberos的3个头颅也代表认证过程中涉及的三方:Client、Server、KDC。...Kerberos是一种网络认证协议,它允许某实体在非安全网络环境下,向另一个实体以一种安全的方式证明自己的身份。 windows的AD域环境使用Kerberos来进行验证。...我们一般会使用 Short-term Key 来加密需要进行网络传输的数据。...Kerberos认证的第一阶段和第二阶段其实就是协商出通信所需的Short-term Key的过程。 在Kerberos认证中,Short-term Ke被称为Session Key。...接着Client会使用自己的NTLM Hash解密属于自己的那份,解密后获得K(c,s)。 使用K(c,s)加密鉴别码,将加密的鉴别码同Tiket发给服务器。

    1.1K20
    领券