由于安全原因,需要对HDFS UI等端口进行限制访问,也就是配置kerberos认证,在core-site.xml文件中进行如下配置:
<property>
<name>hadoop.http.authentication.type</name>
<value>kerberos</value>
</property>
此时访问hdfs的50070端口,会出现如下
但是进行了上述配置之后,同样也将组件的JMX信息也进行了限制,必须使用kerberos认证才可访问。
下文记录如何在Java代码中进行kerberos认证进而通过HttpURLConnection获取HDFS JMX等信息。
创建Java主类:App.java
package org.example;
import java.io.ByteArrayOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.net.HttpURLConnection;
import java.net.URL;
/**
* Hello world!
*
*/
public class App
{
public static void main(String[] args) throws IOException {
if (args.length > 0) {
System.setProperty("java.security.auth.login.config", args[0]);
}
HttpURLConnection connection = null;
URL url = new URL(args[1]);
connection = (HttpURLConnection) url.openConnection();
connection.setRequestMethod("GET");
InputStream is = connection.getInputStream();
byte[] bytes = read(is);
String str = new String(bytes);
System.out.println("返回结果" + str);
is.close();
}
public static byte[] read(InputStream inputStream) throws IOException {
try {
ByteArrayOutputStream baos = new ByteArrayOutputStream();
byte[] buffer = new byte[1024];
int num = inputStream.read(buffer);
while (num != -1) {
baos.write(buffer, 0, num);
num = inputStream.read(buffer);
}
baos.flush();
return baos.toByteArray();
} finally {
if (inputStream != null) {
inputStream.close();
}
}
}
}
创建配置文件http.conf
com.sun.security.jgss.krb5.initiate {
com.sun.security.auth.module.Krb5LoginModule required
useKeyTab=true
useTicketCache=false
keyTab=" /admin.keytab"
principal="admin@HADOOP.COM";
};
打包成admin.jar,执行如下命令验证
java -jar admin.jar http.conf http://hadoop:50070/jmx
如果要开启debug模式,可在代码中新增如下配置:
System.setProperty("sun.security.spnego.debug", "true");
System.setProperty("sun.security.krb5.debug", "true");
此时会在终端打印如下信息:
本文为从大数据到人工智能博主「xiaozhch5」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。