通过Java访问HDFS文件系统有哪些优点和缺点?通过Java运行时调用HDFS命令?
HDFS文件系统基于Kerberos身份验证。在我以前的组织中,我们使用HDFS来访问HDFS文件系统,但是在我当前的组织中,我被要求通过Java运行时调用调用HDFS命令。使用这种通过Java运行时调用HDFS命令的方法可以吗?Runtime r = Runtime.getRuntime();
我有一个将最新生成的HDFS文件复制到linux远程服务器的用例。我不想将中间件存储在本地文件系统中,然后对远程服务器执行scp。我知道这一点,但我想避免这种情况(原因很明显--在本地文件系统中存储大量文件的开销) hadoop fs -copyToLocal <src> <dest>
and then scp toMyLinuxFileSystem是否有直接将hdfs文件复制到远程linux服务器的命令?