我正在使用Hadoop设置一个包含两个data+compute节点和两个纯计算节点的集群。我正在使用Spark with Yarn进行数据处理。对于前一种类型的节点,我只需将host-name添加到workers配置中,hadoop会自动在这些节点上启动hdfs和YARN。但是对于仅用于计算的节点,我不希望它们运行dfs。我找不到任何hadoop配置来将特定节点排除在运行dfs之外。有人能告诉我设置这种节点分布的正确方法吗?
当我试图从齐柏林飞艇中的火花写入HDFS时,我收到了这个org.apache.hadoop.mapred.DirectFileOutputCommitter的ClassNotFoundExceptionjava.lang.RuntimeException: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class org.apache.hadoop.mapred.DirectFileOutputCommitternot found
at org.apache.hado