1回答
"mapred.input.format.class": "org.apache.hadoop.dynamodb.read.DynamoDBInputFormat"}
dynamo_rdd = sc.newAPIHadoopRDD
浏览 0提问于2017-09-23得票数 0
你能让我知道newAPIHadoopRDD的Maven依赖项吗？我的代码是：
JavaPairRDD<ImmutableBytesWritable, Result> hBaseRDD = ctx.newAPIHadoopRDD(
浏览 0提问于2016-02-17得票数 0
1回答
JavaSparkContext.newAPIHadoopRDD中的方法以类作为参数。在scala中，我能够使用如下方法： classOf[AvroKeyInputFormat[AvroFlumeEventAvroFlumeEvent>> keyClass;
JavaPairRDD<AvroKey<AvroFlumeEvent>, NullWritable> flumeEvents = sc.newAPI
浏览 2提问于2016-01-04得票数 0
回答已采纳
ii) foreach -in-rdd1"org.elasticsearch.hadoop.mr.LinkedMapWritable"，rdd2 = sc.newAPIHadoopRDDorg.elasticsearch.hadoop.mr.EsInputFormat"，\ "org.apache.hadoop.io.NullWritable"，conf=conf)
我意识到"foreach“将在工作进程间分配工作，并尝试调用sc.newAPIHadoopRDD</e
浏览 0提问于2016-07-11得票数 0
/ Read data using spark jsc.newAPIHadoopRDD(conf, TableInputFormat.class, ImmutableBytesWritable.class, Result.class);
问题出在newAPIHadoopRDD方法上。Bound mismatch: The generic method newAPIHadoopRDD</e
浏览 10提问于2017-02-03得票数 3
回答已采纳
我在scala中的代码：
val documents = sc.newAPIHadoopRDD([Object,org.bson.BSONObject,com.mongodb.hadoop.mapred.BSONFileInputFormat] do not conform to method newAPIHadoopRDD'stype parameter bounds [K,V,F <: org.
浏览 3提问于2016-06-21得票数 2
回答已采纳
如果可能的话，还提供了多种方式，比如可以使用PhoenixConfigurationUtil设置输入类和输入查询，然后从sparkContext读取newAPIHadoopRDD。在搜索时，我在Spark1.6和dataFrames的其他问题中发现了这些方法，但示例并不完整，这些方法只是零星存在，所以我无法弄清楚完整的步骤。我找不到任何Spark 2.0的例子
浏览 0提问于2016-10-30得票数 3
1回答
当您使用sc.textfile在Spark中读取文件时，它会为您提供元素，其中每个元素都是一个单独的行。但是，我希望每个元素都由N个行数组成。我也不能使用分隔符，因为该文件中没有分隔符。那么，我如何使火花给我多个线元素？
浏览 2提问于2016-03-17得票数 4
回答已采纳
1回答
hbase.zookeeper.quorum", "localhost")val hBaseRDD = sc.newAPIHadoopRDDImmutableBytesWritable], classOf[Result])如果我使用where，如何添加newAPIHadoopRDD
浏览 0提问于2016-10-17得票数 1
回答已采纳
我们使用newAPIHadoopRDD来扫描一个bigtable，并在Rdd中添加记录。对于较小的(例如少于100K的记录)大表，使用newAPIHadoopRDD填充Rdd。TableMapReduceUtil.convertScanToString(scan));
JavaPairRDD<ImmutableBytesWritable, Result> source = jsc.newAPIHadoopRDD
浏览 16提问于2018-03-02得票数 0
我想从一个Hbase表读取数据使用get命令，同时我也有行的关键字。我想在我的星火流应用程序中做到这一点，有没有任何源代码可以分享？
浏览 1提问于2016-11-17得票数 0
hbaseConf.set(TableInputFormat.SCAN, scanStr);
JavaPairRDD<ImmutableBytesWritable, Result> hBaseRDD = sc.newAPIHadoopRDD
浏览 0提问于2015-03-02得票数 1
hbase.zookeeper.quorum": host, "hbase.mapreduce.inputtable": "camel", "hbase.mapreduce.scan.columns": "data:a"} File "/usr/hdp/2.3.0.0-2557/spark/python/pysp
浏览 5提问于2015-09-15得票数 0
我正在使用Java中的MongoDB阅读newAPIHadoopRDD集合。JavaSparkContext javaSparkContext = sc.getSparkContext();
interactions = javaSparkContext.newAPIHadoopRDD这是因为newAPIHadoopRDD方法吗？有没有办法摆脱这些线程？
浏览 8提问于2015-12-23得票数 3
回答已采纳
1回答
def hBaseRDD = sc.newAPIHadoopRDD(config, TableInputFormat.class, ImmutableBytesWritable.class, Result.class是否有一种方法可以将newAPIHadoopRDD调用的结果缓存到hBaseRDD中，以便筛选器只对数据的内存中的副本工作？
浏览 0提问于2015-03-10得票数 1
回答已采纳
代码 classOf[CqlPagingInputFormat], classOf[java.util.Map[String,ByteBuffer]])JavaPairRDD rdd = jsc.newAPIHadoopRDD>.classClass.forName("java.util.Map<String, Byt
浏览 4提问于2014-06-27得票数 4
回答已采纳
) 33 output = cass_rdd.collect()
> z:org.apache.spark.api.python.PythonRDD.newAPIHadoopRDD.newAPIHa
浏览 2提问于2015-08-07得票数 3
Exception in thread "main" java.lang.RuntimeException: java.lang.NullPointerException at org.apache.hadoop.hbase.client.ClientScanner.call(ClientScanner.java:320)
at org.apache.hado
浏览 6提问于2017-08-29得票数 2
回答已采纳
我试图在Spark中使用newAPIHadoopRDD函数，但我发现构造函数中没有使用文件名的参数。那么，在这种情况下如何设置文件名呢？
浏览 4提问于2016-10-29得票数 0
回答已采纳
1回答
火花流:源HBase
、、、
但是他们似乎使用了以下静态API：我找不到这方面的任何文件。是否可以使用火花流上下文从hbase中流？任何帮助都是非常感谢的。
谢谢!
浏览 4提问于2016-12-08得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议活动推荐
腾讯云开发者
