我正在尝试确定一种解决方案,使用火花流从HBASE表中读取数据,并将数据写入另一个HBASE表。
我在互联网上找到了许多示例,它们要求创建一个DSTREAM来从HDFS文件和all.But中获取数据。我找不到任何示例来从HBASE表中获取数据。
例如,如果我有一个HBASE表'SAMPLE‘,它的列是'name’和'activeStatus‘。如何使用spark streaming从基于activeStatus列的表SAMPLE中检索数据(新数据?
欢迎使用spark streaming从HBASE表检索数据的任何示例。
致敬,Adarsh K S
我总共有10个节点。3个节点运行Zookeeper,其余7个节点运行HDFS和Hbase。而且Hbase已经存储了很多数据。我错误地初始化了Zookeeper节点的(I'm using Cloudera, by mistake clicked the Initialize Button)。我想知道这3个Zookeeper节点是否丢失了可能是Hbase mata数据的持久数据。或者说,Hbase将元数据存储在Hmaster中,而Zookeeper只存储一些内存数据。
这个异常是在HBase中引发的,当有大量的集群写入时:
WARN org.apache.hadoop.ipc.HBaseServer: IPC Server listener on 60020: readAndProcess threw exception java.io.IOException: Connection reset by peer. Count of bytes read: 0
java.io.IOException: Connection reset by peer
at sun.nio.ch.FileDispatcher.read0(Native Method)
2018-02-24 16:13:22,575 INFO [TestClient-0] hbase.PerformanceEvaluation: Timed test starting in thread TestClient-0
2018-02-24 16:13:22,577 INFO [TestClient-0] hbase.PerformanceEvaluation: SequentialWriteTest latency log (microseconds), on 1 measures
2018-02-24 16:13:22,578 INFO [TestClient-0] hb
目前,我正在使用Hbase Java提取图像特征并将其存储到OpenCV表中。但是我得到了一个问题,图像的图像特征在OpenCV中是Mat或MatOfKeyPoint类型的,而如果我们想要将数据插入到Hbase表中,那么我们必须使用byte[]。
......
featureDetector.detect(trainImages, trainKeypoints);
descriptorExtractor.compute(trainImages, trainKeypoints, trainDescriptors);
//Save to Hbase
Put put = new Put(key.ge