因此,我在本地环境中使用在docker上设置Zookeeper。现在,我希望这个Zookeeper设置能够通过将Zookeeper数据目录作为卷挂载到我的容器中来持久化节点及其值。
这很简单,但让我困惑的是,Zookeeper在容器中的数据目录在/data,而数据日志目录在/datalog。理想情况下,除了datalog目录之外,我还希望Zookeeper持久化data文件夹中的节点和值。但是,我发现虽然datalog目录有log.*文件中的数据,但data目录没有任何与我创建的测试节点相关的数据。
bash-4.4# pwd
/datalog/version-2
bash-4.4# ls
l
我总共有10个节点。3个节点运行Zookeeper,其余7个节点运行HDFS和Hbase。而且Hbase已经存储了很多数据。我错误地初始化了Zookeeper节点的(I'm using Cloudera, by mistake clicked the Initialize Button)。我想知道这3个Zookeeper节点是否丢失了可能是Hbase mata数据的持久数据。或者说,Hbase将元数据存储在Hmaster中,而Zookeeper只存储一些内存数据。
当我尝试通过以下命令将hbase表数据导出到hdfs目录时:
$hbase org.apache.hadoop.hbase.mapreduce.Export <tablename> <export directory>
At the following line my jobs hangs.
2015-04-16 21:11:49,946 INFO [main] zookeeper.ZooKeeper: Client environment:java.library.path=/usr/lib/hadoop/lib/native
2015-04-16 21:11:
我做到了
docker-compose up
因为卡夫卡聚集在我的本地。
每当我想要制作主题时,检索我拥有的主题或搜索存储在我使用的主题中的数据。
docker run --net=host --rm confluentinc/cp-kafka:latest kafka-topics --describe --topic bar --zookeeper localhost:32181
这是在官方的kafka集群部署站点上。
不过,我真的很想在我当地的仓库里使用卡夫卡,而不是卡夫卡码头的形象。
kafka-topics --describe --topic bar --zookeeper loc
我正在使用hbase的zookeeper集成。Zookeeper在3台机器上运行。而HBase也处于完全分布式模式。我有Nutch 2.x版本。当我启动nutch来抓取一些数据时,它在nutch日志文件中显示以下buggs。
ERROR zookeeper.ClientCnxnSocketNIO - Unable to open socket to localhost/0:0:0:0:0:0:0:1:2181
2015-01-23 16:34:21,956 WARN zookeeper.ClientCnxn - Session 0x0 for server null, unexpected
我试图在分布式模式下安装zookeeper和HBase,但是当我启动zookeeper quorum的最后一个节点时,我得到了异常:
2013-09-05 12:02:09,230 - ERROR [main:QuorumPeer@171] - Setting LearnerType to PARTICIPANT but 4 not in QuorumPeers.
2013-09-05 12:02:09,246 - INFO [main:QuorumPeer@444] - acceptedEpoch not found! Creating with a reasonable defa
我已经用kafka生成了一个jhipster应用程序。我使用docker-组合启动了kafka.yml,当我启动应用程序时,会出现以下错误
org.springframework.context.ApplicationContextException:未能启动bean 'org.springframework.kafka.config.internalKafkaListenerEndpointRegistry';嵌套异常在获取主题元数据时org.apache.kafka.common.errors.TimeoutException:超时过期
kafka.yml
vers
我在我们的生产数据中心1中有一个动物园管理员服务器。当我在znode上做get时,我得到以下结果:
$ usr/lib/zookeeper/bin/zkCli.sh -server localhost:2181
Connecting to localhost:2181
log4j:WARN No appenders could be found for logger (org.apache.zookeeper.ZooKeeper).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://lo
当我停止我的动物园管理员实例并在其他路径中复制动物园管理员的所有数据并在zookeeper.properties中更改dataDir=/ data / zookeeper时,我得到了这个错误。
ERROR Unable to load database on disk (org.apache.zookeeper.server.quorum.QuorumPeer)
java.io.IOException: Unreasonable length = 198238896
at org.apache.jute.BinaryInputArchive.checkLength(BinaryInputArc
我想测试HBql的简单用法,我遵循了HBql网站( )上描述的步骤。最后,在HBql-控制台中键入version-命令以验证我的安装时,将收到以下消息:
[main] INFO org.apache.zookeeper.ZooKeeper - Client environment:zookeeper.version=3.4.4-1386507, built on 09/17/2012 08:33 GMT
[main] INFO org.apache.zookeeper.ZooKeeper - Client environment:host.name=aleebi
[main] INFO or