kafka：kafka_2.13-2.7.0 hadoop：hadoop-2.10.1 hive：hive-2.3.8 4.1.metastore 4.2hiveserver2 导入工具kafkacat...数据导入：cat batch_1.json | kafkacat -b localhost:9092 -t stock_ticks -P topic查看：kafkacat -L -b localhost...:9092 -t stock_tick 元数据查看：kafkacat -b localhost:9092 -L -J | jq schema准备：hudi官方自带的schema.avsc spark这里我们用的是
kafka-source.properties bootstrap.servers=kafka_ip:kafka_port 上传第一批次数据： cat demo/data/batch_1.json | kafkacat...cat demo/data/batch_2.json | kafkacat -b 10.0.1.70 -t stock_ticks -P 摄取第二批增量数据。...参考如下操作： bin/kafka-server-start.sh config/server.properties & cat demo/data/batch_1.json | kafkacat...-b kafkaip -t stock_ticks -P cat demo/data/batch_2.json | kafkacat -b kafkaip -t stock_ticks -P...kafkacat -b kafkaip -L hdfs dfs -mkdir -p cosn://[bucket]/hudi/config hdfs dfs -copyFromLocal demo/config
远程连接kafka体验基本功能完毕，查看、收发消息都正常，证明本次部署成功； kafkacat连接 kafkacat是个客户端工具，我这里是在MacBook Pro上用brew安装的； 我这里K8S服务器...IP是192.168.50.135，因此执行此命令查看kafka信息：kafkacat -b 192.168.50.135:31090 -L，如下图，可以看到broker信息，以及topic信息(一个是
5.4 如果你的数据是字符串或 JSON 格式 你可以使用控制台工具，包括 kafkacat 和 kafka-console-consumer。...我个人的偏好是使用 kafkacat： $ kafkacat -b localhost:9092 -t users-json-noschema -C -c1 {"registertime":1493356576434...,"userid":"User_8","regionid":"Region_2","gender":"MALE"} 你也可以使用 jq 验证和格式化 JSON： $ kafkacat -b localhost...regionid": "Region_2", "gender": "MALE" } 如果你得到一些“奇怪的”字符，你查看的很可能是二进制数据，这些数据是通过 Avro 或 Protobuf 写入的： $ kafkacat...假设我们有一个 Kafka Topic testdata-csv，保存着一些 CSV 数据，看起来像这样： $ kafkacat -b localhost:9092 -t testdata-csv -
准备完成后，我们可以用 docker-compose up -d 命令来启动，然后用 kafkacat 向 Kafka 发送一些消息。...for i in `seq 1 3`; do echo "hello" | kafkacat -b kafka:9092 -t transactions done 在 http://
kafkacat：是一个github上的开源项目，把落地的日志文本传到kafka队列上，但比其它的类似工具的特点就是效率强大。
ssttddoouutt ------------- Generic producer and consumer for stdin and stdout. https://github.com/edenhill/kafkacat
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
