我正在使用数据流kafka到bigquery模板。启动数据流作业后，它会在队列中停留一段时间，然后失败，出现以下错误：在应聘工作时，我提供了以下参数：
kafka主题名引导服务器ip和端口(私有ip)bigquery主题名SA
浏览 3提问于2020-12-07得票数 0
1回答
我有一个数据是加载到BigQuery中，我需要连接BigQuery到卡夫卡作为一个源发布数据到卡夫卡主题一天一次。既然没有BigQuery源连接器，那么将BigQuery数据发布到Kafka主题的最佳方式是什么呢？
浏览 18提问于2021-09-21得票数 0
回答已采纳
1回答
看起来AWS Kinesis是一种将数据(缓冲在一起)摄取到对象的方法，这种功能是否有Kafka的对应物呢？
浏览 0提问于2019-02-19得票数 1
回答已采纳
我有一个需求，我需要在Azure事件中心使用kafka主题。需要创建将使用作为参数提供的主题的POST端点。消息必须以kafka主题为属性，以消息内容为主体，在公共子主题上发送。
这是一个很高的要求。
浏览 1提问于2021-06-03得票数 1
回答已采纳
2回答
我正在使用数据流kafka到bigquery模板。com.google.cloud.teleport.v2.templates.KafkaToBigQuery.main(KafkaToBigQuery.java:222) 在应聘工作时，我提供了以下参数：
emailzone. kafka主题
浏览 2提问于2020-12-07得票数 1
3回答
可以将来自主题的Kafka数据流、消费和摄入到BigQuery/Cloud存储中的选项有哪些。GCP附带了基于模型的Dataflow。可以将Kafka数据推送到云发布子中，然后放到BigQuery表中。卡夫卡流/火花作业，将被排除在GCP之外，也可以使用。
如果数据完全托管在(GCP)上，那么在设计决策过程中需要考虑哪些因素？
浏览 1提问于2019-01-07得票数 3
回答已采纳
所以我使用kafka-connect-bigquery mysql.database.table1我想立即将其添加到connector中：
"topics": "mysql.database
浏览 12提问于2021-05-31得票数 0
回答已采纳
我在我们的卡夫卡(Avro)活动中使用了confluentinc/kafka-connect-bigquery。在一些主题上，我们有不止一种事件类型，例如，UserRegistered和UserDeleted在主题domain.user上。 模式注册表中的主题如下所示。curl --silent -X GET http://avro-schema-registry.core-kafka.svc.cluster.local:8081/subjects
浏览 29提问于2021-05-05得票数 0
回答已采纳
我试图从一个卡夫卡主题流到谷歌BigQuery。/share/kafka/plugins/d4T/hduser/
浏览 1提问于2021-03-13得票数 0
回答已采纳
我在Kubernetes上运行Kafka Connect (8-16个节点，自动标度)。我总共定义了44个连接器，每个Kafka主题一个(每个主题一个分区)。这些主题是由Debezium / Postgresql编写的。有3个Kafka节点。每个连接器的tasks.max设置为4。大部分连接器(但不是每个连接器！)ThreadPoolExecutor.java:624)接收器连接器配置：
浏览 3提问于2019-03-24得票数 0
回答已采纳
我有一个来自网页的流数据加载到BigQuery中，我想将BigQuery连接到卡夫卡作为源。有没有像kafka-connect这样的连接器用于BigQuery接收器。
谢谢，巴拉
浏览 1提问于2018-02-20得票数 3
我正在尝试设置Kafka Connect BigQuery sink connector。我有大约50个kafka主题。此外，BigQuery中也不会显示新的表。我的连接器配置： { "config": {
"connector.class": "com.wepay.kafka.connect.bigquery
浏览 9提问于2020-12-05得票数 0
(如何)可以将主题动态添加或删除到作为源或宿(Kafka或PubSub)的运行管道中？或者使用动态模式作为接收器，就像使用BigQuery表名称一样。一些背景知识:我们有不同的主题，每个客户一个主题，以更好地促进下游聚合，并在运行中清理/添加它们。Kafka用于能够在比PubSub更长的时间内回填计算。我现在脑海中的选择要么是扩展KafkaIO来支持这一点，要么是在每次添加了删除的主题时更新管道(这意味着在更新时流中会有一些滞后)。也许我的头脑中有一个错误的设
浏览 6提问于2017-06-23得票数 2
回答已采纳
当尝试在我们的Kafka (Avro)事件上使用confluentinc/kafka-connect-bigquery时，我遇到了以下错误： org.apache.kafka.connect.errors.DataExceptionfor id 619
Caused by: io.confluent.kafka.schemaregistry.client.rest.exceptions.RestClientException:是的，在模式注册表中没有主题domain.user-
浏览 58提问于2021-05-03得票数 0
回答已采纳
我尝试使用Confluent BigQuerySinkConnector创建Kafka到BigQuery的数据管道。测试环境是一个 docker容器。我在上面添加了(它不是默认存在的)。主题模式： "fields": [ "name": "name", }, "name": "(SchemaRegistr
浏览 0提问于2020-08-19得票数 1
我正在使用KafkaIO接口播放Kafka主题的消息KafkaStream -->使用转换器解码消息-->保存到BigQuery请让我知道，我是否需要使用窗口？
浏览 0提问于2018-04-27得票数 0
我正在使用Apache Beam的kafkaIO读取一个主题，该主题在Confluent模式注册表中具有avro模式。我能够反序列化消息并将其写入文件。但最终我还是想写给BigQuery。如何提取/推断模式并将其附加到管道中的数据，以便我的下游进程(写入BigQuery)可以推断该模式？这是我使用模式注册表url设置反序列化器的代码，也是我从Kafka读取的代码： AbstractKafkaAvroS
浏览 3提问于2020-06-24得票数 0
我有一个结构化的流媒体程序，它从Kafka主题A中读取数据，并进行一些处理，最后将数据放入目标Kafka主题。主题(events_topic)，如果在上次读取之后有一个新记录，它会执行一些额外的处理--从BigQuery表重新加载数据，并将其保存。df_stream = spark.readStream.format('kafka') \
.option("kafka.security.protocol&q
浏览 1提问于2022-03-12得票数 0
回答已采纳
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
