我在Kafka中创建了到SQL Server的JDBC连接，数据已成功加载到主题中。我用引擎Kafka(关于这个主题)和物化视图创建了一个新表，但没有成功。CH脚本：ENGINE = Kafka kafka_topic_list = m
浏览 105提问于2020-05-21得票数 1
2回答
我正在尝试使用Flume 1.6来读取源文件(以竖线分隔的文本文件)，并将它们提供给kafka。这对我来说是个问题，因为最终我会将所有数据从卡夫卡传输到亚马逊S3，最后传输到亚马逊Redshift。由于这些控制字符，我的数据加载到Redshift (复制命令)失败。
我已经花了相当多的时间在互联网上研究这个问题，但到目前为止还没有什么收
浏览 1提问于2016-02-17得票数 1
我正在尝试使用kafka (实时数据)将数据从MSSQL导入到Hive，其中包含增量和更新的数据。我看到了github的用于mysql到hdfs数据传输的融合平台，但我没有找到用于MSSQL的。谁正在做这个工作，请建议我如何集成MSSQL和kafka？
浏览 27提问于2016-09-26得票数 1
1回答
我有一个非常基本的Kafka安装，只是为了测试。现在我正在尝试从控制台向一个主题发送一些数据： at sun.nio.ch.FileChannelImpl.map(FileChannelImpl.java:874) at kafka.log.OffsetIndex.<em
浏览 2提问于2015-02-17得票数 3
我们正在对MSSQL中的特定表启用CDC。我们正在连接到一个通过MSSQL->CDC->DEBEZIUM->KAFKA_CONNECT迁移数据的管道。我不想在卡夫卡-消费者中处理它的原因是，虽然我只需要1%的数据被写到Mongo，其余99%的数据将不需要任何使用。
是否可以在启用CDC的同时创建特定行/视图的快照。这是不是太过微观优化了，而我会让每件事都发生在管道上而被消费者拒绝呢？
浏览 1提问于2020-06-11得票数 1
我想使用Kafka发布MSSQL事件。然后，我在Server容器中创建了新的MSSQL。在新数据库中创建了1个表，并为该表打开CDC。疾控中心工作得很好。然后，我将下面的连接器配置发送到Kafka，如下所示：
curl -X POST -H "Content-Type: application/json" -d @test-mssql-connector.json": "kafka:9092"
浏览 2提问于2019-06-02得票数 2
回答已采纳
2回答
我正在运行一个数据管道，这样我就可以通过jdbc连接将数据从sql db读取到kafka主题中，我在Elasticsearch中使用kafka接收器连接器来接收这些数据。kafka-consumer-groups --reset-offsets --to-earliest --all-topics --execute --group mygroup我停止了连接，以使小组不活跃，但这不起作
浏览 0提问于2018-10-23得票数 4
回答已采纳
1回答
开发人员通常应该配置数据流(这是一系列步骤)以形成数据处理管道的工具包。零编码或极小编码的声明式方法。底层的消息传递基础设施应该是Kafka --也就是说，工具箱应该直接支持Kafka (包括正确的依赖项)。
是否也有免费/开源的选择？
浏览 0提问于2020-02-26得票数 2
1回答
Kafka和IIDR CDC
、、、、
我正在尝试使用：DB2--IBM -Kafka来构建CDC管道，并试图找到正确的方法来设置这个管道。我试过在下面-2.使用- setup-iidr-11.4.0.1-5085-linux-x86.bin文件在linux上安装IIDR软件。各种在线文档建议安装“IIDR管理控制台”来配置源数据存储和CDC服务器配置，并配置Kafka订阅配置来构建管道。1.在设
浏览 2提问于2018-11-18得票数 1
回答已采纳
1回答
我一直试图将数据从SQL server (启用更改跟踪)加载到Kafka，以便一个或多个系统(报表、其他DB等)能够使用这些数据。我已经成功地为sql server(confluentinc/kafka-connect-cdc-mssql:1.0.0-preview)配置了卡夫卡连接插件，我还成功地在卡夫卡机器上启动了它。根据我发现的信息(在debezium论坛上)，将为每个表创建一个主题-->它是否与kafka sql server连接器的工作方式相同
浏览 0提问于2018-11-08得票数 2
3回答
可以将来自主题的Kafka数据流、消费和摄入到BigQuery/Cloud存储中的选项有哪些。GCP附带了基于模型的Dataflow。是否建议对传入数据执行实时转换的方法是将KafkaIO用于束管道？
可以将Kafka数据推送到云发布子中，然后放到BigQuery表中。卡夫卡流/火花作业，将被排除在GCP之外，也可以使用。如果数据完全托管在(GCP)上，那么在设计决策过程中需要考虑哪些因素？
浏览 1提问于2019-01-07得票数 3
回答已采纳
output { bootstrap_servers => "kafka" topic_id => "my-topic
浏览 15提问于2021-02-26得票数 0
我正在尝试使用PostgreSQL、Apache Kafka (发送数据)和Apache Spark Streaming (处理数据)创建一个流/大数据应用程序。在这个之后，我首先尝试将Kafka连接到Sqlite数据库。但是当我使用以下命令运行连接器时如何连接和工作我的数据库与Kafka</
浏览 1提问于2017-09-11得票数 0
kafka - 2.10-0.8.2.2 flume - 1.7.0 zookeeper - 3.4.6(kafka-producer-network-threaderror in kafka producer I/O thread:
org.apache.kafka.common.protocol.types.SchemaException: Error readingat java.lang.Thread.
浏览 2提问于2017-04-25得票数 0
我们如何使用Kafka流处理MS-SQL 2008 CDC(变更数据捕获)？任何最好的用例都将帮助我们在外部环境中进行测试。
浏览 0提问于2018-04-10得票数 0
1回答
我们有气流作为工作流管理工具来调度/监视任务，还有一些应用程序使用Spring云数据流，通过生产者和消费者对话消息总线Kafka和Grafana仪表板(ETL)实现跨流程的松散耦合。我们开始创建具有源( s3或服务器或数据库上的文件)、处理器(自定义应用程序、AL/ML管道)和目的地(Kafka、S3、数据库，ES)的数据管道。我计划使用气流来管理管道中的管道和任务，通过基于SC
浏览 2提问于2020-04-19得票数 0
我在kafka上的工作并不多，但我想在GCE中构建数据管道。所以我们想知道Kafka vs PUB/Sub。基本上，我想知道在Kafka和Pub/sub中是如何维护消息一致性、消息可用性和消息可靠性的
谢谢
浏览 0提问于2016-07-25得票数 101
1回答
安装多个kafka连接汇
、、、
我正致力于将数据从postgreSQL流到HDFS。我在HDP 2.6沙箱上安装了汇合环境。/etc/kafka-connect-jdbc/source.propertiespsql-table1现在，我希望在所有主题上运行HDFS接收器，以便为postgreSQL数据库中的每个表创建单独的dir。(Native Method)
at sun.nio.ch.Net.bind(Net.
浏览 0提问于2018-09-25得票数 0
回答已采纳
Apache Kafka:分布式消息传递系统我们如何在实时数据管道中使用这两种技术来处理事件数据？
在实时数据管道方面，在我看来两者做的工作是一样的。我们如何在数据管道上使用这两种技术？
浏览 35提问于2014-02-16得票数 109
回答已采纳
1回答
我制作了一个kafka管道，将sqlserver表复制到s3 "transforms":"dropPrefix",(WorkerSinkTask.java:564)如果我移除转换，管道就能正常工作。/share/java/kafka-connect-jdbc http://central.maven.org&#
浏览 0提问于2018-11-15得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
