业务情况： 源：kafka topic1 中间过滤表：sn表
输出：kafka topic2
'connector' = 'upsert-kafka',
insert into topic2
select * from topic1
where topic1中的SN 不在sn表中。
验证：
数据能过滤。 但是过滤数据插入后， 又把所有数据存储到 topic2中了？
但是不使用回撤流，又不能使用not in 。有什么破解方案？
在实时计算中，使用 `NOT IN` 可能会导致性能问题，因为它需要扫描整个表或子查询结果。为了避免这种情况，您可以使用 `LEFT JOIN` 和 `IS NULL` 来实现类似的效果。以下是一个示例： ```sql INSERT INTO topic2 SELECT t1.* FROM topic1 t1 LEFT JOIN sn_table sn ON t1.SN = sn.SN WHERE sn.SN IS NULL; ``` 这个查询将 `topic1` 和 `sn_table` 进行左连接，只保留 `topic1` 中 `SN` 不在 `sn_table` 中的记录。通过使用 `LEFT JOIN` 和 `IS NULL`，您可以避免使用 `NOT IN`，从而提高查询性能。 以上为腾讯混元大模型提供,仅提供参考价值. ---杨不易呀自动回复
为您推荐杨不易呀回答过的其他问题
问
【有奖问答】 作为程序员，2023年有哪些高光时刻？（已完结）
提问于 2023-12-27
答杨不易呀
2023年的高光时刻，今年我的高光时候就属于我在腾讯云开发者社区的时间段了，自己从零开始编写了一个《从零玩转系列之微信支付》的专栏。
从一个小白再到技术创作者我历经了一些挑战和挫折，努力拿到了腾讯云开发者社区优秀创作者奖、最佳欢迎作者奖、杰出作者奖，再到受社区邀请前去上海站第四期的演讲，从社恐人员再到对一群大佬敞开心扉让我成长了很多，让我最最最感动的是社区的温暖在知道我生日给我准备了精美生日蛋糕非常感谢社区领导的抬爱，2023是我最重要的一年！！
2023再见，2024你好！提前祝大佬们新年快乐！！！
38人回答了此问题
相关文章
腾讯云开发者
