我们有一个基于Kafka的系统,并且有一个庞大的开发团队在这个系统上工作。我们还在开发和测试阶段,还没有投入生产。对于大多数本地开发人员测试,我们不需要使用Kafka消息,但我们需要与QA环境中的数据库和其他应用程序进行交互,因此开发人员在运行其应用程序(这些是Java Spring Boot应用程序)时将使用QA问题是,当开发人员使用QA配置文件在本地运行应用程序时,本地应用程序会消耗来自QA环境
当Spark作业在没有Docker的情况下通过spark-submit在本地运行时,一切工作正常。但是,在停靠容器上运行会导致不生成任何输出。为了查看Kafka本身是否正常工作,我将Kafka提取到Spark worker容器上,并让控制台使用者监听相同的主机、端口和主题(kafka:9092,crypto_topic),它们工作正常并显示输出for scheduling beginning after reached minRegisteredResourcesRatio: 0.0
no more output, st