首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

如果使用spring boot,我应该使用spark-submit吗?

如果使用Spring Boot,你不应该使用spark-submit。

Spring Boot是一个用于快速构建独立的、生产级别的Spring应用程序的框架。它提供了自动配置和约定优于配置的原则,使得开发者可以更加专注于业务逻辑的实现而不必过多关注底层的配置细节。

而spark-submit是Apache Spark提供的一个命令行工具,用于提交Spark应用程序到集群中执行。Spark是一个用于大规模数据处理的开源分布式计算框架,它提供了丰富的API和工具,支持在分布式环境中进行数据处理、机器学习、图计算等任务。

由于Spring Boot和Spark是两个不同的框架,它们的设计目标和应用场景也不同。Spring Boot主要用于构建Web应用程序和微服务,而Spark主要用于大数据处理和分析。因此,在使用Spring Boot时,通常不需要使用spark-submit来提交Spark应用程序。

相反,如果你需要在Spring Boot应用程序中进行大数据处理,你可以考虑使用Spring提供的其他相关模块,如Spring Batch或Spring Data等。这些模块可以与Spring Boot无缝集成,帮助你更好地处理和管理大数据任务。

总结起来,如果你使用Spring Boot,不需要使用spark-submit。相反,你可以考虑使用Spring提供的其他相关模块来处理大数据任务。

页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

  • 【Spark on K8S】Spark里的k8s client

    目前在我们的应用下,会有这样的一种特殊的场景。比如说 Driver 创建在 A 集群,但是需要 Driver 将 Executor Pod 创建到 B 集群去。所以我们这里会有两个集群的 master url,分别是集群 A 和集群 B。那么创建任务的模式就是 spark-subtit 的 master url 指向集群 A,然后给 Driver 的 k8s client 设置其创建 Executor Pod 的 master url 指向 B,那么在现有 Spark 的参数下,能否直接通过 SparkConf 或者环境变量来实现这一点呢?我们看看源码。 对于这样的需求,我们首先需要去了解 Spark 是如何跟 k8s 集群打交道的。Spark on K8S 在 submit 的时候默认是直接在 K8S Master 节点提交,通过 --master 或者 SparkConf 中的 spark.master 来指定。

    02
    领券