我正在写一个火花作业,它使用kubernetes而不是纱线。
val spark = SparkSession.builder().appName("Demo").master(????).getOrCreate()
所以我的主人应该是什么,是kubernetes还是别的什么?
谢谢
发布于 2018-03-27 23:57:03
我应该是k8s://https://<k8s-apiserver-host>:<k8s-apiserver-port>
格式的
来自Doc 的
网址,格式为k8s://。在主字符串前加上k8s://将导致Spark应用程序在Kubernetes集群上启动,并通过api_server_url联系API服务器。如果URL中未指定HTTP协议,则默认为https。例如,将主服务器设置为k8s://example.com:443等同于将其设置为k8s:// TLS,但是要在不使用https://example.com:443的情况下在不同端口上进行连接,则主服务器将设置为k8s://http://example.com:8080。
https://stackoverflow.com/questions/49517100
复制相似问题