我有一系列问题(很抱歉,Google文档太糟糕了,而且不方便用户使用):
您可以将ssh放入头计算机并在整个集群中运行星火,还是使用Google的gclouddataproc jobs submit ...命令?当我在本地运行Spark作业并尝试访问时,我这样做是没有问题的。当我尝试使用Dataproc时,它会崩溃。我在我<
as F
month = (sys.argv[2])我们正在尝试使用以下命令提交作业:-
gclouddataproc jobs submit pyspark --project=my_project --cluster=my_cluster --region=region_1 gs://shashi/python-scripts&