1回答
如何分析pyspark作业
、、、、
我想了解pyspark代码中的概要分析。>>> sc.但是如果我这样做的话：from pyspark import SparkConf
from pyspark import SparkContext
浏览 10提问于2016-08-31得票数 11
回答已采纳
2回答
我目前的做法是使用PySpark并在Google上的机器集群上运行作业： data.createOrReplaceTempViewcluster_name, project_name, dataset_name, result, result_folder, table_name)I目前正在每个国家运行1个查询，因此每个查询都会对整个数据进行分析。是否有一种
浏览 1提问于2020-05-10得票数 1
1回答
如何使用Amazon AWS提供的哪些技术和工具？我是在S3文件夹中创建临时文件，还是在内存中保留数据帧，或者使用某个数据库并在每小时后清除数据？所以，我寻找的不仅仅是一段代码，而是一些想法。到目前为止，在亚马逊网络服务中，我已经编写了一个pyspark脚本，它一次读取一个文件，并在output S3文件夹中创建一个输出文件。但这给我留下了每个小时的多个输出文件。从技术的角度来看，我使用的EMR集群只有一个主节点和一个核心节点，即Pyspark和S3。谢谢
浏览 0提问于2020-01-23得票数 0
我希望阅读该表，并使用我创建的Dataproc集群(使用PySpark作业)对其执行一些分析。然后将此分析的结果写回BigQuery。您可能会问：“为什么不直接用BigQuery进行分析呢？”
浏览 3提问于2015-10-06得票数 11
回答已采纳
假设我使用dataproc工作流模板和临时集群运行一个pyspark作业...如何获取在pyspark作业中创建的集群的名称
浏览 0提问于2019-10-17得票数 2
我在GCP Dataproc上有一个可以在气流中触发的火花放电作业，如下所示： "placement": {"cluster_name": "my_cluster_name"},
"<e
浏览 13提问于2022-03-25得票数 4
回答已采纳
1回答
我必须分两个步骤将JSON中的分析数据转换为parquet。对于大量的现有数据，我正在编写一个PySpark作业并执行 u
浏览 0提问于2018-01-18得票数 5
回答已采纳
在分析用于火花作业的纱线launch_container.sh日志时，我对日志的某些部分感到困惑。我会在这里一步一步地指出这些要求
当您将提交一个火花作业时，在纱线上提交具有-pyfiles和--文件的集群模式：。如果我们已经显式地导出了任何东西，比如PYSPARK_PYTHON在.bash_profile中，或者在构建星火提交作业时在shell脚本中或在spark_env.sh中，默认值将被我们提供的值所取代。此PYSPARK_PYTHON是边缘节点中的路径。那么，在另一个节点中启动的
浏览 5提问于2020-08-15得票数 0
1回答
我正在使用EMR步骤来运行我的作业。通常，当我想要分析作业的性能或了解它失败的原因时，我会查看spark历史服务器中的DAG可视化和作业错误等。例如，如果作业由于堆错误或Fetchfailed等原因而失败，我可以在spark历史服务器中清楚地看到它。但是，当我查看写入日志URI S3存储桶的stderr日志文件时，似乎找不到这样的描述。我使用pyspark并将日志级别设置为 sc = spark.sparkContext
sc.setLogLevel('DEBUG')
浏览 20提问于2021-01-19得票数 1
回答已采纳
将每个卖家的买家列表输出到sellers_buyers_list.csv，如下所示：seller1 buyer1, buyer3
所以谁能告诉我写Spark作业的正确方法是什么
浏览 5提问于2018-01-29得票数 0
1回答
作为DAG的一部分，我正在使用下面的代码触发gcp pyspark dataproc作业， gcp_conn_id=gcp_conn_id, main=pyspark_script_location_gcs, cluster_name=cluster_name,)
如何将变量作为
浏览 1提问于2021-02-10得票数 2
回答已采纳
如何能够向Google (PySpark)提交多个作业，并将不适合当前执行器的作业排队？只有提交作业才不适用于排队，这里是下列任何作业的输出： ...
浏览 0提问于2016-04-08得票数 2
回答已采纳
在亚马逊网络服务的文档中，他们指定了如何激活对Spark作业()的监控，但不是python外壳作业。使用原样的代码会给出这个错误：ModuleNotFoundError: No module named 'pyspark'
更糟糕的是，在注释掉from pyspark.context import SparkContextpython shell作业似乎不能访问glue上下文？
浏览 0提问于2020-05-22得票数 1
1回答
我希望将RDD转换为DataFrame，并缓存RDD的结果：from pyspark.sql.types import * schema=schema,).orderBy("t") #.cache()
如果不使用cache函数，则不会生成作业如果仅在为cache生成orderBy 1作业之后才
浏览 4提问于2017-03-22得票数 14
回答已采纳
我正在尝试使用AWS Lambda函数运行我的PySpark作业代码。下面是错误:无法导入模块'lambda_function'：没有名为'pyspark‘的模块from pyspark.sql import function
浏览 0提问于2018-12-11得票数 0
1回答
我正在尝试使用PySpark运行一个作业。与所有示例相比，唯一不同的是，我希望提交来自.egg的工作，而不是.py文件。为了在常规商品集群中提交PySpark作业，如下所示： --driver-memory 20g \gcloud dataproc jobs submit pyspark \
file:///dummyproject
浏览 0提问于2018-11-09得票数 2
回答已采纳
我正在尝试向dataframe添加新行，但无法添加。newRow = Row(id='ID123') or 错误：
浏览 0提问于2017-11-29得票数 12
回答已采纳
可以使用dbutils在notebooks中访问Databricks密钥，但是，由于dbutils在notebooks之外不可用，因此如何在pyspark/python作业中访问密钥，特别是当它们使用我已经试过How to load databricks package dbutils in pyspark了 它不适用于远程作业或mlflow项目运行。
浏览 12提问于2020-06-09得票数 0
1回答
如果pyspark作业符合某个条件，我需要将"DEAD"/"FAIL“返回到作业"status”。示例： from pyspark.sql import SparkSession .master("yarn")\ print("Bye " + str(i))
#Exit the progr
浏览 41提问于2020-01-08得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
