3回答
import osimport time
.config("spark.jars.packages", spark_packages) \
.config("spark.sql.execution.arrow.pyspark.fallback.enabled1.FAIR 2.分区3.多执行器/
浏览 92提问于2021-07-30得票数 0
我想在本地运行一个PySpark作业，使用特定版本的Hadoop (假设Hadoop-AWS2.8.5)，因为有一些特性。py4j.protocol.Py4JJavaErrorjava.lang.NoCla
浏览 7提问于2020-03-21得票数 2
回答已采纳
AWS作业未启动，但异常failed to execute with exception Task allocated capacity exceeded limit失败。使用AWS 3.0运行带10个执行器的PySpark作业。文件大小要在2到5 GB之间进行处理。
在3至5秒后立即用此错误粘合未启动和失败的作业。没有全部或错误日志可用。什么是可能的错误。
浏览 7提问于2022-09-26得票数 2
如何在DSE (datastax-Entreprise4.8)中嵌入pyspark来实现repartitionByCassandraReplica或joinWithCassandraTable？
浏览 2提问于2016-02-10得票数 1
我正在批量转换成百上千的视频到mp4，并试图优化我的方法。 我已经编写了一个节点脚本，它生成FFMPEG进程来转换视频。 据我所知，FFMPEG和libx264编码器都已经针对多线程支持进行了优化。似乎在拥有太多作业和减慢所有作业的编码与通过作业队列的太少进程太慢之间存在平衡。 我还想知道，为每个编码作业指定特定数量的线程是否会有所帮助，而不是使用默认设置？
浏览 11提问于2020-01-09得票数 0
回答已采纳
我无法将RDD数据转换为pyspark中的Dataframe。from pyspark.sql.types import StructType, StructField, StringType, IntegerType, DoubleType, Rowspark = SparkSession \
.builder \spark.createDataFrame(da
浏览 5提问于2021-04-02得票数 0
3回答
我目前有一个查询，它从作业表中随机选择一个作业：from jobs and (jobs.project_idjobs.project_id = 5)limit 1有什么想法吗？
浏览 0提问于2016-08-05得票数 0
回答已采纳
我的数据场景如下：因此，我的目标是准确地知道何时加载了所有的数据库/表数据，这样我就可以推断在作业变得缓慢时是否存在读写数据的问题在我的第一次尝试中，我可以非常快地获得记录号(在2分钟的作业运行之后)，但我的猜测是，执行count()并不意味着数据全部加载(在内存中)。
浏览 4提问于2020-11-16得票数 0
1回答
优化unix搜索
、、、
以下方式太慢了:不同的数目总数然后迭代这些结果和每一个A数的计数百分比如何最好地优化查询(bash/perl)？另外，如果只对这些A数的子集这样做，那么如何优化它呢？(例如，对于20k A数，不是全部500 K)
事先非常感谢
浏览 2提问于2012-11-29得票数 2
回答已采纳
3回答
我正在尝试优化下面的代码(PySpark UDF)。 PySpark：Kalverstraat阿姆斯特丹-> [US,NL]
荷兰-> [
浏览 8提问于2020-08-12得票数 4
回答已采纳
1回答
我第一次使用PySpark，我要发疯了。尽管使用了filter函数，但None值似乎没有从我的df中筛选出来。from nltk.stem.porter import PorterStemmer这是我得到的错误：由于阶段失败而中止作业以下是<em
浏览 2提问于2021-11-29得票数 0
回答已采纳
2回答
许多教程提到，RDD的预分区将优化火花作业的数据洗牌。我感到困惑的是，对于我的理解，预分区也会导致洗牌，为什么在这里提前洗牌会对一些操作有好处？特别是spark，self将对一组转换进行优化。(我使用PySpark模式)
国家= country.partitionBy(10).persist()收入= income.partitionBy(10).persist() income.join如果我在加入后的进一步计算都是基于使用国家作为密钥(以前用于连接的密钥id将无用并从RDD中删除)，那么我应该如何<e
浏览 3提问于2017-08-10得票数 1
回答已采纳
1回答
我在一个作业中用pyspark运行3个查询。执行第一个查询，然后在第二个查询中使用此查询的结果，在第三个查询中使用第二个查询的结果。最后，保存第三个查询。所有这些查询都循环运行，如下所示：然后保存最终输出。
浏览 2提问于2019-09-13得票数 0
1回答
我是新来的火花，所以我跟随这个来自sparkbyexamples.com的令人惊奇的教程，在阅读的时候我发现了这个部分：基于您的数据集大小，多个核心和内存PySpark洗牌可能对您的工作有利或有害获得正确大小的洗牌分区总是很棘手的，并需要多次运行，具有不同的值，以达到优化的数目。当PySpark作业出现性能问题时，这是要查找的关键属性之一。
浏览 1提问于2021-05-22得票数 3
我认为这个问题与Azure所做的查询优化有关；但是让我们看看.
我有两个单独的查询(TVFs)进行聚合，然后有一个最后的查询将这两个查询连接在一起，以获得最终结果。所以..。在最后一个查询中使用TDFs，作业图在大约1.5分钟内获得97%的进度。但后来，所有的地狱都散开了！最后一个节点是一个集合，有2500个顶点，表示16分钟的计算时间。所以我的问题..。为什么?？
浏览 4提问于2017-09-25得票数 4
回答已采纳
我的问题是我的电火花作业不是并行运行的。代码和数据格式：class TheThing:gcloud --project <project> dataproc jobs submit pyspark --cluster <cluster_name> <script.py>PySpark的全部</e
浏览 4提问于2016-06-02得票数 1
回答已采纳
我正在使用AWS EMR (5.29)来运行pyspark作业，但是当我apply一个pandas udf时收到这个错误。import pyspark.sql.functions as F (_1585015669438_0003/container_1585015669438_0003_01_000253/pyspark.zip/pys
浏览 99提问于2020-03-24得票数 2
回答已采纳
1回答
我正在使用Spark MLlib和Pyspark来完成我的作业，我需要证明它比传统的机器学习方法更好。当在PySpark和一个普通的Python脚本中运行代码时，我意识到普通的puthon脚本会更快地完成执行，这不应该是这样的，因为数据集中有很多数据。是否有任何我应该考虑的进一步优化。我在独立模式下运行Spark，即我的master和worker是同一个节点。
浏览 3提问于2019-12-02得票数 0
我想将spark作业从我的本地系统提交到安装了cloudera的远程服务器(Spark on YARN)。已经尝试了所有的可能性。尝试创建SparkSession和SparkContext 代码如下： 1) from pyspark import SparkConf, SparkContext raise e if spark is not None:
##################Also,
浏览 14提问于2020-01-06得票数 0
问题是太慢了。我需要优化它。打开页面B的速度太慢，无法加载它的内容，比如很多图像、背景、css样式等等。准确地说，加载页面需要5到10秒的时间。我需要它在1到2秒之内。有没有办法在B页上触发JavaScript事件，而不加载B页的全部内容？
谢谢。
浏览 3提问于2014-03-26得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
