我有一个10 of的数据集大小(例如Test.txt)。我编写的pyspark脚本如下所示(Test.py)：from pyspark.sql import SparkSession然后我使用下面的命令执行上面的脚本：然后我得到如下的错误：
1
浏览 129提问于2017-12-29得票数 14
2回答
我正在尝试访问蜂箱拼板表，并将其加载到Pandas数据帧中。我使用的是pyspark，我的代码如下所示：import pandasfrom pyspark importSparkContextfrom pyspark.sql import HiveContext
con
浏览 0提问于2017-05-31得票数 1
1回答
它只是一个简单的代码来打印一个主题的内容。还没什么大不了的！但是，由于某种原因，内存是不够的(VM中的10 VM内存)！spark-submit --jars jars/spark-sql-kafka-0-10_2.11-2.3.0.jar,jars/kafka-clients-0.11.0.0.jar kafka-testStreamingContext
from pyspark.streami
浏览 0提问于2018-12-12得票数 1
在使用ALS.trainImplicit训练模型时，我正在从内存错误中获取java堆空间。/spark/python/lib/pyspark.zip/pyspark/mllib/common.py", line 130, in callMLlibFunc
File "/usr/local/spark/python
浏览 1提问于2017-04-26得票数 0
我有一个简单的蜂巢查询，它在纱线客户端模式下很好地工作，使用吡火花外壳，当我在纱线-集群模式下运行它时，它抛出了下面的错误。Exception in thread "Thread-6" Exception in thread "Reporter"
Exception: jav
浏览 11提问于2015-07-30得票数 3
我尝试通过增加spark.driver.memory来增加内存，但仍然摆脱了内存错误。我需要去收集垃圾吗？我一个接一个地调用这些函数来执行转换，但始终得到：我已经核对了一些老问题，但这些问题对我没有帮助。我没有日志，但听说是导致问题的代码。
df.toPandas().to_csv('out.csv')
浏览 0提问于2019-06-11得票数 0
回答已采纳
我有32 GB的物理内存，我的输入文件大小约为30 MB，我尝试使用下面的命令以纱线客户端模式提交我的火花作业。spark-submit --master yarn --packages com.databricks:spark-xml_2.10:0.4.1 --driver-memory 8g ericsson_xml_parsing_version_6_stage1.py
而且我的执行器空间是8g，但是得到下面的错误--任何人都可以帮助我配置<e
浏览 3提问于2017-03-07得票数 0
根据使用spark-1.6.0-bin-hadoop2.6
./bin&
浏览 2提问于2016-04-08得票数 8
移民后，我们可以看到下面的问题另一个问题，由于事件日志的巨大大小，我们无法为这个特定的任务打开历史服务器UI。: java.lan
浏览 1提问于2022-09-06得票数 1
大家好，我在PySpark Python上工作，我提到了代码和一些问题，我想知道是否有人知道以下问题？= IdShift)
这是我的一段代码，它将返回布尔值true，false，当我第一次运行这段代码时，它工作得很好，但在重新启动内核后，这就是我得到的错误。failed 1 times, most recent failure: Lost task 18.0 in stage 5.0 (TID 116, localhost, executor driver): java.lang.
浏览 5提问于2017-12-12得票数 19
回答已采纳
我是Spark和pyspark功能的新手，正在尝试读取一个大小约为5 5GB的JSON文件，并使用以下命令构建rdd每次运行上面的语句时，我都会得到以下错误：我需要以RDD的形式获取JSON数据，然后使用SQL Spark进行操作和
浏览 0提问于2018-05-23得票数 1
但是，当我决定更改'HandlInvalid‘参数时，spark会抛出这个java堆错误。Exception in thread "dispatcher-event-loop-1" java.lang.OutOfMemoryError: Java heap space.....ERROR Utils: Uncaught exception in thread driver-heartbeater
java.lang.O
浏览 6提问于2020-04-20得票数 0
我在一个长期存在的应用程序( java.lang.OutOfMemoryError: Java堆空间)中有一条消息。java.lang.OutOfMemoryError: Java heap space
at java.nio.HeapInt
浏览 5提问于2015-01-27得票数 1
回答已采纳
我在一个Tomcat7实例中运行了几个应用程序。如何找出哪个应用程序(理想情况下是哪个)类导致它们？更新1 (25.12.2014 11:44 MSK):
它们中有任何一个表示应用程序中的内存泄漏吗？
如果是，是哪一个？
浏览 5提问于2014-12-11得票数 1
Java创建堆空间中的每个对象。
当堆空间满时，它将抛出一个java.lang.OutOfMemoryError: Java堆空间.。当堆中没有空间时，java如何分配内存并创建OutOfMemoryError对象？
浏览 0提问于2017-01-17得票数 1
我最近在我的服务器上使用了PySpark和Ipython，有24个CPU和32 24内存。它只在一台机器上运行。在我的过程中，我想收集大量的数据，如下代码所示：.filter(lambda x:x[-1Java heap Space。此外，我不能执行任何操作的火花后，这个错误，因为它失去了与Java的连接。它给了Py4JNe
浏览 2提问于2015-09-01得票数 68
回答已采纳
亲切的问候有没有办法找到平衡，这样我就有足够的资源和堆空间了？我基本上减少了驱动程序内存，增加了执行者的数量。我真的不明白这是如何解决我
浏览 0提问于2018-12-09得票数 0
局部模式运行
from pyspark import SparkConf, SparkContext
r
浏览 2提问于2019-01-31得票数 0
我有一个用例，在这个用例中，我想迭代地将数据加载到Pandas中，使用外部函数(即xgboost，在示例代码中没有显示)进行一些处理，然后将结果推到单个PySpark对象(RDD或DF)中。在将数据存储为RDD或Dataframe时，我尝试让PySpark溢出到磁盘，同样，源是Pandas DataFrame。似乎什么都没有用，我一直在破坏Java驱动程序，无法加载数据。或者，我尝试加载我的数据而不使用基本的textFile RDD进
浏览 1提问于2017-09-18得票数 0
我的机器上有比Parquet数据集大小更多的空闲内存和分配给pyspark的内存(更不用说数据集的两列)，但是加载DataFrame后，我无法在它上运行任何操作。这太让人困惑了，我不知道该怎么办。spark.driver.memory 50gspark.executor.cores 12我的环境是这样的：
浏览 0提问于2019-07-01得票数 3
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号