如何从命令行为Jupyter spark/pyspark笔记本指定内存和cpu？
在命令行中为Jupyter Spark/Pyspark笔记本指定内存和CPU，可以通过以下步骤实现：
- 打开命令行终端。
- 进入Jupyter笔记本所在的工作目录。
- 输入以下命令启动Jupyter笔记本：jupyter notebook
- 在浏览器中打开Jupyter笔记本界面。
- 创建一个新的Spark/Pyspark笔记本或打开现有的笔记本。
- 在笔记本中的第一个代码单元格中，使用以下代码指定内存和CPU：import os os.environ['PYSPARK_DRIVER_MEMORY'] = '4g' # 指定内存大小，例如4g os.environ['PYSPARK_EXECUTOR_MEMORY'] = '2g' # 指定内存大小，例如2g os.environ['PYSPARK_EXECUTOR_CORES'] = '2' # 指定CPU核心数，例如2注意：根据实际需求，可以根据需要调整内存和CPU的大小。
- 运行代码单元格，Jupyter笔记本将使用指定的内存和CPU配置来执行Spark/Pyspark任务。
关于Jupyter、Spark和Pyspark的更多信息，可以参考以下链接：
- Jupyter Notebook：Jupyter Notebook是一个开源的Web应用程序，用于创建和共享文档，其中可以包含实时代码、方程式、可视化图像和说明文本。Jupyter Notebook介绍
- Apache Spark：Apache Spark是一个快速、通用的大数据处理框架，提供了高级API（如Spark SQL、Spark Streaming、MLlib和GraphX）和用于分布式数据处理的引擎。Apache Spark官方网站
- Pyspark：Pyspark是Spark的Python API，允许使用Python编写Spark应用程序。Pyspark官方文档
相关·内容
这样做的目的是为了实现以下目标其中kernel-options将被转发到pyspark或spark内核。我们需要它来运行不同的jupyter服务器--一个用于pyspark内核，另一个用于同一台机器上的spark (in scala)内核。这是一个要求，因为单个jupyter服务器不支持同时运行的pyspark<em
浏览 26提问于2017-01-17得票数 2
回答已采纳
我只是想更多地了解Spark。所以我想问这个问题。我连接了一个运行Pyspark的Jupyter笔记本。所以，现在当我在笔记本中进行任何编码时，比如读取数据并将数据转换为Spark DataFrame，我想检查一下：2)。使用没有spark的J
浏览 0提问于2016-08-13得票数 0
当我为木星笔记本安装PySpark时，我使用以下cmd：但是，我知道
[ToreeInstall] ERROR | Unknown interpreter PySpark.Skipping installation of PySpark int
浏览 0提问于2019-03-15得票数 9
1回答
("spark.executor.memory", '8g')spark_session.conf.set('spark.cores.max', '3')
spark_session.conf.set("spark.driver.memo
浏览 1提问于2020-02-26得票数 1
回答已采纳
3回答
我已经花了几天的时间试图让星火与我的木星笔记本和Anaconda一起工作。PYSPARK_DRIVER_PYTHON=jupyterexport SPARK_HOME=/my/path/to/spark-2.1.0-bin-hadoop2.7
alias pyspark
浏览 2提问于2017-12-15得票数 14
回答已采纳
我使用Spark1.6.0在三个am，1x主(独立)，2x工人w/ 8G RAM，每个2CPU 2 2CPU。spark-1.6.0", "PYSPARK_SUBMIT_ARGS": "--ma
浏览 4提问于2016-03-30得票数 8
1回答
我使用的是Jupyter notebook和PySpark，它使用Spark作为内核。问题是我不确定如何正确地关闭它，我的印象是有什么东西一直挂着，因为笔记本运行的驱动程序上的内存变满并崩溃(我得到了GC开销异常)。我使用保存到.pid文件中的进程id简单地杀死了笔记本，从而结束了整个过程。但我有一种感觉，下面的状态很好：实际的问题是什么，如何解决它，即如何正确地关闭整个事情(在驱动器上和</em
浏览 32提问于2017-01-28得票数 2
回答已采纳
我在星团上运行一个jupyter笔记本(与纱线)。我正在使用"findspark“包来设置笔记本，它工作得非常好(我通过SSH隧道连接到集群主机)。当我编写一个“自给”笔记本时，它工作得很好，例如，下面的代码运行时没有问题：findspark.init()
sc = pyspark.SparkContext当我不使用木星-笔记本和当我使用火花提交-主纱-py-文件myPac
浏览 2提问于2017-12-08得票数 6
回答已采纳
19回答
我使用的是星星之火1.4.0-rc2，所以我可以使用python 3和spark。如果我将export PYSPARK_PYTHON=python3添加到我的.bashrc文件中，我可以与Python3交互地运行spark。但是，如果我想在本地模式下运行一个独立的程序，我会得到一个错误：
如何为驱动程序指定设置export PYSPARK</e
浏览 12提问于2015-05-28得票数 97
回答已采纳
然而，有些是过时的，有些没有涵盖所有的“期望和最佳”*字符的启动火花。这是压缩和可用的每一点RAM和CPU，你有火花会话。因此，我试图找出一种方法来做以下工作。1)利用最大核数3)利用最大的执行器内存数。
这是不可能使用命令行，因为我是提交我的工作通过笔记本。因此，我将坚持为所有属性配置默认属性文件
浏览 0提问于2018-07-30得票数 0
回答已采纳
我是GCP的新手，被要求在dataproc上创建spark应用程序，将数据从源数据库带到GCP上的Bigquery。num-workers 2 \--worker-boot-disk-size 500 \--project <project_name> \
浏览 7提问于2021-02-22得票数 2
回答已采纳
我是第一次接触dataproc和PySpark。\ --image-version 1.4-ubuntu18 \spark:spark.sql.files.ignoreCorruptFiles=true,\
yarn:yarn.nodemanager.resource.cpu-vcores=8,\yarn.scheduler.c
浏览 39提问于2020-06-15得票数 2
回答已采纳
我正在尝试将数据从Elasticsearch索引加载到Spark的dataframe中。我的机器有12个CPU和1个内核。我在一台Jupyter Notebook上使用PySpark，配置如下： pathElkJar = currentUserFolder+"/elasticsearch-hadoop-"+connectorVersion此外，我认为默认情况下执行程序的数量等于CPU的数量，但即使这样做： spark.conf.set(&q
浏览 17提问于2020-11-10得票数 0
1回答
我正在尝试连接两个具有两个列( id和优先级)的数据文件(左外部)。我正在创建这样的数据格式：a_df = spark.sql(a)
b_df = spark.sql(b)
c_df = a_df.join(b_df, (a_df.id不确定是否存在版本更改问题或其他问题
浏览 1提问于2019-02-11得票数 2
我在DataProc上有一个Jupyter笔记本，我需要一个jar来运行一些作业。我知道从命令行编辑spark-defaults.conf和使用--jars=gs://spark-lib/bigquery/spark-bigquery-latest.jar提交作业--它们都工作得很好方法1： import os
os.environ['PYSPARK_SUBMIT_ARGS'] = '
浏览 25提问于2019-04-18得票数 2
我正试着在我的macbook air上运行pyspark。/bin/pysparkexport PYSPARK_SUBMIT_ARGS="--master local[2] pyspark-shell"
无济于事。
浏览 4提问于2015-08-06得票数 81
2回答
我使用的是Docker1.12.1 (--net host)、Spark2.0.0(独立集群)、Hadoop2.7、Python3.5和openjdk-7。所有36个虚拟CPU似乎都在使用，平均负载为250-350。大约有360个args值需要映射，它们的处理时间为15-45秒(25和75百分位数)。CG次数不明显。任何我应该研究的其他度量指标的提示，都觉得我在某个地方浪费了很多CPU周期。我真的很想围绕Spark构建架构，但是基于这些PoCs，AWS上的机器至少太贵了。我要用其他本地硬
浏览 2提问于2016-08-23得票数 1
回答已采纳
如何在不手动生成单独JVM的情况下同时提交少量的星火应用程序？
spark.default.parallelism这个琐碎的工作需要1GB的内存。你怎么做？代表长期工作会议提交琐碎的工作？比它
浏览 7提问于2017-05-16得票数 7
回答已采纳
步骤3:通过6小时的时间窗口对22亿行数据进行GroupBy &应用.cache()和.count()importpyspark.sql.functions as sql_function
from pyspark.sql.types import StructType, StructField, StringType我想补充的是，在重新分区之前和之后，作业在执行时具有相同的行为。所以，我做了重
浏览 0提问于2020-06-01得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
