Spark-Submit :无法使用virtualenv运行
Spark-Submit是Apache Spark提供的一个用于提交Spark应用程序的命令行工具。它允许用户在集群上提交应用程序，并且提供了一些配置选项来指定应用程序所需的资源和执行参数。
虚拟环境（virtualenv）是Python中的一个工具，用于创建独立的Python环境，以解决不同项目之间的依赖冲突问题。通过创建虚拟环境，我们可以在同一台机器上同时管理多个项目，每个项目都有自己独立的Python环境和依赖库。
然而，由于Spark-Submit是通过运行应用程序的主类来执行任务的，而虚拟环境是Python的一个特性，不适用于Java或Scala编写的Spark应用程序。因此，无法直接使用virtualenv来运行Spark-Submit。
如果您想在Spark中使用虚拟环境，可以考虑使用PySpark。PySpark是Spark提供的Python API，允许您使用Python编写Spark应用程序。您可以在虚拟环境中安装PySpark，并使用spark-submit命令来提交Python编写的Spark应用程序。
以下是推荐的腾讯云产品相关链接：
- 腾讯云 Spark：腾讯云提供的Spark云服务，可快速搭建分布式计算集群，支持大规模数据处理和机器学习任务。
- 腾讯云虚拟专用云(VPC)：腾讯云提供的安全且隔离的虚拟网络环境，用于搭建私有网络、子网和路由表，以保护您的Spark集群和数据。
- 腾讯云云服务器CVM：腾讯云提供的高性能云服务器，可用于部署Spark集群和运行Spark应用程序。
- 腾讯云对象存储COS：腾讯云提供的安全、可靠、高性能的对象存储服务，适用于存储和管理Spark应用程序的数据。
请注意，以上推荐的腾讯云产品仅供参考，并非特定于Spark-Submit的解决方案。具体选择和配置应根据您的需求和实际情况来确定。
相关·内容
我在yarn/spark上的python应用程序无法识别在工作节点上创建虚拟环境的requirements.txt文件，并继续使用全局环境。任何帮助解决这个问题的人都将不胜感激。
Spark版本: 2.0.1
从我想要在节点上重新创建的虚拟环境中运行pip freeze > requirements-test.txt后，提交脚本：
/usr/bin/spark-submit --master yarn --deploy-mode client --conf spark.pyspark.virtualenv.enabled=true --conf spark.pyspark.virtua
浏览 0提问于2017-07-20得票数 1
1回答
我想在Spark集群上运行Python应用程序，通过spark-submit将其发送到那里。应用程序有几个依赖项，比如pandas、numpy、scikit-learn。确保在提交作业之前安装依赖项的干净方法是什么？
因为我已经使用了virtualenv进行开发，所以可以很容易地生成requirements.txt。
浏览 1提问于2018-04-19得票数 2
问题:我试图从我的本地机器运行一个spark-submit脚本到一个机器集群。集群所做的工作使用numpy。我目前得到以下错误：
ImportError:
Importing the multiarray numpy extension module failed. Most
likely you are trying to import a failed build of numpy.
If you're working with a numpy git repo, try `git clean -xdf` (removes all
files not under version
浏览 0提问于2017-09-07得票数 9
回答已采纳
3回答
我是Python的一个相对较新的用户，很难让spark-submit在气流任务中运行。我的目标是使以下DAG任务成功运行
from datetime import datetime, timedelta
from airflow import DAG
from airflow.contrib.operators.spark_submit_operator import SparkSubmitOperator
from airflow.operators.bash_operator import BashOperator
default_args = {
'owner'
浏览 0提问于2019-08-28得票数 1
回答已采纳
1回答
我正在提交多个Spark作业。一个作业使用一个工人。目前，我一次提交了30个作业，5个作业正在运行，25个作业正在等待。但是，此操作会给服务器带来沉重的负载。(有时无法分配作业端口并发生错误。) 是否有可能在一次运行5个部件的情况下减少负载？ 当前我的运行代码：： ~/spark-submit ~test1.py & ~/spark-submit ~test2.py & ~/spark-submit ~testN.py & ... ~/spark-submit ~test30.py
浏览 28提问于2020-11-30得票数 0
回答已采纳
1回答
调度电火花记事本
、、、、
我有一个ipython笔记本，其中包含集群上的一些PySpark代码。目前，我们正在使用oozie通过色调在Hadoop上运行这些笔记本。这种设置感觉不太理想，我们想知道是否有其他的选择。
我们首先将.ipynb文件转换为.py文件并将其移动到hdfs。与此文件一起，我们还创建了一个调用python文件的.sh文件。内容类似于：
#!/bin/sh
set -e
[ -r /usr/local/virtualenv/pyspark/bin/activate ] &&
source /usr/local/virtualenv/pyspark/bin/activate
浏览 4提问于2016-06-17得票数 2
回答已采纳
我在上的virtualenv上遇到了一点麻烦。在一开始无法运行virtualenv之后，我通过brew安装了Python3(之前我通过python.org上的包安装了它)。我链接了python3的安装，更新了pip并运行了pip3 install virtualenv。当我尝试运行virtualenv (例如$ virtualenv --python=python3 ../virtualenv)时，我会得到以下错误消息。
Traceback (most recent call last):
File "/usr/local/bin/virtualenv", line 7,
浏览 9提问于2015-09-29得票数 13
回答已采纳
1回答
我创建一个虚拟环境并运行PySpark脚本。如果我在MacOS上执行这些步骤，一切都会很好。但是，如果我在Linux (Ubuntu 16)上运行它们，则会选择不正确的Python版本。当然，我以前在Linux上做过export PYSPARK_PYTHON=python3，但仍然是同一个问题。下面我解释所有步骤：
1. edit profile :vim ~/.profile
2. add the code into the file: export PYSPARK_PYTHON=python3
3. execute command: source ~/.profile
那我就做：
p
浏览 0提问于2018-12-10得票数 0
回答已采纳
在我的计算机上运行的virtualenv没有使用我期望的python3版本。我希望它使用与which python返回的版本相同的版本--有没有办法改变virtualenv使用的默认版本。 我可以在特定的调用中使用-p flag，但我无法在手册页中找到更改默认设置的方法。 在bash aliases周围有一个明显的可怕的工作，但这是可怕的。
浏览 35提问于2021-07-22得票数 0
2回答
我有一个依赖于第三方库的pyspark代码。我想在我的集群上执行这段代码，它运行在mesos下。
我确实有我的python环境的压缩版本，它位于我的集群可访问的http服务器上。
我在指定我的spark-submit查询来使用这个环境时遇到了一些麻烦。我既使用--archives加载压缩文件，又使用--conf 'spark.pyspark.driver.python=path/to/my/env/bin/python'加上--conf 'spark.pyspark.python=path/to/my/env/bin/python'来指定内容。
这似乎不起作用.
浏览 9提问于2018-02-06得票数 3
我能够成功地从构建示例项目
我也成功地提交了dse spark-submit。该程序运行良好，结果符合预期。
dse spark-submit --class com.datastax.spark.example.WriteRead target/writeRead-0.1.jar
现在，我希望将上述作业提交给在dse.yaml中配置的现有池
resource_manager_options:
worker_options:
cores_total: 6
memory_total: 32G
workpools:
- name: alwayson_sql
浏览 8提问于2020-05-14得票数 0
回答已采纳
1回答
我必须维护一个用pyspark运行的收费代码。它使用了一种我从未见过的方法。我将一些可重用的代码压缩到一个ingestion.zip文件中。然后，使用如下所示的pipeline.cfg文件调用此文件： [spark]
master=spark://master
py-files=${HOME}/lib/ingestion.zip
spark-submit=${SPARK_HOME}/bin/spark-submit 当我尝试导入如下所示的库时，我无法让Pycharm理解库应该指向zip文件。 from ingestion.data import csv, storage 我已经看到这个zip
浏览 10提问于2020-08-20得票数 0
当使用spark -submit(纱线模式)提交spark流程序时，它会一直轮询状态，从不退出
spark-submit中有什么选项可以在提交后退出吗？
===why this trouble me===
流程序将永远运行，我不需要状态更新
如果我手动启动它，我可以ctrl+c来停止它，但我有很多流上下文要启动，我需要使用脚本启动它们
我可以将spark-submit程序放在后台，但在创建了大量后台java进程之后，对应的用户将无法运行任何其他java进程，因为JVM无法创建GC线程。
浏览 1提问于2016-05-13得票数 18
回答已采纳
我正在尝试使用virtualenv在我的mac上创建一个虚拟python环境。我已经下载了virtualenv，但是我无法运行它，因为它无法找到安装python3的路径，即使我提供了正确的路径。下面是我运行的命令和响应：
virtualenv --python=/usr/local/bin/python3 newfolder
zsh: /usr/local/bin/virtualenv: bad interpreter: /usr/local/opt/python3/bin/python3.6: no such file or directory
此外，我还尝试使用如下引号运行该命令：
vir
浏览 4提问于2020-01-08得票数 8
回答已采纳
1回答
我有一个在启动时运行脚本的cron作业，它是我使用crontab -e创建的。
@reboot /home/ubuntu/startup.sh > /home/ubuntu/log.log 2>&1
我的startup.sh脚本包含：
#!/bin/bash
...
bash /home/ubuntu/ec2-script.sh
我的ec2-script.sh包含：
spark-submit
但我得到了spark-submit: command not found。如果我从终点站试一试，它就会工作得很好。但是，当脚本在启动时运行时，它无法找到spark-submit命令。
浏览 0提问于2018-08-09得票数 0
我曾尝试编写一个从DataFrame到DataFrame的转换方法。我还想用scalatest来测试它。
如您所知，在Spark 2.x with Scala API中，您可以按如下方式创建SparkSession对象：
import org.apache.spark.sql.SparkSession
val spark = SparkSession.bulider
.config("spark.master", "local[2]")
.getOrCreate()
这段代码可以很好地处理单元测试。但是，当我使用spark-submit运行
浏览 2提问于2017-07-31得票数 7
1回答
我用的是MacOS蒙特利12.3。
一旦我为Python (Python3.9)项目初始化了git，如果我设置了virtualenv，那么git就会突然无法跟踪给定目录中的任何更改。
为了查看在同一个目录中初始化git和virtualenv是否会引起任何问题，我首先创建了一个目录"directory_above“并在那里运行了git init。然后，我在"directory_below“中创建了一个子目录"directory_above"，并在子目录中设置了virtualenv。即使不激活子目录中的vurtialnenv，git也无法跟踪目录中的任何更改。git
浏览 6提问于2022-03-30得票数 1
回答已采纳
2回答
我正在尝试运行一个依赖于某些PySpark库的python3作业。我知道我可以在星盘集群上安装这些库，但是由于我要将集群重用到多个作业上，所以我希望将所有依赖项捆绑在一起，并通过--py-files指令将它们传递给每个作业。
要做到这一点，我使用：
pip3 install -r requirements.txt --target ./build/dependencies
cd ./build/dependencies
zip -qrm . ../dependencies.zip
它有效地压缩了需要在根级使用的包中的所有代码。
在我的main.py中，我可以导入依赖项
if os.p
浏览 0提问于2018-02-13得票数 11
回答已采纳
1回答
我已经将Django项目从GitHub克隆到了不同的机器上。另一台机器已经安装了一些最新的python包(例如Django v1.10.6)，而在requirements.txt项目的GitHub文件中，它有不同版本的包(例如Django v1.10.5)。现在，当我运行这个命令
pip install -r requirements.txt
它安装requirements.txt文件中的版本。我知道这不是一个好主意，因为某些代码可能因为版本更改而无法工作，但我需要学习如何只安装其他机器上所需的软件包或安装最新的软件包？
浏览 0提问于2017-03-23得票数 0
我正试着在一个本地环境中运行一个pyspark作业。
在设置pipenv并成功安装模块(numpy)之后，该模块仍然对代码不可见。
使用pip而不是pipenv安装库是可行的。这里我漏掉了什么？
终端输出如下所示。
PS C:\Users\user\Desktop\spark\test> pipenv shell
Shell for C:\Users\user\.virtualenvs\test-sCQB0P3C already activated.
浏览 18提问于2021-05-16得票数 0
如何使用pip从virtualenv外部安装软件到特定的virtualenv。
例如，如果我有一个virtualenv /home/guest/virtualenv/django-env，那么如何在不执行源代码/home/guest/virtualenv/django-env/bin/activate的情况下通过使用/usr/local/bin/pip中提供的缺省pip将python包安装到/home/guest/virtualenv/django-env/lib/python2.7/site-packages/中
上下文是这样的:我正在使用fabric进行软件的远程安装，而当我使用fabri
浏览 3提问于2013-07-03得票数 0
回答已采纳
如果该命令运行超过1分钟，我希望停止它，然后继续运行下一个命令。
for((part=0;part<=100;part++));
do
spark-submit \
--verbose \
--master yarn \
--deploy-mode cluster \
--conf spark.pyspark.python=myenv/bin/python3 \
python_demo.py $part
done
命令spark-submit将把我的代码提交给纱线。在成功提交之后，它将运行到代码ython_demo.py停止为止。但现在我想继续提交，如果一个是成功提交。
现在，she
浏览 5提问于2020-07-20得票数 0
回答已采纳
当前我正在运行supervisor，但无法启动服务。
当我尝试运行它时，我得到
Process: 17113 ExecStart=/usr/bin/supervisord -n -c /etc/supervisor/supervisord.conf (code=exited, status=1/FAILURE)
主PID: 17113 (code=exited，状态=1/故障)
所以当我看一份更详细的报告时，我得到的是这样的结果。
File "/usr/local/lib/python3.6/dist-packages/pkg_resources/__init__.py",
浏览 0提问于2018-10-25得票数 0
1回答
我正在构建一个被坞化的spark应用程序，它将通过一个entrypoint.sh文件运行，该文件反过来运行一个spark-submit
#!/bin/bash
export SPARK_DIST_CLASSPATH=$(hadoop classpath):$HADOOP_HOME/share/hadoop/*
export _JAVA_OPTIONS="-Xms2g -Xmx8g -XX:MaxPermSize=8g"
spark-submit \
--master local \
--conf "spark.driver.extraJavaOpti
浏览 1提问于2021-06-01得票数 1
回答已采纳
我需要强制virtualenv在我的ci服务器上使用已编译的源python (长话短说: travis ci support python 2.7.3。heroku使用2.7.6，我们坚持在与生产相同的环境中进行测试)。但我无法让virtualenv对其运行。
travis首先运行这个脚本：
if [ ! -d ./compiled ]; then
echo "creating compiled folder"
mkdir compiled
else
echo "compiled exists"
fi
cd compiled
if [
浏览 6提问于2014-02-25得票数 1
2回答
我是PySpark的新手。我使用下面的spark-submit进程在集群中的Hive中加载一个表。
/usr/hdp/2.5.0.0-1245/spark2/bin/spark-submit --driver-class-path /path/to/driver/sqljdbc4-3.0.jar --jars /path/to/driver/sqljdbc4-3.0.jar --deploy-mode cluster --master yarn /home/meter/myfile.py
每当我运行这个程序时，我就会收到无数的错误。喜欢
1. pyspark.sql.utils.analysi
浏览 1提问于2019-03-29得票数 2
我正在公司的服务器上工作，pip安装或easy_install没有工作。我无法安装virtualenv。这是easy_install的结果。
PS C:\> easy_install virtualenv
Searching for virtualenv
Reading https://pypi.python.org/simple/virtualenv/
Download error on https://pypi.python.org/simple/virtualenv/: [Errno 11001] getaddrinfo failed -- Some packages may no
浏览 1提问于2017-12-12得票数 1
回答已采纳
1回答
虚拟环境的跨平台接口
、、、、
我已经在Windows上开发了我的整个项目(Django，Python)，所有的PaaS都使用Linux。
VirtualEnv on Linux:
VirtualEnv_dir /
bin/ activate, activate_this.py
include /
lib /
local /
VirtualEnv of Windows:
VitualEnv_dir /
Include/
L
浏览 3提问于2012-08-20得票数 19
回答已采纳
1回答
我正在远程集群设置(由4个节点组成)上运行Spark应用程序。
当我使用以下命令在远程计算机上以本地模式运行应用程序时，
spark-submit --class "Main" --master local[*] target/scala-2.10/myapponspark_2.10-1.0.jar
我在日志中得到了以下信息，
INFO ui.SparkUI: Started SparkUI at http://ab2.xxx.in.yyy.com:4041
并且能够访问的Spark。
但是，当我在纱线-客户端(或纱线-集群)模式下运行时，请执行以下命令
spark-submi
浏览 3提问于2015-12-26得票数 0
我正试图在我的iMac上安装apache，使用这2页上的说明：
在安装过程中，我无法运行
酿制木桶安装java
所以我就跑了
brew安装java
我想我成功地安装了所有的东西，包括apache-星火。但是，当我运行命令spark或pyspark时，我经常会遇到以下错误：
火花弹外壳：
/usr/local/Cellar/apache-spark/3.0.1/libexec/bin/spark-shell:第60行: /usr/local/Cellar/apache-spark/2.0.1/libexecexport/bin/spark-submit:没有这样的文件或目录
火星雨：
浏览 1提问于2021-01-18得票数 0
我从Github帐户中克隆了Django项目，并在运行python manage.py runserver时使用著名的命令python manage.py runserver激活了虚拟服务器
它给了我一个错误，说：
ImportError:无法导入Django。你确定它在你的PYTHONPATH环境变量上安装和可用吗？你忘记激活虚拟环境了吗？
浏览 0提问于2016-10-08得票数 17
回答已采纳
我正在运行一个项目与卡夫卡和阿帕奇火花。为了运行我的kafka流，我在项目中运行以下命令：
$SPARK_HOME/spark-submit --class "TwitterStream" --master local[*] target/scala-2.11/scalakafka_2.11-0.1.jar
然而，我只是得到了下面的错误：
bash: /spark-submit: No such file or directory
如果我将\添加到命令的末尾，它似乎会输入spark-submit，但什么也没有发生！
浏览 4提问于2018-06-12得票数 0
我需要使用遗留版本的python (3.5)来支持一个项目，我正在努力创建一个虚拟环境，因为最新的setuptools (>51)不再支持python==3.5。它在安装包期间抛出语法错误，因为它试图运行包含“将来”语法的setuptools.setup函数。我正在尝试找出一种方法来创建一个使用较旧版本的setuptools作为默认设置的virtualenv。 我目前的解决方法是正常创建virtualenv，然后降级setuptools。这目前是有效的，但如果其他setuptools模块改变语法，导致pip install setuptools==old无法运行，则随时可能中断。 vi
浏览 34提问于2021-01-20得票数 2
回答已采纳
我一直在遵循在MacOS上安装OpenCV的指南。我被困在了第八步，你可以做任何事情。
在~/opencv/build目录中，我运行
$ cmake
-D CMAKE_BUILD_TYPE=RELEASE
-D CMAKE_INSTALL_PREFIX=/usr/local
-D PYTHON2_PACKAGES_PATH=~/.virtualenvs/cv/lib/python2.7/site-packages
-D PYTHON2_LIBRARY=/usr/local/Cellar/python/2.7.12/Frameworks/Python.fr
浏览 11提问于2016-08-18得票数 0
我试图使用spark-submit与client模式在库伯内特斯吊舱提交作业到电子病历(由于其他一些问题，我们不允许cluster模式)。默认情况下，spark-submit使用pod的hostname作为spark.driver.host，而hostname是pod的主机名，因此spark executor无法解析它。spark.driver.port也在舱(容器)的局部位置。
我知道一种将一些甜点传递给spark-submit以便spark executor可以与driver交谈的方法，这些吐露如下：
--conf spark.driver.bindAddress=0.0.0.0 --co
浏览 4提问于2020-01-09得票数 7
回答已采纳
1回答
~$ python
bash: python: command not found
在运行python2和python3时显示了不同的版本.
~$ python2
Python 2.7.6 (default, Jun 22 2015, 17:58:13)
[GCC 4.8.2] on linux2
Type "help", "copyright", "credits" or "license" for more information.
~$ python3
Python 3.4.0 (default, Jun 19 2015
浏览 1提问于2015-08-15得票数 1
2回答
在此结构中，我有一个分布在多个代码文件中的pyspark作业：
flexible_clendar
- Cache
- redis_main.py
- Helpers
- helpers.py
- Spark
- spark_main.py
- main.py
在“main.py”中，我使用了来自'helpers.py‘、'redis_main.py’等的函数。
“flexible_calendar”文件夹被上传到S3桶中，以便EMR可以从它运行代码。
Iv'e创建了一个EMR集群，它使用所有所需的包引导，
浏览 15提问于2022-09-09得票数 0
安装MacOS10.9 (Mavericks)后，Django版本不再安装，或者显然系统无法找到正确的路径使其运行。我怎么才能修好呢？
以下是我尝试运行Django时遇到的错误：
Python 2.7.5 (default, Aug 25 2013, 00:04:04)
[GCC 4.2.1 Compatible Apple LLVM 5.0 (clang-500.0.68)] on darwin
Type "help", "copyright", "credits" or "license" for more informat
浏览 0提问于2013-10-28得票数 1
我已经运行了蛤蜊-av，并有这样的信息：
/snap/inkscape/10154/lib/python3.8/site-packages/virtualenv/seed/wheels/embed/pip-20.3.4-py2.py3-none-any.whl: Win.Virus.Triusor-9950253-0找到traverse_unlink:未能取消链接: /snap/inkscape/10154/lib/python3.8/site-packages/virtualenv/seed/wheels/embed/pip-20.3.4-py2.py3-none-any.whl错误:只读文
浏览 0提问于2022-05-18得票数 0
1回答
我正在使用如下的目标jar运行spark-submit：
spark-submit --class com.Main target/scala-2.11/myapp-0.0.1-assembly.jar
但是jar版本可以更改，这将导致此命令失败。因此，我希望能够通配文件名的那一部分并运行，如下所示：
spark-submit --class com.Main target/scala-2.11/myapp-[anyversion]-assembly.jar
有没有什么bash语法可以让我这么做？
浏览 7提问于2018-12-20得票数 0
回答已采纳
我已经创建了一个火花WordCount应用程序，我在本地模式下使用spark-submit命令在shell中运行该应用程序。
当我尝试在纱线上以cluster模式运行它时，使用以下命令：
spark-submit --class com.WordCount --master yarn --deploy-mode cluster WordCount-1.0.jar
它似乎没有运行，并将状态显示为：
application_1480577073003_0019申请报告(状态:接受)
如何在集群模式下spark-submit在纱线上的应用？
浏览 2提问于2016-12-14得票数 2
2回答
无.bat文件的抓取安装
、、、
我使用的是windows10环境，并且安装了scrapy。然而，当我尝试运行它时，它仍然无法识别。我的理解是，我需要在python文件夹中有一个.bat文件。我在运行其他问题中找到的解决方案时没有任何成功。
@echo off
setlocal
"%~dp0..\python" "%~dp0scrapy" %*
endlocal
没有起作用。
我能够在\lib\site-packages路径中找到这个scrapy文件。但是不知道从这里到哪里去。
浏览 1提问于2015-11-19得票数 0
因此，我尝试将apache spark-submit命令的输出重定向到文本文件，但一些输出无法填充文件。下面是我使用的命令：
spark-submit something.py > results.txt
我可以在终端中看到输出，但在文件中看不到它。我在这里忘记或做错了什么？
编辑：
如果我使用
spark-submit something.py | less
我可以看到所有的输出都被输送到less中
浏览 2提问于2017-09-26得票数 11
回答已采纳
我正在尝试使用spark-submit在spark集群中执行我的python代码。
通常，我们使用python代码运行spark-submit，如下所示。
# Run a Python application on a cluster
./bin/spark-submit \
--master spark://207.184.161.138:7077 \
my_python_code.py \
1000
但是我想通过传递几个参数来运行my_python_code.py，是否有明智的方法来传递参数呢？
浏览 12提问于2015-08-26得票数 46
回答已采纳
我安装了brew，python3 (默认和最新版本)和pip3，pyenv。
TensorFlow现在不支持python3.7，所以我听说我应该独立地制作一个运行3.6或更低版本的virtualenv。
我通过pyenv install 3.6.7安装了python3.6.7，但无法制作virtualenv -p 3.6.7 (mydir)，因为3.6.7不在PATH (usr/local/bin)中。
如何更新我的PATH
浏览 1提问于2019-01-02得票数 1
回答已采纳
我正在尝试使用一个virtualenv在OSX上使用opencv和python。我用以下命令创建了一个虚拟环境
virtualenv --system-site-packages venv
然后我用以下命令安装numpy和opencv
pip install numpy opencv-python
但是，当我使用virtualenv运行我的代码时，我从imports中得到一个错误：
import cv2
import numpy as np
我得到了这个错误：
ImportError: No module named cv2
我还没有找到关于这个问题的任何信息，但我似乎无法导入任何第三方模块。
浏览 3提问于2018-08-23得票数 0
我生成了一个.egg文件。现在我想在我的本地Windows上使用spark-submit命令运行我的Spark应用程序。我有Spark版本2.1.1
spark-submit --py-files local:///C:/git_local/sparkETL/dist/sparkETL-0.1-py3.6.egg driver.py
spark-submit --py-files local:///C:/git_local/sparkETL/dist/sparkETL-0.1-py3.6.egg driver.py
这是我正在尝试的代码，但我得到了错误：
File not found(c
浏览 22提问于2019-07-08得票数 1
回答已采纳
1回答
在星火本地模式中包含包
、、、
我正在用python为我的Spark代码编写一些单元测试。我的代码依赖于。在生产中，我使用spark-submit --packages com.databricks:spark-csv_2.10:1.0.3提交我的python脚本。
我使用在local模式下使用Spark运行测试：
conf = SparkConf().setAppName('myapp').setMaster('local[1]')
sc = SparkContext(conf=conf)
我的问题是，既然pytest没有使用spark-submit来运行我的代码，我如何才能向python进
浏览 0提问于2015-06-22得票数 4
回答已采纳
我需要为Mac做一个完全自包含的Python环境，它可以在运行OSX的不同Mac之间传输，并独立于任何其他Python安装(或缺少)运行。
在我创建的环境中(使用venv)，我发现/bin/python文件和其他文件实际上是别名。当我将这些别名替换为原始的可执行文件时，由于对Python安装中的文件的引用，环境仍然无法在其他计算机上运行，例如
Library not loaded: /Library/Frameworks/Python.framework/Versions/3.9/Python
有没有办法让环境变得完全自包含？
我想是这样的，因为像pyinstaller和cx_freeze这样
浏览 0提问于2021-04-23得票数 1
我正在尝试创建一个虚拟环境来运行一个需要Python 3.6的脚本。我从Pipenv开始，但我无法通过Pipfile.lock或requirements.txt在其他平台上创建相同的环境，除非其他平台安装了Python3.6。我读过，但我不确定我应该采取哪个方向来创建一个可以共享的虚拟环境，并独立于其他平台上安装的操作系统和Python版本运行自己的Python版本。
浏览 1提问于2020-12-24得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
