我有一个python脚本( .py)，其中有python/pyspark代码，我使用命令spark-submit filename.py来运行它。现在，我想与其他人共享我的文件，但不想让他们知道代码/逻辑。所以我使用pyinstaller将python文件转换为二进制文件，但是现在我在运行代码时遇到了问题。(问题是spark-submi
浏览 57提问于2021-10-07得票数 1
6回答
我正试图在pyspark环境中运行一个脚本，但到目前为止，我还没有能够运行。
我怎样才能运行像python script.py这样的脚本？
浏览 15提问于2016-10-13得票数 47
回答已采纳
使用pyinstaller和opencl将python脚本转换为二进制文件的正确方法是什么？如何设置name.spec文件？请参阅下面我的pyinstaller设置
用法: pyinstaller --clean -noconfirm --log-level=DEBUG --onefile -paths=/home/testuser/projects/tool --paths=/usr/loc
浏览 2提问于2021-03-13得票数 0
我的笔记本电脑上有一个本地的PySpark作业。如果我想使用spark-submit在minikube集群上提交它，你知道如何传递python文件吗？./spark-submit \ --deploy-mode cluster \-
浏览 1提问于2020-05-10得票数 1
编辑:这个问题是关于您应该如何定义python/jupyetr-notebook文件的参数，以便在EMR Amazon Spark Cluster上进行spark-submit ...我已经在Amazon AWS (EMR)上创建了Spark Yarn集群，有一个主服务器和3个从服务器。我在上面创建了一个jupyter笔记本(并且能够使用PySpark内核运行和查看输出)。我已经使用PuttY连接到集群(我猜是连接到主节点)，我已经将jupy
浏览 1提问于2020-07-10得票数 1
1回答
我试图使用putty在hdfs上运行spark代码。spark-submit WorstMoviesSpark.py 但是当我输入上面的代码时，它返回了一个错误： python: can't open file '/home/maria_dev/WorstMoviesSpark.py我在本地而不是hdp上加载代码。不过，答案很有用
浏览 42提问于2021-10-21得票数 0
回答已采纳
我生成了一个.egg文件。现在我想在我的本地Windows上使用spark-submit命令运行我的Spark应用程序。我有Spark版本2.1.1
spark-submit --py-files local:///C:/git_local/sparkETL/dist/sparkETL-0.1-py3.6.egg driver.pyspa
浏览 22提问于2019-07-08得票数 1
回答已采纳
1回答
我想在我的spark 1.6.0应用程序中读取.ini文件(这是我的配置/属性文件)。为此，我使用ConfigParser读取属性文件。我尝试在客户端模式和集群模式下提交作业，这两种方式都无法运行作业。如果我在读取文件时在这里做错了，请告诉我。
浏览 4提问于2016-12-05得票数 0
如何在linux中使用c++代码设置核心文件名？
Linux转储核心文件在二进制崩溃时，是否可以设置核心转储文件名称？
浏览 0提问于2011-09-19得票数 3
回答已采纳
2回答
我构建了一个，并希望将其导入到我的pyspark应用程序中。我的包目录结构是：|-- data.py在我的pyspark脚本的顶部有一个简单的import wesam指向ImportError: No module我还试图将其压缩，并以的身份将其与我的--py-files代码一起发布，但没有成功。
./bin&#
浏览 1提问于2017-04-21得票数 25
回答已采纳
我正在创建一个吡火花应用程序，它本质上是模块化的。我的代码结构就像：├── src│ ├── jobs│ │ └── logic.py│ └── utils│ └── utility.py
我的开始脚本是main.py，它反
浏览 1提问于2017-11-08得票数 0
回答已采纳
我想知道是否有任何linux实用程序或过程来生成普通二进制转储并将其反转回原始文件(因为xxd能够使用-r参数来完成)？我尝试过xxd，它可以选择反转到原始文件，但它只打印普通十六进制转储。如果上述情况无法实现，是否有将普通十六进制字符串(例如：hx829jdxkdiei)转换为纯二进制的实用工具。windows上有一些像010编辑器这样的程序，但是我找不到任何用于命令行linux
浏览 0提问于2021-09-12得票数 0
回答已采纳
1回答
在map函数中，我访问以前为SQL定义的Api。ImportError: No module named Api
at org.apache.spark.api.python.BasePythonRunnerjava.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolEx
浏览 7提问于2020-03-26得票数 1
回答已采纳
1回答
我正尝试在Amazon AWS中运行一个简单的pyspark作业，它被配置为通过spark-default.conf文件使用Yarn。我对Yarn部署代码有点困惑。yarn-client')sc = SparkContext(conf=conf) 在这种情况下，当指定了'yarn-client‘时，我不确定我应该如何执行我通常这样做： $spark-submit
浏览 3提问于2020-01-27得票数 1
回答已采纳
2回答
我已经创建了一个kivy应用程序，它按照我的愿望完美地工作。它在它使用的特定文件夹中有几个文件。在我的生活中，我不明白如何在mac上创建一个exe。我知道我可以使用pyinstaller，但是如何从mac创建一个exe。
请帮帮我！
浏览 7提问于2018-07-25得票数 1
我正在考虑如何提交使用pycharm ide开发的pyspark作业。有4个python文件和1个python文件是主python文件，它是通过pyspark作业提交的，但其余3个文件都导入到主python文件中，但我不能理解如果我的python文件都在s3 bukcet中可用，spark作业如何能够引用那些没有通过pyspark提交命令提交<e
浏览 49提问于2020-09-22得票数 0
1回答
我试图使用.py从终端运行一个spark-submit file.py文件，但它不起作用。但是，如果我使用python file.py阅读它，它就能工作。at py4j.commands.ConstructorCommand.execute(ConstructorCommand.java:69)
at py4j.GatewayConnection.run-0.10.7-src.zip/py</em
浏览 0提问于2018-11-09得票数 0
我有一个“myprogram.py”和我的“myprogram.scala”需要在我的spark机器上运行。我如何上传和启动它们？我一直使用shell进行转换和调用操作，但现在我想在spark机器上启动一个完整的程序，而不是每次都输入单个命令。此外，我相信这将使我更容易对我的程序进行更改，而不是开始在shell中输入命令。我在Ubuntu 14.04中进行了独立安装，在</
浏览 2提问于2015-08-04得票数 1
1回答
我有一个二进制守护进程，它依赖于运行时的另一个二进制守护进程来存在；我不喜欢这种安排。(我的代码既适用于OS，也适用于Linux，我说linux是因为我认为只采用elf文件格式是可以的。)我知道xxd，但谢天谢地也找到了这篇文章：如何将二进制文件转储为C/C++字符串文本？，它使用objdump。我认为应该可以创建特定于arch
浏览 0提问于2016-02-17得票数 2
回答已采纳
我正在将Eclipse项目构建转换为在Hudson上运行。我们分别在Windows、Linux和Mac上运行64,000个JUnit测试。对于Linux和Mac，我们使用Xvnc插件进行ui测试。Mac上的Xvnc二进制文件与Linux上的Xvnc二进制文件位于不同的位置。但是，在Hudson主机上没有为不同从
浏览 19提问于2011-01-19得票数 2
云服务器
ICP备案
实时音视频
云直播
对象存储
腾讯云开发者
