1回答
我正在尝试从org模块导入FPGrowth，但在安装org模块时抛出错误。我也尝试过将org.apache.spark替换为pyspark，但仍然不起作用。
!
浏览 19提问于2020-06-02得票数 0
回答已采纳
我正在尝试使用AWS Lambda函数运行我的PySpark作业代码。下面是错误:无法导入模块'lambda_function'：没有名为'pyspark‘的模块from pyspark.s
浏览 0提问于2018-12-11得票数 0
因此，最近我一直在研究Mlib集群，并发现根据docs，可以用于我的集群版本(5.1)。这个集群正在运行Python 2。from pyspark.ml import Pipelinefrom p
浏览 0提问于2019-02-07得票数 0
回答已采纳
2回答
目前，我使用EC2s集群使用预配置的./ec2目录自动化了Apache脚本。出于自动化和调度的目的，我想使用Boto EMR模块向集群发送脚本。但是，这需要我在本地运行该脚本，因此我无法充分利用Boto的能力来启动集群2)添加脚本步骤和3)停止集群。我已经找到了一些示例，其中使用了用于星火壳(scala)的
浏览 4提问于2014-04-25得票数 25
1回答
我想在pyspark中使用经过预先训练的xgboost分类器，但是集群中的节点没有安装xgboost模块。我可以挑选我训练过的分类器并广播它，但是这还不够，因为我仍然需要在每个集群节点加载模块。我无法在集群节点上安装它，因为我没有根，也没有共享的文件系统。
我有一个鸡蛋给你吃。像或这样的东西能起作用吗？
浏览 1提问于2016-09-24得票数 7
但是从星火提交代码中，我无法导入conda (pyspark_venv.tar.gz)中可用的包，它给了我模块未找到的错误。spark-submit --archives pyspark_venv.tar.gz#environment app.py
它来自app.py，我无法导入这些包
浏览 12提问于2022-04-20得票数 2
1回答
我在yarn集群上部署了pyspark应用程序，在所有节点都可以访问的挂载上部署了python venv。我遇到的问题是，节点上的python安装是不一致的，有些节点安装了必需的模块(这是python构建的一部分)，而其他节点则不安装，这会导致频繁的崩溃。事实证明，与负责集群的团队就这一问题进行沟通非常繁琐，因此我想在挂载上创建一个完全隔离的python安装，作为解决这种情况和未来问题的解决方案。对于venv模块，我没有找到任何方法来做到这一点。但是，理想情况下，我希望使用venv来实现这一点，因为我不希
浏览 23提问于2022-10-10得票数 0
1回答
为了测试我的PySpark映射函数，我设置了集群(仅测试一个JSON文件的一个主5名工作人员)。
这里的最佳做法是什么？我应该复制主节点中的所有文件(利用Dataproc中的Hadoop分布式文件系统)，还是如果我将文件保存在GCS桶中并将文件位置指向我的Pyspark中，那么它是否同样有效？另外，我的代码导入了相当多的外部模块，我已经将这些模块复制到我的主模块中，并在主模块中导入工作。将其复制到所有其他工作节点上的最佳实践是什么，这
浏览 1提问于2019-06-04得票数 1
回答已采纳
我有一个SageMaker笔记本实例，打开了一个连接到AWS EMR集群的SparkMagic Pyspark笔记本。目录如下所示：/home/ec2-user/SageMaker/dsci-Python/pyspark_mle/datalake_data_object/SomeClass
/home/ec2-user/Sage
浏览 9提问于2019-11-28得票数 2
我已经部署了一个带有Apache的3节点AWS ElasticMapReduce集群。访问PySpark。此外(尽管不安全)，我已经将主节点的安全组配置为专门在端口7077上从本地机器的IP地址接受TCP流量。但是，我仍然无法将本地 PySpark实例连接到集群：上面的命令会导致许多
浏览 2提问于2016-12-01得票数 10
回答已采纳
1回答
我正试图通过木星笔记本在graphFrames上使用PySpark。我的星盘集群在HD上，所以我没有编辑kernel.json的权限。%set_env PYSPARK_SUBMIT_ARGS='--packagesgraphframes:graphframes:0.3.0-spark2.0-s_2.11 <e
浏览 3提问于2016-12-12得票数 2
回答已采纳
1回答
我试图在独立集群上提交spark作业，我将虚拟主机压缩为venv.zip，并将该作业作为shell脚本提交PYSPARK_PYTHON=./venv/bin/python \--jars ojdbc6.jar \--archives venv.zip#venv \但我一直认为，即使
浏览 3提问于2021-07-04得票数 3
回答已采纳
如何将C编译模块(例如，python-Levenshtein)发布到集群中的每个节点？我知道我可以使用独立的Python脚本(示例代码如下)在Spark中发布Python文件：sc = SparkContext("local", "App Name", pyFiles=['MyFile.py', 'MyOtherFile.py'])
但是在没有“.py”的情况下，我如何发布<e
浏览 1提问于2014-07-11得票数 30
回答已采纳
1回答
__subclasses__()}
迭代来自堆栈溢出片段，这样我就可以将类中的模型公开给flask命名空间。我可能不需要将这两个类放在两个单独的文件中，但我的上一个项目最终得到了大约30个模型，组织要求进行一些拆分，所以这只是我开发的一个实践。
浏览 0提问于2021-03-27得票数 3
我正在使用Python 3在木星笔记本上编写代码，为了组织我的代码，我尝试在我的程序中使用两个不同的模块。因此，我有一个模块名为“让我们简单化”，称为abc.ipynb，现在创建了一个不同的模块，称为edf.ipynb (都在木星笔记本上)print(abc.x)I导入x导入的甚至尝试调用函数
所有这些都给出了以下错误中的一
浏览 4提问于2020-04-04得票数 2
使用AWS EMR w/ Spark 2.4.3export PYSPARK_PYTHON=python3在火花壳中证实了这一点
df = spark.createData
浏览 2提问于2019-08-01得票数 4
回答已采纳
情况是这样的：
我们有一个模块，在其中我们定义了一些返回pyspark.sql.DataFrame (DF)的函数。为了获得这些DF，我们使用在同一文件或助手模块中定义的一些pyspark.sql.functions.udf。当我们实际为pyspark编写要执行的作业时，我们只从模块导入函数(我们向--py-files提供了一个.zip文件)，然后将数据帧保存到hdfs。我们发现的令人讨厌的修复方法是在作业中定义udf函数，并将它们提供给从我们的模块导
浏览 12提问于2017-07-14得票数 9
我是pyspark和python的初学者，并试图将我的SAS宏之一转换为pyspark，但无法找到与SAS中的扫描功能等价的有用资源，而且在EMR studio pyspark集群中执行when循环也有困难我正在尝试将下面的SAS宏转换为pyspark，谢谢大家。
浏览 6提问于2022-11-22得票数 0
解决方案：转到齐柏林的解释器，找到spark2，让zeppelin.pyspark.python指向python已经存在的地方。
浏览 0提问于2018-05-30得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
