2回答
我有一个依赖于第三方库的pyspark代码。我想在我的集群上执行这段代码，它运行在mesos下。
我确实有我的python环境的压缩版本，它位于我的集群可访问的http服务器上。我在指定我的spark-submit查询来使用这个环境时遇到了一些麻烦。我既使用--archives加载压缩文件，又使用--conf 'spark.pyspark.driver.pytho
浏览 9提问于2018-02-06得票数 3
3回答
我使用的是spark 1.3.0。/bin/spark-提交progname.pyNameError:未定义名称'sc‘有什么想法吗？提前感谢
浏览 0提问于2015-11-17得票数 1
我正在构建一个用于触发spark- job和检查作业状态的接口。
我不能使用像Livy，spark job server这样的第三方库。我想通过REST API创建启动和提交作业到spark集群的API。
浏览 19提问于2019-10-21得票数 0
回答已采纳
1回答
除了我自己的一个小主文件夹之外，我在这台机器上没有任何权限，但是要运行我的脚本，我需要两个库(networkx和shapely)。因为我的问题只与导入有关，所以我目前正在尝试运行一个基本的wordcount脚本，但是导入我的最终项目所需的库。/文件夹从本地计算机(Linux Mint19)复制到~/local/lib/python3.6中的节点(Red Hat7)-我的
浏览 2提问于2019-11-29得票数 1
发现了两个用于Nats的库，分别用于Java和Scala(，)。在Scala上编写一个单独的连接器并将输出发送到pySpark是错误的。是否有其他方法可以将pySpark连接到Nats？Spark-提交版本2.3.0.2.6.5.1100-53
提前谢谢。
浏览 14提问于2021-05-18得票数 0
我有一个spark应用程序，它读取大量数据，将其加载到内存中，并在两者之间设置所有内容，以便用户多次查询内存中的数据帧。查询完成后，控制台上会提示用户继续输入新的输入集或退出应用程序。我以前使用过spark作业服务器在内存加载的数据帧上实现多个交互式查询，但不是从shell。有什么建议吗？更新1:这是项目jar的外观，它与所有其他依赖项打包在一起。RecommendMatch$$anonfun$3.class
my_home/myhome/RecommendMatch$.cl
浏览 1提问于2017-05-16得票数 1
2回答
我正在使用AWS EMR创建Spark应用程序，但是spark-submit运行的是Python3而不是Python2，但是当我运行pyspark时，它是Python2。如何强制spark-submit使用Python 2？export PYSPARK_PYTHON=/usr/bin/python2 谢谢
浏览 41提问于2017-07-07得票数 0
回答已采纳
我正在尝试找到一种在spark scala中在EMR集群级别设置maximizeResourceAllocation=true属性的方法。我在spark- maximizeResourceAllocation=true命令中使用了--conf提交参数，但看起来没有任何效果。
浏览 7提问于2021-04-09得票数 1
我从一个单独的ec2实例使用boto3启动了一个EMR集群，并使用了一个如下所示的引导脚本：echo "export PYSPARK_PYTHON="/mnt1/anaconda3jupyter labextension install j
浏览 0提问于2020-01-10得票数 1
我正在使用Databricks spark-redshift将DataFrames写到Redshift。我有两个DataFrames，它们被附加到两个不同的表中，但我需要它自动发生，也就是说，如果第二个DataFrame写不到它的表，我也需要撤销第一个。有没有办法做到这一点？
浏览 0提问于2018-04-11得票数 1
1回答
我对Spark和Kubernetes都很陌生，但我想了解这在生产环境中是如何工作的。我计划使用Kubernetes来部署星火集群。然后，我将使用SparkStraeming处理Kafka的数据，并将结果输出到数据库。此外，我计划建立一个计划的火花批处理工作，每天晚上运行.
1.如何安排夜间批处理运行？但据我所知，这是为了调度容器部署，我已经启动并运行了我的容器(因为我使用了SparkStreaming的Spark-群
浏览 1提问于2017-01-26得票数 3
我在关注spark-submit --class "SimpleApp" --master local[4] /usr/local/spark/target/scala-2.11
出现以下错误ShutdownHookManager:54 - Deleting directory /tmp/spark-08d94e7e-ae24-4892-a704-727
浏览 2提问于2018-10-08得票数 0
我部署Hadoop-Spark集群并运行我的作业。通过提交脚本bin/ spark - submit，我可以成功提交spark作业。现在，我想像捕获一样捕获跟踪URL，并在我的其他scala项目中使用它。我该怎么做呢？我尝试重定向spark-submit输出，但它似乎不起作用，就像但是完
浏览 1提问于2015-11-05得票数 2
我确实看到我们需要在生产者端进行更改，以使用Gzip压缩，但我不确定如何在阅读消息时解压。请把灯熄灭，告诉我从哪里开始。我有我的端到端流工作的未压缩的消息。
谢谢
浏览 0提问于2017-12-20得票数 2
1回答
我正在寻找关于如何使用GitHub CLI来解决某个脚本问题的建议。假设我使用了gh search prs "SPARK-" --match body命令来获得包含火花短语的主体的所有prs的列表。现在，我想循环遍历这个prs列表，并输出这个pr的url以及它的火花号(在pr的正文中，有一段文字写着“火花”，后面跟着一个唯一的5位数)。对如何处理这件事有什么想法吗？我很难弄清楚如
浏览 5提问于2022-04-19得票数 1
回答已采纳
我已经从：https://archive.apache.org/dist/spark/spark-$2.4.4/spark-$2.4.4-bin-hadoop2.7.tgz构建了一个镜像 下载后，我会这样做： cd spark-2.4.4-bin-hadoop2.7 && bin/docker-image-tool.sh build 然后构建我的镜像spark-py:latest。我想使用这个docker文件在其中安装pyarrow： F
浏览 135提问于2020-11-26得票数 1
回答已采纳
mac os中的minikube无法从docker存储库中提取坞映像。executor-cores 2 --conf spark.kubernetes.authenticate.driver.serviceAccountName=spark local:///[jar].jar
使用相同的码头图像，我可以把码头图像拉到我的本地。只有少数相同图像的标记，我向上或向下移动mkdir命令以更改散列，工作正常。我没有进行逻辑上的更改，但是它在3到4
浏览 12提问于2022-08-07得票数 0
回答已采纳
我能够成功地从构建示例项目现在，我希望将上述作业提交给在dse.yaml中配置的现有池worker_options: memory_total: 32G- name: pool_1
浏览 8提问于2020-05-14得票数 0
回答已采纳
2回答
预提交的设置环境
、、、
如何获取包含环境变量导出的bash脚本？如何使用预提交来运行env.sh来设置下面的pytest钩子可以使用的环境？id: tests entry: pytest -v types: [python
浏览 0提问于2019-06-14得票数 11
在尝试使用预提交挂钩时，我遇到了一些困难，包括Conda环境中的 pip包。米维# This file is to automatically configure your environment.的输出是：
git --version: git version 2.30.2
sys.version='python</em
浏览 36提问于2022-05-09得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
