谷歌的文档中说，--initialization-actions采用了GCS的列表。如果我指定了一个： --initialization-actions 'gs://my-project/myscript.sh' 这可以很好地工作。/my-project/myscript.sh', 'gs://my-project/myscript2.sh']' URI must begin with 'gs
浏览 33提问于2021-01-23得票数 1
回答已采纳
我想在使用一个简单的shell脚本创建一个dataproc集群后，将jars添加到该集群的特定位置。一旦创建了dataproc集群，下一步就是执行bash脚本，该脚本将把jar添加到data proc集群中。 您能建议使用哪个airflow操作符在dataproc集群上执行bash脚本
浏览 21提问于2019-05-08得票数 2
我已经创建了Google集群，但是需要安装presto，因为我现在有一个要求。Presto作为Dataproc 上的初始化操作提供，如何在创建集群后运行此初始化操作。
浏览 4提问于2017-10-20得票数 0
回答已采纳
不清楚是否接受多个args。Docstring错误/不标准。-初始化-行动a、b、c
当它失败时，如何在几秒钟内而不是几分钟内调试.即脚本不完整创建步骤？
浏览 0提问于2018-02-21得票数 2
回答已采纳
有谁知道如何在dataproc上安装动物园管理员的最新版本作为动物园管理员仲裁模式。而集群创建。On latest dataproc version 2.0 (Debian 10, Hadoop 3.2, Spark 3.1)
在dataproc 上安装动物园管理员有两种方法，一种是使用初始化操作脚本，另一种方法是选择作为可选组件的动物园管理员，而集群</
浏览 6提问于2021-12-10得票数 2
一旦设置好集群，我就会尝试在Dataproc集群中运行shell脚本。我卡住了，或者不确定要传递给操作员的参数是什么，以便在集群启动并运行后触发.sh文件。创建集群的Airflow示例代码： create_cluster = DataprocClusterCreateOperator(
task_id='create_dataproc_clusterstorage
浏览 31提问于2019-02-01得票数 2
我试图在运行Presto的集群上提交一个带有postgresql连接器的dataproc作业。集群被初始化如下： --project=${PROJECT} \ --scopes=cloud-platform \$
浏览 0提问于2019-08-27得票数 3
回答已采纳
dataproc.create操作。我可以看到正在创建集群，但是当我将ssh放入主计算机(在us-central1 1-f中的“cat-m”)时，我没有看到我指定的脚本被复制或运行的任何证据。(编辑:我在/etc/google-dataproc/startup-scripts/dataproc-initialization-script-0).中找到了
浏览 2提问于2016-12-22得票数 4
回答已采纳
我正在尝试使用Dataproc of Airflow从一个Cloud Composer DAG创建一个DataprocCreateClusterOperator集群。我需要从我的Cloud SQL集群访问Dataproc，因此也需要在集群上安装Cloud SQL proxy。我在集群配置中为Cloud SQL Proxy操作符提供了的初始化操作，如下所示：
"initia
浏览 1提问于2022-07-09得票数 2
我在1个集群上使用1个作业的Dataproc。 我希望在创建群集后立即开始我的作业。我发现实现这一点的最佳方法是使用如下所示的初始化脚本提交作业。gcloud dataproc jobs submit pyspark ...export -f submit_job
echo "checkinggcloud dataproc
浏览 54提问于2021-09-03得票数 3
回答已采纳
在过去几周中，我使用以下gcloud命令成功地创建了dataproc集群：
gcloud dataproc -区域us-east1 1集群创建test1 -子网默认值-zone us-east1 1--标准-4-主引导磁盘大小为250 -num-工人10 -工-机器类型n1-标准-4-工-引导-磁盘-大小200 -num-工人-ssds 1-图像-版本1.2 -范围'‘-项目MyProject -初始化-操作://MyB
浏览 2提问于2018-01-19得票数 2
回答已采纳
我有一个问题，当我创建一个DataProc自定义图像和Pyspark。我的自定义镜像基于DataProc 1.4.1-debian9，并使用我的初始化脚本从一个requirements.txt文件安装python3和一些包，然后设置python3环境变量以强制pyspark但是，当我在使用此镜像创建的集群上提交作业时(为简单起见，使用单节点标志)，该作业找不到已安装的包。如果我登录集群</e
浏览 23提问于2019-07-12得票数 7
回答已采纳
我只是在Google平台上安装了一个集群来运行一些火花缭乱的作业。最初，我使用ipython.sh (来自github存储库)作为集群的初始化脚本。经过一些搜索之后，我认为这与Python中没有包含的pyspark安装路径有关，所以我删除了我的集群，并希望创建一个新的集群，使用jupyter.sh作为初始化脚本
浏览 2提问于2016-09-19得票数 1
我有一个字符串的python列表。我用下面的代码用一个列创建了一个dataframe：其中，temp是字符串的列表。当我试图在skills_df上做任何像skills_df.count()这样的操作时，它会给我一个错误。这种情况发生在数据处理上。但是，不是通过导入csv文件(即csv_df = spark.read.csv('/user/turing/Pro
浏览 1提问于2018-04-26得票数 0
回答已采纳
我需要运行一个同时安装了Dataproc和cluster连接器的BigQuery集群。我可以通过简单地在每个节点上重新启动dataproc代理来修复这个问题，但是我确实需要这样做才能在集群创建后立即运行作业。& disown
如何知道初始化操作已经完成？我是否已经/如何正确地重新启动Dataproc代理(我新创建的</e
浏览 2提问于2018-09-04得票数 0
回答已采纳
是否有一种暂停Dataproc集群的方法，这样当我没有主动运行星际争霸或火花提交作业时，就不会收到账单了吗？此链接上的群集管理说明：
只显示如何销毁一个集群，但我已经安装了火花卡桑德拉连接器API，例如。除了创建每次需要安装的映像之外，我唯一的选择是吗？
浏览 6提问于2016-01-01得票数 8
回答已采纳
2回答
当试图从使用启动的Spark集群中读取快速压缩序列文件时，我收到以下警告：
java.lang.RuntimeException: native snappy library not available在这种情况下启用Snappy编解码器支持的最佳方法是什么？
浏览 3提问于2015-09-28得票数 4
回答已采纳
1回答
我是#GCP的新手，我的问题可能看起来微不足道(很抱歉)。我已经使用Dask开发了我的python代码的分布式版本。现在，我将在#Google_Cloud上检查代码的可伸缩性和性能。为此，我将使用"dataproc“来创建一个集群。但我的问题是，我不知道如何在集群上运行我的python-dask脚本。据我所知，我应该在dataproc上
浏览 10提问于2019-02-09得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
