AWS数据管道EmrCluster的安全配置字段
AWS数据管道EmrCluster的安全配置字段
提问于 2018-05-15 14:44:56
我通过AWS管理控制台上的常规EMR集群向导创建了一个AWS集群，并且我能够选择一个安全配置，例如，当您导出CLI命令时，它是--security-configuration 'mySecurityConfigurationValue'。
现在我需要通过AWS数据管道创建一个类似的EMR，但是我看不到任何选项可以指定这个安全配置字段。
我看到的唯一类似的字段是EmrManagedSlaveSecurityGroup、EmrManagedMasterSecurityGroup、AdditionalSlaveSecurityGroups、AdditionalMasterSecurityGroups和SubnetId。我已经在管道配置中填写了所有这些，但我只需要指定安全性配置。有什么想法吗？
回答 1
Stack Overflow用户
回答已采纳
发布于 2018-05-17 20:00:29
不幸的是，DataPipeline不支持安全配置特性(以及EMR5.x版本中引入的其他特性，比如使用自定义的AMI)。
解决这一问题的一个办法是：
- 将管道中的
EmrCluster替换为EC2资源 - 使用
ShellCommandActivity在EC2资源上运行aws emr create-clusterCLI命令 - 对 on the cluster使用引导步骤
- 将管道中的所有
runsOn属性替换为workerGroup，以便在步骤2中创建的EMR集群上运行任务 - 在管道末尾添加最后一个
ShellCommandActivity，以便使用CLI终止集群。
现在，由于您正在使用CLI来划分集群，所以您可以访问各种特性，如安全配置、自定义AMI、实例舰队等，您仍然可以使用DataPipeline编排这些任务。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/50353136
复制相关文章
相似问题
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号