2回答
我希望我这样问是对的。我正在学习关于弹性MapReduce的方法，我看到了许多关于“聚合”减速器的引用，它可以与“流”作业流一起使用。
在亚马逊的“亚马逊弹性MapReduce简介”中，它指出“亚马逊弹性MapReduce有一个名为aggregrate的默认减速器”。
我想知道的是：还有其他可用的默认还原器吗？
我知道我可以写我自己的减速机，但我不想写一些已经存在的东西，并且“重新发明轮子”，因为我确信我的轮子不会像原来的那样好。
浏览 3提问于2009-12-22得票数 12
回答已采纳
我想知道，我是否可以使用AutoScaling自动升级或下降亚马逊的Ec2容量，根据cpu的利用率与弹性地图减少。
例如，我只使用一个实例启动mapreduce作业，但是如果该实例达到50%的利用率(例如，我希望使用创建的AutoScaling组来启动一个新实例)。这有可能吗？
你知道这是否可能吗？或者弹性mapreduce，因为它是“弹性的”，如果它需要自动启动更多的实例而没有任何配置？
浏览 3提问于2015-04-24得票数 0
回答已采纳
1回答
我在弹性mapreduce上运行了交互模式的蜂巢：
/弹性-地图推理-创建-蜂巢-互动
在脚本模式下：
./弹性-mapreduce-创建-hive-脚本-arg s3://mybucket/myfile.q
我希望在我自己的服务器上有一个应用程序(最好是PHP、R或Python)能够旋转一个弹性mapreduce集群并运行几个Hive命令，同时以可解析的形式获得它们的输出。
我知道构建一个集群可能需要一些时间，所以我的应用程序可能必须在单独的步骤中这样做，然后等待集群做好准备。但有没有办法做这样的假设：
创建蜂巢表customer_orders
运行蜂巢查询“从customer_or
浏览 6提问于2012-12-21得票数 0
我还没有找到在Amazon弹性mapreduce实例上运行的AMI。您不能指定一个实例，但是可以通过运行一个引导操作来自定义mapreduce实例。不过，我想知道我是怎么开始的。
浏览 0提问于2011-03-30得票数 2
回答已采纳
我需要在php的弹性搜索替代，我不想购买另一个服务器。我正在从事的项目，需要从拥抱数据自动建议。因为这种弹性搜索是恰当的。但我不想购买任何其他服务器。
请向我推荐弹性搜索的替代方案或弹性搜索的任何解决方案。我不想使用简单的ajax调用。
提前谢谢。
浏览 15提问于2016-09-04得票数 0
回答已采纳
我开始在Hadoop KMeans框架上实现MapReduce算法。在这方面，我使用了提供的弹性MapReduce。我想要创建一个HDFS文件，以保存初始集群坐标，并在其上存储还原器的最终结果。我完全糊涂了。是否有创建或“上传”该文件到HDFS格式，以便让所有映射者看到。
在这方面有任何澄清吗？
谢谢。
浏览 0提问于2014-04-30得票数 1
回答已采纳
请描述您的问题
标题：Oozie 任务调度 - 弹性 MapReduce - 产品文档 - 帮助与文档 - 腾讯云
地址：https://cloud.tencent.com/document/product/589/12337
浏览 408提问于2018-02-07
请描述您的问题
标题：通过 API 使用 Hbase - 弹性 MapReduce - 产品文档 - 帮助与文档 - 腾讯云
地址：https://cloud.tencent.com/document/product/589/12310
浏览 368提问于2018-01-19
1回答
我正在Apache中设计一个MapReduce。我得到的数据包括:客户的唯一标识符，他们的邮政代码，购买日期，以及他们购买的产品。
一个示例数据如下所示：
CustId 10001,
PostCode 111111,
DoP 19/11/2000,
ProdP 1
我想分析一下这个查询：
How many products a customer has purchased in the last 12 months?
我已经在Apache : MapReduce中为MapReduce设计了这个设计：。我想检查我使用过的(键，值)对是否正确，以及这个设计是否处理所有的边缘情况。
任何帮助都是非
浏览 1提问于2021-12-11得票数 0
在腾讯云购买的域名，在阿里云购买的网站web弹性空间，阿里云的web弹性空间提供一个测试域名，我需要将购买的实际域名指向测试域名。我将域名的DNS修改成阿里云域名的DNS，显示需要等待72小时，这样做是否能够使网站正常解析？
浏览 210提问于2019-09-19
Windows Azure服务是否包含供客户端使用MapReduce的服务？例如，一个云服务已经安装了一个客户端可以购买使用的MapReduce框架(Daytona)？
浏览 2提问于2012-06-26得票数 2
1回答
请问现在购买的云服务器还能绑定多个弹性公网IP，达到一台服务器多个独立IP挂手游的效果吗？
我看有些人说现在一台电脑最多2个公网IP，绑定弹性IP需要额外购买了？
浏览 166提问于2021-11-17
1回答
我的用例有点复杂，所以我通过使用产品和购买来简化它：
这个应用程序有一个大的数据库，有各种各样的表，其中包括产品和采购(很多到很多: user_id:product_id)。弹性只对产品有一个索引，因为这是唯一需要高级/高规模搜索的实体。
我试图实现的目标如下:当前用户购买产品的次数越多，我就越希望它具有相关性。
棘手的部分是，弹性只有一个指数的产品，而不是购买。我可以在DB中执行一个查询，并获得用户购买产品多少次的信息，并将结果传递给弹性，问题是如何做到这一点。
谢谢。
浏览 4提问于2015-12-03得票数 1
回答已采纳
3回答
将配置表导出到S3存储桶
、、、
我已经通过一个弹性MapReduce交互式会话创建了一个配置单元表，并使用CSV文件填充它，如下所示：
CREATE TABLE csvimport(id BIGINT, time STRING, log STRING)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t';
LOAD DATA LOCAL INPATH '/home/hadoop/file.csv' OVERWRITE INTO TABLE csvimport;
现在，我希望将配置单元表存储在S3存储桶中，以便在终止MapReduce实例后保留该表。
浏览 118提问于2012-02-29得票数 22
回答已采纳
1回答
我需要在.Net中找到与Amazon相关联的资源数量。
我已经搜索了各种用于VPC的describe方法，它们返回不同类型的值，包括Tags等，但是我无法找到相同的值。
下面是我试图找到的与给定的Amazon Id相关联的资源数。
RDS DB实例数
自动缩放组数
EC2实例数
ElastiCache簇数
弹性豆杆应用程序的数量
弹性负载平衡器数目
弹性MapReduce作业数
红移簇数
如果有人对此有任何想法，请帮助我。
谢谢
浏览 0提问于2019-07-17得票数 0
1回答
在Hadoop 1.0.3中，我尝试使用org.apache.hadoop.mapred.lib.IdentityMapper作为-mapper的参数时遇到了问题。" cat“可以工作；使用cat是否会影响性能--特别是在弹性MapReduce上？
浏览 1提问于2014-07-25得票数 2
2回答
我想知道是否有电子病历(弹性MapReduce)的后期处理的例子？我试图实现的是在亚马逊的Hadoop完成工作后立即发送一封电子邮件给一群人。
浏览 1提问于2013-04-04得票数 4
回答已采纳
3回答
我正在运行亚马逊运行弹性MapReduce的示例，并经常遇到以下错误：
启动作业时出错，输出路径已经存在。
下面是运行我正在使用的作业的命令：
C:\ruby\elastic-mapreduce-cli>ruby elastic-mapreduce --create --stream \
--mapper s3://elasticmapreduce/samples/wordcount/wordSplitter.py \
--input s3://elasticmapreduce/samples/wordcount/input \
--outpu
浏览 11提问于2012-07-29得票数 2
回答已采纳
我编写了一个Hadoop程序，它需要在HDFS中进行某种布局，然后，我需要将文件从HDFS中取出。它可以在我的单节点Hadoop设置上工作，我很想让它在弹性MapReduce中的10个节点上工作。
我一直在做这样的事情：
./elastic-mapreduce --create --alive
JOBID="j-XXX" # output from creation
./elastic-mapreduce -j $JOBID --ssh "hadoop fs -cp s3://bucket-id/XXX /XXX"
./elastic-mapreduce -j
浏览 0提问于2011-10-09得票数 3
回答已采纳
3回答
我正在做一些非常简单的数据挖掘(实际上，只是一个单词)作为我的本科生计划的研究项目。
我将使用亚马逊弹性MapReduce。
我需要上传4 4GB的.xml文件。
做这件事最好的方法是什么？
上传小的zip文件，然后在存储桶中以某种方式解压它们？或者拆分文件，上传所有小文件，然后使用所有小文件进行流式MapReduce作业？
浏览 1提问于2011-03-28得票数 3
我开始使用Hadoop，并正在为“购买x的客户也购买y”构建一个MapReduce链，其中y是用x购买的最频繁的产品。我正在寻求关于提高这项任务效率的建议，这意味着将从映射节点转移到还原节点的数据量减少。我的目标与其他“客户购买x”方案略有不同，因为我只是想为给定的产品存储最常用的产品，而不是按频率排列的用给定产品购买的产品列表。
我正在跟随来指导我的方法。
正如我所理解的，如果Hadoop中最大的性能限制因素之一是将数据从映射节点移动到还原节点，那么，对于MapReduce链的每个阶段，我希望将洗牌数据量保持在最低限度。
假设我的初始数据集是一个SQL表purchases_products，
浏览 2提问于2012-03-19得票数 4
回答已采纳
2回答
我希望每小时将所有dynamodb表数据转储到s3文件中。调度弹性mapreduce作业流的最佳方式是什么？我可以使用Amazon Simple workflow服务来实现吗？
浏览 0提问于2012-10-31得票数 3
2回答
我使用亚马逊弹性MapReduce (Amazon )创建了一个工作流程，但由于一些未知的原因，它失败了。然后，我试图通过AWS管理控制台终止作业流，但是“终止”按钮被禁用。然后，我尝试使用CLI终止作业流，它显示了作业流被终止，但是当通过CLI和管理控制台中的弹性MapReduce选项卡看到它时，它仍然显示为在作业流列表中失败。
请让我知道如何从列表中删除职务流。
当我尝试调试作业流时，它显示了两个错误：
调试功能对此作业流不可用，因为创建它时没有指定亚马逊S3日志路径。作业流失败，原因是:无效的桶名“testBucket”：桶名必须只包含小写字母、数字、句点(.)和破折号(-)。
浏览 4提问于2012-04-14得票数 3
回答已采纳
我正在使用弹性MapReduce集群。我试图连接web接口，如作业跟踪器，任务跟踪器，通过链接我使用putty，但是，我不能连接到主-公共-dns:9100通过获取超时错误。
如何连接到这些接口？
浏览 0提问于2016-05-02得票数 2
回答已采纳
1回答
我在mongodb有一个叫做users的集合。看起来是这样的：
db.users.find() =>
{
{
_id: 1,
products: [1, 2, 3, 4, 5]
},
{
_id: 2,
products: [4, 5, 6, 7, 8]
},
{
_id: 3,
products: [10, 11, 12]
}
}
产品数组包含用户购买的产品的ids。我想为每个用户做一些查询/mapreduce/一些东西来获得“推荐的
浏览 3提问于2014-04-30得票数 1
回答已采纳
我有以下错误：
Error: undefined method `each' for "s3n://dico-count-words/Cache/dicoClazz.p#dicoClazzCache.p":String
当我运行以下命令行通过弹性- mapreduce在Amazon集群上启动mapreduce算法时，指定一个分布式缓存文件：
./elastic-mapreduce --create --stream \
> --input s3n://dico-count-words/Words \
> --output s3n://dico-cou
浏览 2提问于2014-11-11得票数 4
我想处理亚马逊CloudFront使用亚马逊弹性MapReduce创建的访问日志。
我只需要一些关于不同文件从cloudfront加载了多少次的简单统计数据，所以我想我应该为此编写一个简单的PIG脚本。
我遇到的第一个问题是cloudfront写的日志是压缩的，据我所知，我不能在pig中读取.gz？
我该怎么做，有什么建议吗？我是elastic mapreduce的新手，所以欢迎任何关于如何构建这类工作的提示。
浏览 0提问于2010-11-01得票数 0
回答已采纳
1回答
我从Amazon 53购买了一个名为derbyware.com的域名，直到现在，我还用它来托管一个托管在AWS S3上的静态网站。现在，我已经将Java 7应用程序部署在J弹性上。我需要使域derbyware.com指向我的Java应用程序的J弹性‘丑陋’"“URL。我已经为自定义域名阅读了J弹性文档，并且我学习了如何将J弹性绑定到derbyware.com，但我不知道如何使用路由53重定向到J弹性URL。你能帮我把53号公路重定向到新的URL (指令1)吗？
弹性说明: 1.登录到您的域名注册员，并为初步购买的外部域添加规范名称( CNAME )，以便它指向您的www.myexter
浏览 14提问于2017-04-06得票数 1
回答已采纳
我正在使用Kafka Mirrormaker来模拟到运行Spark的弹性MapReduce集群的生产流量。下面是我的设置：
1)一个Kafka Mirrormaker实例消耗生产Kafka实例并填充测试Kafka实例
2) Kafka Mirrormaker的第二个实例使用1)中创建的测试Kafka实例，并发布到新的Kafka集群
3)弹性MapReduce集群消费3)中的Kafka集群。
问题是我在日志文件中看到了kafka.common.OffsetOutOfRangeException错误。我想知道如何防止这种情况发生。
这是我在运行EMR作业时使用的过程：
1)杀死我正在运行的Mirr
浏览 0提问于2018-12-28得票数 0
4回答
我刚接触过Amazon服务，我试图在亚马逊弹性地图上运行作业流，使用命令行接口工具减少作业。
我遵循了指南的步骤，这个aws.But开发人员指南对我来说还不清楚。
如果我执行命令./弹性-mapreduce- list 来列出作业流。显示以下错误。
/home/pdurai/Applications/elastic-mapreduce-cli/amazon/coral/httpdestinationhandler.rb:23: warning: else without rescue is useless
/usr/local/rbenv/versions/1.9.3-p194/lib/rub
浏览 7提问于2013-07-21得票数 4
回答已采纳
1回答
对于AWS来说是新的，只是购买了一个备用实例，但是它只附带了8GB的存储空间。在购买期间，没有选择购买存储或AWS所谓的EBS。是否有人会分享您的经验，如何添加存储到保留实例？我在弹性街区商店下找不到任何购买选择。
提前感谢LHLK
浏览 1提问于2021-11-28得票数 0
回答已采纳
1回答
假设我在Amazon弹性mapreduce上启动了一个集群，并有一个主节点实例、两个核心节点实例和15个任务节点实例。
我想我使用mapreduce作业和增量上传将大约1TB的数据上传到hbase。
现在-
如何找到表的大小和区域分割(字节)。通常，在CDH上，我会执行hadoop -du /hbase。但是我的主节点上没有/hbase目录。
我也很想知道区域服务器分配将如何工作。因此，即使我有100个区域-如果我有一个主节点-这意味着整个IO将被节流，对吗？
谢谢问候
浏览 1提问于2013-10-03得票数 1
2回答
为大型数据集生成ngram频率
、、、、
我想为大型数据集生成ngram频率。维基百科，或者更确切地说，Freebase的WEX适合我的目的。
在接下来的一天左右，什么是最好的、最具成本效益的方法？
我的想法是：
PostgreSQL使用regex来分割句子和单词。我已经有了PostgreSQL中的WEX转储，并且我已经有regex来进行拆分(这里不需要主要的准确性)。
带Hadoop的MapReduce
MapReduce与亚马逊的弹性MapReduce，我几乎不知道
我在Hadoop方面的经验包括在三个EC2实例上计算Pi，效率非常低。我对Java很在行，我理解Map + Reduce的概念。我担心Postgr
浏览 7提问于2012-12-06得票数 1
回答已采纳
说，一个弹性MapReduce步骤可以将多个作业提交给Hadoop。然而，建议，一个步骤只能容纳Hadoop-Streing.jar的一个执行(也就是说，HadoopJarStep是一个HadoopJarStepConfig而不是一个HadoopJarStepConfigs数组)。
在一个步骤中向Hadoop提交几个作业的正确语法是什么？
浏览 2提问于2014-06-14得票数 14
回答已采纳
1回答
我们即将购买新的硬件来运行我们的分析，并想知道我们是否做出了正确的决定。
设置：
我们是一个生物信息学实验室，将处理DNA测序数据。我们这个领域最大的问题是数据量，而不是计算量。一个单一的实验很快就会进入到10S-100秒的Gb中，我们通常会同时运行不同的实验。显然，mapreduce方法很有趣(也请参阅)，但并不是所有的软件都使用这种模式。另外，一些软件使用ascii文件作为输入/输出，而其他软件则使用二进制文件。
我们可能要买的东西：
我们可能购买的机器是一台32核和192 to的服务器，连接到NAS存储器(>20 to)。对于我们的许多(非mapreduce)应用程序来说，这似乎是
浏览 10提问于2011-02-18得票数 3
1回答
我已经创建了一个弹性MapReduce作业，并且我正在尝试优化它的性能。
目前，我正在尝试增加每个实例的映射器数量。我正在通过mapred.tasktracker.map.tasks.maximum=X完成此操作
elastic-mapreduce --create --alive --num-instance 3 \
--bootstrap-action s3://elasticmapreduce/bootstrap-actions/configure-hadoop \
--args -s,mapred.tasktracker.map.tasks.maximum=5
每次我尝试为每个小实
浏览 1提问于2011-09-27得票数 0
1回答
我试图在亚马逊弹性MapReduce上使用hadoop，在那里我要执行数千个地图任务。如果有一小部分任务失败了，我很好，但是，Amazon关闭了任务，当第一个映射器失败时，我会失去所有的结果。是否有可用于增加允许的失败作业数量的设置？谢谢。
浏览 4提问于2013-10-07得票数 1
回答已采纳
我看到AWS弹性MapReduce和AWS都使用集群结构，并且可以用于数据分析。它们的不同用例是什么？
支持与多种应用程序的客户端连接，包括商业智能(BI)、报告、数据和分析工具。
(Amazon )是一个托管集群平台，它简化了在AWS上运行大数据框架(如Apache和Apache )来处理和分析大量数据的过程。
浏览 1提问于2016-06-04得票数 15
回答已采纳
是否可以使用.NET语言为Amazon Elastic MapReduce ()编写map/reduce作业？特别是，我想使用C#。
初步研究表明并非如此。上述网址的营销文本建议您可以“选择Java、Ruby、Perl、Python、PHP或C++"，而无需提及.NET语言。这个亚马逊线程( --“支持C# / F#映射/缩减”)明确表示“目前Amazon Elastic MapReduce不支持单声道平台或C#或F#等语言”。
上面的情况表明这是不可能的。不过，我想知道是否有任何变通方法。例如，我可以修改我的账户的弹性MapReduce机器镜像，并在上面安装Mono吗？
亚马逊常见问
浏览 4提问于2009-07-27得票数 13
回答已采纳
我们决定在产品中加入搜索引擎。并对ElasticSearch和Solr进行了比较。当我们开始和弹性2.3.3一起工作的时候。我们面临着索引速度慢的问题。我们使用Logstash提供弹性数据，用4000000条记录对表进行索引需要8小时以上。表的物理大小接近40 is。我们使用HDD...Yes，真遗憾。但在同一台电脑上，我们测试了Solr，同样的操作需要3小时。也许我们在弹性结构上犯了错误？弹性的矩指数尺寸比表尺寸大两倍以上，而solr指数仅为DB尺寸的8%。当我们使用logstash输出文件中的数据时，它非常快。
在这里，我们对logstash的jdbc模块进行了配置以获得弹性：
input
浏览 0提问于2016-08-04得票数 2
回答已采纳
假设我需要使用10个实例处理20 Gb的输入。有10个2 5Gb的输入文件和4个5 5Gb的输入文件有区别吗？在后一种情况下，亚马逊弹性MapReduce是否可以在10个实例中自动分配4个输入文件的负载？(我使用流方法，因为我的映射器是用ruby编写的)
浏览 0提问于2011-07-07得票数 0
1回答
我对所有的SSL证书交易有点困惑。有人能向我澄清几件事吗？
我有一个域名注册在Godaddy和ec2实例上运行在具有弹性IP的AWS上。使用指向ec2实例的记录。
我是否只需要为我的域名购买一个SSL证书？还是只适用于弹性IP？还是我两者都需要？
浏览 0提问于2015-03-04得票数 2
1回答
如何将根域指向弹性豆柄？
、、、
我正在尝试使用我刚刚在53号公路中购买的域来指向运行在ElasticBean秸秆exy.elasticbeanstalk.com中的应用程序
如果我购买的域名是example.com，我希望流量指向我的应用程序在弹性豆茎，我如何实现这一点？
所以去example.com启动exy.elasticbeanstalk.com
浏览 2提问于2020-01-18得票数 1
回答已采纳
1回答
我使用弹性IP在EC2中托管一个SIP服务器。但是，我看到如果服务器不是面向公共的(使用NAT)，SIP服务器就不能正常工作，因为从我在AWS站点上读取的数据来看，弹性IP使用的是1:1 NAT。
使用1:1 NAT将弹性IP地址映射到实例。实例本身不知道公共地址。
是否有任何面向非NAT的静态IP地址，我可以从亚马逊购买并分配给我的服务器？或者，这个行动实际上是无用的？
谢谢!
浏览 5提问于2016-07-20得票数 1
回答已采纳
1回答
我对亚马逊弹性MapReduce完全是个新手。我需要使用我的自定义调度器来调度Amazon Elastic MapReduce中的作业，该调度器是基于Hadoop容量调度器实现的。
根据我目前的理解，要实现这一点，我只能在作业流中定义一个阶段，并通过SSH连接将我的自定义jar文件提交到主节点。但是，我找不到如何编辑xml配置文件，如主节点中的capacity-scheduler.xml。有人知道怎么做吗？
此外，如果我想在其上添加动态大小调整属性，当作业当前正在运行时，我是否可以动态调整集群中的任务节点数量？或者在每个阶段，集群的大小应该保持不变？非常感谢。
浏览 2提问于2014-08-28得票数 0
我正在使用AWS弹性MapReduce，我希望能够设置日志记录级别。例如，我希望log.isDebugEnabled()返回true。在谷歌上搜索一下，我找到了这篇博客文章：
这基本上建议编写一个shell脚本来复制和覆盖本地log4j.properties文件。这似乎是一个复杂的方法。我更喜欢一种更简单的方式来设置调试级别。有办法吗？
浏览 2提问于2013-10-09得票数 2
1. 自动容灾功能是否需要单独购买？ 还是只要购买memcached就天然具备姿容灾了
2. 这里提到的容灾是跨数据中心的还是仅指memcached服务进程死掉后重启一个进程来接管？
标题：自动容灾原理步骤 - 弹性缓存Memcached - 产品文档 - 帮助与文档 - 腾讯云
地址：https://cloud.tencent.com/document/product/241/7496
浏览 593提问于2018-01-30
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议活动推荐
腾讯云开发者
