问将大型数据集放到amazon elastic map reduce上

EN

我推荐以下几点：

1. 启动电子病历集群

通过elastic-mapreduce --create --alive --other-options-here

• log连接到主节点并从那里下载数据

将http://blah/data

• copy wget到HDFS

hadoop fs -copyFromLocal data /data

没有真正的理由将原始数据集放在S3中。如果您想保留结果，可以在关闭集群之前将它们移动到S3中。

如果数据集由多个文件表示，则可以使用集群跨机器并行下载它。如果是这种情况，请让我知道，我将向您介绍它。

垫子

如果你刚刚开始并尝试电子病历，我猜你想要这些在s3上，这样你就不需要启动一个交互式的Hadoop会话(而是通过亚马逊网络服务控制台使用电子病历向导)。

最好的方法是在与S3存储桶相同的区域中启动一个微型实例，使用wget下载到该计算机，然后使用类似s3cmd的命令(您可能需要将其安装在实例上)。在Ubuntu上：

wget http://example.com/mydataset dataset
sudo apt-get install s3cmd 
s3cmd --configure
s3cmd put dataset s3://mybucket/

您希望您的实例和s3存储桶在同一地域的原因是为了避免额外的数据传输费用。尽管wget实例的绑定带宽是收费的，但S3的xfer将是免费的。

我不确定，但在我看来，hadoop应该能够直接从您的源文件下载文件。

只需输入http://blah/data作为输入，剩下的工作就应该由hadoop完成了。它当然可以和s3一起工作，为什么不能和http一起工作呢？