问如何使用AWS将远程文件传输到我的S3桶？

EN

没有从远程位置将文件上载到S3的直接方法。即URL

因此，要实现这一点，您有两个选择：

1. 在本地机器上下载该文件，然后通过AWS控制台或AWS 上传该文件。
2. 下载AWS EC2实例中的文件，并通过AWS 上传到S3。

第一种方法非常简单，不需要太多的解释。

但是对于第二种方法，您需要这样做：

1. 创建一个EC2实例位于与S3桶相同的区域。或者，如果您已经有一个实例，那么登录/ssh到它。
2. 下载文件从源到EC2实例。通过wget或curl，无论哪个舒服。
3. 安装AWS CLI在EC2实例上。
4. 创建IAM用户和给他许可为您的S3桶。
5. 配置AWS CLI带着你的证件。
6. 用S3将文件上传到S3 CP实用程序桶中。
7. 如果只为此设置实例，则终止实例，。

使用shell脚本可以轻松地完成此操作。如果您在files.txt中有一个URL列表，那么按照这里：描述的那样做

#!/bin/bash 
input="files.txt" 
while IFS= read -r line do   
  name=$(basename "$line")   
  echo $name   
  wget $line   
  aws s3 mv $name <YOUR_S3_URI> 
done < "$input"

或者是一份文件：

wget <FILE_URL> | aws s3 mv <FILE_NAME> <YOUR_S3_URI>