S3:如何上传大量文件
S3:如何上传大量文件
提问于 2017-02-14 20:30:26
我必须上传100 k小文件(总大小:200 to )。
我尝试过通过web浏览器(AWS控制台)来实现这一点，但是在最初的15分钟里，我只上传了2MB。
将100 k小文件上传到S3的最快方法是什么？
回答 2
Stack Overflow用户
回答已采纳
发布于 2017-02-14 20:33:02
安装AWS CLI工具，然后使用aws s3 cp命令或aws s3 sync命令将所有文件上载到S3。
或者，您可以考虑使用第三方S3客户端，如数码鸭和CloudBerry资源管理器。
Stack Overflow用户
发布于 2018-11-16 11:21:13
我有共计466 my的99,561个小文件，并尝试从我的m4.16xlarge (64 CPU) EC2实例中尽快将这些文件上传到EC2。
aws s3 sync花了10分钟- CyberDuck答应要用17分钟，但还是挂了。45分钟后我就终止了。
- 乍一看，CloudBerry似乎只是windows，所以我没有测试它。
s3-parallel-put --put=stupid花了9分钟s3-parallel-put --put=stupid --processes=64花了1分钟s3-parallel-put --put=stupid --processes=256花了19秒s3-parallel-put --put=stupid --processes=512花了18秒
我将提出一个s3-parallel-put解决方案。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/42235618
复制相关文章
相似问题
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号