1回答
我想以类似于multipart uploader的方式将我的输入流和gzipped部分上传到s3。但是，我希望将各个文件部分存储在S3中，而不是将这些部分转换为单个文件。 为此，我创建了以下方法。gzipoutputstream：gzip = new GZIPOutputStream(baos);，并在重置字节数组输出流baos.reset();之后设置gzip.finish()，那么我就能够解压缩每个部分
浏览 18提问于2019-01-31得票数 0
回答已采纳
有没有办法把一个Gzipped文件从亚马逊S3加载到Pentaho Data Integration (Spoon)？有一个“文本文件输入”，它有一个支持Gzip的压缩属性，但是这个模块不能作为源连接到S3。
有一个“Gzipped输入”模块，但是没有压缩属性，所以它不能将S3压缩的内容解压缩成表格形式。此外，也无法将数据从S3保存到本地文件。下载的内容只能“跳转”到另一个步骤，但没有一个步骤可以读
浏览 6提问于2011-06-08得票数 3
1回答
我在S3存储桶里放了一堆CSV压缩文件，我想把它们导入到BigQuery中。从文档中看，BQ可以从不同的来源导入gzipped数据。然而，当我配置数据传输作业时，它只允许CSV、JSON、AVRO、PARQUET、ORC文件格式。将传输作业配置为CSV文件格式并运行后，它会记录以下内容：
Moving data from Amazon S3 to Google Cloud complete: Moved 64 obj
浏览 2提问于2019-06-20得票数 1
我有一个在Heroku上运行的rails 6应用程序，用于捕获视频并上传它们。典型的用例是用户制作视频，然后上传。为此，我成功地使用了直接上传到亚马逊S3的active storage。但是，用户可能在慢速移动链接上，因此希望稍后在宽带链接上上传视频。.如果在附加文件之后但在提交表单之前检查lesson.video，则它似乎具有一个数据结构，其中包含存储视频的本地文件的地址。我可以以某种方式将信息保存在lesson.video中，然后稍后将文件上传到亚马
浏览 0提问于2020-02-25得票数 2
2回答
当我试图从S3打开一个大文件时，我得到了内存错误。import dask.dataframe as ddexception: MemoryError
如何直接从S3</e
浏览 6提问于2017-04-11得票数 2
我在一个s3桶中有压缩文件，我需要解压缩它们，并将解压缩的文件夹复制到另一个s3桶，并保持源路径。例如，如果在源桶中，压缩文件在下面那么在目标桶中，它应该是"s3://destbucketname/foo/ba
浏览 0提问于2019-02-27得票数 1
我们从sql server获取二进制blob (PDF，JPG)，并使用AWSSDK.S3 (.net) v3.7.2.2将对象添加到亚马逊S3。目前，该过程正在按顺序(逐个)将二进制对象添加到亚马逊S3。 有没有办法/api在一次请求中添加多个对象到亚马逊S3，因为这可以提高性能。在添加二进制对象时，我们必须传递元数据(二进制对象属性，如宽度、高度、扩展名等)。也是。
浏览 48提问于2021-09-29得票数 1
2回答
我将HTML存储在一个S3桶上，作为一个静态站点，该站点以gzipped格式存储。虽然我可以正确访问我的S3站点，浏览器知道要解压缩它，但我不能使用AWS下载它，因为下载的原始数据仍然是gets (而不是在下载后解压缩)，即使在复制到磁盘之后也是如此，因此在通过文本编辑器或浏览器打开时也会出现乱码我试图显式地传递内容编码，以将S3上的gets内容转换为纯文本，但是下载的文件似乎仍然具有gets字节，
浏览 6提问于2020-01-07得票数 1
回答已采纳
1回答
目前我正在做一个项目，我正在上传一系列的JSON文件到亚马逊S3，以供移动客户端接收。为了降低单个文件传输的成本，我想知道是否可以在文件在S3服务器上时将其解压缩，而不是在EC2服务器上解压文件后再进行传输。
任何帮助都将不胜感激。
浏览 0提问于2012-08-27得票数 0
回答已采纳
1回答
我有一个关于在传入流部分更改流名称的问题。
我希望用户每次流时都有一个唯一的流名称，这样当我将它们保存到我的AWS存储桶中时，旧的流不会被新的覆盖。例如:将传入的streams -> stream.mp4 stream.mp4复制到S3存储桶中。当我再次流式传输并转到wowza中的传入流部分时，我看到了stream.mp4，它将被保存到wowza存储桶中，随后删除之前的文件。有没有一种方法可以在每次流传输时控制流名称，或者在复制
浏览 0提问于2016-11-14得票数 0
3回答
我正在尝试找到一种在S3中动态解压.gz文件的方法，那就是不需要把它下载到本地，解压然后再推送回S3。
使用boto3 + lambda，我如何实现我的目标？我在boto3文档中没有看到任何提取部分。
浏览 0提问于2018-07-11得票数 21
回答已采纳
我正在尝试为我的计时工作创建一个无服务器处理器，在这项工作中，我从我的一个客户的S3存储桶中收到一个压缩文件，文件的大小约为50MB，但一旦解压缩它，它就会变成1.5GB大小，并且AWS Lambda上的可用空间有一个硬限制，即500MB，由于此原因，我无法从S3存储桶下载此文件并将其解压缩到我的Lambda上，我能够成功地解压缩我的文件，并使用unix脚本中的funzip逐行流式传输来自S
浏览 3提问于2017-09-05得票数 9
1回答
在PHP中解压缩LZO流
、、、、
我在Amazon上有许多LZO压缩的日志文件，我想从S3中读取这些文件。AWS为高效读取这些文件提供了一个很好的，但是由于文件是压缩的，我需要在处理这些文件之前对其进行解压缩。我已经安装了允许我执行的lzo_decompress($data)，但是由于我处理的是流而不是完整的文件内容，所以我假设需要一次使用一个LZO压缩块的字符串。换句话说，我想做的事情是：
$s3 = S3Client::fact
浏览 5提问于2013-12-13得票数 4
回答已采纳
1回答
将语音分块上传到S3
、、、
我已经成功地使用webrtc从浏览器捕获语音，对客户端进行MP3编码，并通过websocket传输到heroku上的Ruby/Faye/Puma。这很好，因为在进行长时间录制后没有上传步骤。现在我想流式传输到S3，因为录制正在进行中。您不能附加到S3文件，但有很多建议，您可以发送5MB的块，一个接一个，在一个多部分上传。
我无法理解Aws sdk-ruby V2的文档或源代码。它似乎想要一个完整的
浏览 2提问于2015-10-02得票数 0
3回答
我的客户有一个存储大量文件的服务，比如视频或声音文件。该服务运行良好，但是看起来长时间文件存储是一个相当大的挑战，我们希望使用AWS来存储这些文件。问题是，客户端希望使用AWS动态系统将每个文件从我们的服务器传输到AWS。这个是可能的吗？我们能用那个服务传送文件吗？有很多视频文件，我们每天都有越来越多的视频文件。而且每个文件都比较大。我们还想保存一些文件的细节，可能在dynamoDB中，我们可以使用
浏览 6提问于2017-03-31得票数 3
回答已采纳
2回答
我有一个很大的zip文件，其中包含了很多文件，为了避免占用太多内存，我想按块解压缩。编辑
@steven正确地指出，zipfile通过逐个解压缩文件来正确地处理大文件，而不加载完整的归档文件。这里的问题是，我的zip文件位于AWS <em
浏览 5提问于2017-02-23得票数 4
1回答
如何在tmp文件夹中gzip文件
、、、、
使用AWS函数，我下载了一个S3压缩文件并将其解压缩。 zip_ref.extractall('/tmp/', members=lstNEW)
解压缩后，
浏览 3提问于2021-10-19得票数 0
1回答
我正在使用dask ( s3查询的替代品)从SQL读取一些gzipped数据。但是，它看起来像是在系统内存中的某个位置缓存了数据文件或解压缩后的文件。注意这应该是可运行的，这里的测试数据来自公共s3存储桶中的pandas测试套件。您可以看到，如果您在另一个较小的文件上重新运行，则会释放内存-取消对较小文件上的重新运行的注释以查看它。这也表明增加是由于文件大小-您可以切换顺序，并运行'tip
浏览 4提问于2018-02-24得票数 15
回答已采纳
4回答
这台服务器是作为NextCloud个人云盘的，但1Mbps的速度自然不能满足要求，流量计费又太贵，所以我想到WordPress能把媒体文件放到COS上加速和省钱，NextCloud能不能在下载时直接通过如果直接挂载COS的话，似乎在下载文件时，NextCloud会先把文件转运到服务器上，再下载，不能加速。再不济我就只能用本地服务器了。
浏览 1835提问于2020-03-14
4回答
我正在研究一种简单的方法，可以将s3桶中的zip/gzip提取到相同的桶位置，并删除父zip/gzip文件的后提取。我看到有一个用于node.js(解压缩到S3)的API来完成这项工作，但是没有一个用于python。我可以想到几个实现：
使用s3作为<
浏览 1提问于2016-06-26得票数 1
回答已采纳
云服务器
ICP备案
对象存储
实时音视频
云直播
腾讯云开发者
