如何从s3中的tar文件中读取选定的几个文件而不必下载tar文件？
从S3中的tar文件中读取选定的几个文件而不必下载tar文件，可以通过以下步骤实现：
- 首先，需要使用AWS SDK或API连接到S3存储桶，并验证您的身份凭证。
- 使用S3的ListObjects API来获取tar文件中的文件列表。您可以指定tar文件的路径或前缀来筛选文件列表。
- 遍历文件列表，找到您需要读取的文件。注意，这里只是获取文件的元数据，而不是实际下载文件。
- 对于每个选定的文件，使用S3的GetObject API来获取文件内容。您可以指定文件的路径和文件名来获取特定文件。
- 通过逐块读取文件内容，您可以按需处理文件数据，而无需下载整个tar文件。
需要注意的是，S3是对象存储服务，不支持直接读取tar文件中的特定文件。因此，您需要通过以上步骤来模拟实现这一功能。
推荐的腾讯云相关产品是对象存储（COS），它提供了类似S3的功能。您可以使用腾讯云COS SDK或API来实现上述步骤。以下是腾讯云COS的产品介绍链接地址：https://cloud.tencent.com/product/cos
相关·内容
您不想下载tar文件。只需下载tar文件中的一些文件即可。
s3是否提供了任何API来实现这一点，或者Apache Commons压缩是我最好的选择？
浏览 4提问于2017-07-27得票数 0
我备份一个nextcloud实例，对其进行压缩和加密，然后将其存储在S3存储桶中。当我进入存储桶时，我有一个名为backup.tar.gz的文件。太棒了。现在我从存储桶中下载该文件，并获得一个.tar文件，这显然使我的备份完全无用。我不能解密它。如果我手动保存扩展名为.gz的文件，它仍然不会解密，但会显示tar: Error opening ar
浏览 40提问于2020-04-02得票数 0
回答已采纳
1回答
当我从AWS S3下载一个S3文件，然后尝试解压缩它时，我会得到以下错误：tar: Error is not recoverable: exiting now
当我检查它是哪种类型的文件</em
浏览 5提问于2021-01-21得票数 1
回答已采纳
2回答
最近我遇到了一个命令：curl本身并不下载tgz文件，因为它不是wget。tar -xzvf也不下载任何文件。但是tar -xzvf -会“下载”文件。我没有在-手册中找到任何tar解释，我也不认为它与登录she
浏览 0提问于2019-12-22得票数 -1
回答已采纳
1回答
我在s3中有一个很大的tar文件(10 GB)。它包含许多tar.gz文件。我可以遍历大文件的内容，如下所示 input = s3_client.get_object(Bucket=bucket, Key，我似乎无法从内部的tar.gz文件中
浏览 37提问于2021-07-08得票数 0
1回答
我在S3上有一个很大的.tar.gz文件，我想把它移动到EMR HDFS (或临时S3存储桶)并解压缩，这样我就可以读取里面的一些小文件了。我现在正在做的是有一个外壳脚本将文件从S3下载到本地(使用AWS CLI)，并让scala/spark作业在未压缩的下载文件上运行以生成一些结果。我想要做的是在一
浏览 1提问于2018-02-21得票数 1
1回答
我的应用程序正在尝试使用S3 java从S3读取2MB块的文件。它是一个多线程应用程序，可以下载不同的块。我正在运行这个应用程序的m5.xlarge实例(4个核心，16千兆内存)。我使用块下载获得的最大下载带宽是30 MBps，而如果在公开后在同一个文件上使用wget，则可以获得高达100 MBps的速度。我查
浏览 0提问于2018-09-19得票数 1
为了详细说明，因此，我想要做的是将提取的example.tar.gz内容下载到/var/home/。一种方法是简单地下载tar.gz，解压缩它，然后删除tar.gz。
但是，我不想使用下载tar.gz文件</em
浏览 4提问于2017-09-15得票数 12
通过SHA从github下载项目tarball时，如何预测下载文件名？例如，当我下载时：
nette-nette-v2.0.0-279-ge9719f0.tar.gz{.tar.gz}-{repo}-{最直接的前置标记}-{ SHA和tag之间的提交次数}-g{SHA}repo
我想要预测文件名，
浏览 0提问于2012-07-21得票数 1
1回答
假设我在s3上有一个文件夹：里面有几个文件夹。我希望现在：其中folder1的内容是tar.gz。然而，据我所能找到的，唯一的方法是：
folder1Reupload 要么将folder1下载到本地目录，要么将cp/mv
浏览 3提问于2022-06-24得票数 1
1回答
我有一个应用程序，它有数千个文件，总计超过10 an。压缩正在备份的数据例如，作为一个gzipped tarfile。将所有这些文件夹和文件作为一个压缩文件流到AWS S3上？
将压缩文件从S3流回我
浏览 0提问于2022-11-30得票数 0
回答已采纳
3回答
当我在master.zip上下载项目的GitHub时，我会得到一个.zip文件，其中包含一个名为something的文件夹，其中包含了所有的源代码。是否有可能以没有子文件夹的方式下载master.zip，使整个源代码位于zip的“根”中？
浏览 7提问于2014-04-29得票数 2
回答已采纳
我想从.tar.gz下载一部分大型(199GB)的这里文件。首先，我使用以下命令列出了.tar.gz文件中的所有文件：
wget -qO- https://www.cs.cornell.edu/projects/megadepth/dataset/Megadepth_v1/MegaDepth_v1.tar.gz | tar -tz
浏览 0提问于2022-05-31得票数 9
回答已采纳
1回答
我想读取.tar文件中的内容，而不提取tar文件。我尝试了我的本地机器，并成功地，我能够读取文件的内容。只是，我传递了.tar文件的路径。为此，我使用了一个名为tarfile的库。在图书馆的帮助下我做到了。现在，我试图在AWS中使用lambda函数进行同样的操作，但我无法做到
浏览 0提问于2020-09-15得票数 1
回答已采纳
假设我在远程ftp服务器中有一个大的backup.tar.gz文件。我需要它的一些文件，但我不想下载/解压所有的文件。只是特定的文件/文件夹。通常，这是从tar.gz文件中选择文件的代码：
tar zxf backup.tar.gz /the/file&
浏览 0提问于2011-04-26得票数 1
2回答
我从tar.gz下载了一个s3文件，我将其加载到内存中，并希望添加一个文件夹，并最终将其写入另一个s3中。我一直在尝试不同的方法：import gzipim_memory_tar= tarfile.open(buffer, mode=&#
浏览 3提问于2021-01-08得票数 0
回答已采纳
我的Concourse管道中的一个步骤运行测试。测试失败了，我想看看测试创建的一个文件。我可以fly hijack容器，并且可以看到文件。但我需要将该文件下载到我的笔记本电脑上(它是Cypress的MP4文件)。有没有什么方法可以让我从容器中手动下载该文件？或者我必须将其作为管道的一部分上传到某个地方？
浏览 10提问于2020-06-04得票数 0
表可以直接从tar.gz文件打开文件然而，有没有一种方法可以在压缩文件中读取特定文件的表，例如在firstf/secondf/table.txt下，而不必解压缩然后删除？有一个类似的帖子，但请注意我需要的东西。谢谢。
浏览 3提问于2019-02-09得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
