首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >问答首页 >解压缩超大型文件时遇到麻烦

解压缩超大型文件时遇到麻烦
EN

Stack Overflow用户
提问于 2015-11-09 17:02:18
回答 1查看 815关注 0票数 0

我已经收到了许多压缩的文件,但解压缩的文件是30GB+,并在Windows中被压缩。我正在尝试使用EC2实例创建一个系统来解压缩这些实例,但是我一直在最大化内存(error IOError: [Errno 28] No space left on device)。我的解压缩脚本如下:

代码语言:javascript
代码运行次数:0
运行
复制
import boto3
from boto3.s3.transfer import S3Transfer
from zipfile import ZipFile as zip
import ec2metadata
import re

s3 = boto3.client('s3')
transfer = S3Transfer(s3)


def get_info():
    userdata = re.findall(r"\=(.*?) ", ec2metadata.get('user-data'))
    global dump_bucket 
    dump_bucket = userdata[0]
    global bucket
    bucket = userdata[1]
    global key
    key = userdata[2]
    return dump_bucket, bucket, key

def unzipper(origin_bucket, origin_file, dest_bucket):
    s3.download_file(bucket, key, '/tmp/file.zip')

    zfile = zip('/tmp/file.zip')

    namelist = zfile.namelist()

    for filename in namelist:
        data = zfile.read(filename)
        f = open('/tmp/' + str(filename), 'wb')
        f.write(data)
        f.close()

    transfer.upload_file('/tmp/' + str(filename), dump_bucket, namelist[0])

def main():
    get_info()
    unzipper(dump_bucket, bucket, key)

main()

有什么更好的方法来解压缩文件吗?我尝试过流它,但这不太可能是因为它最初被压缩的方式。

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2015-11-13 20:13:27

我能够通过增加可用内存来解决这个问题,部分问题也来自于编码。因此必须将默认编码更改为拉丁文-1。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/33614281

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档