我正在用apache beam实现一个批处理管道，它可以解压缩json文件，对它们进行预处理，然后将它们存储回文件系统中的给定位置。 可以使用ZIP或GZIP算法压缩文件。解压对GZIP文件工作正常，但对ZIP文件解压失败...经过调查，我发现只有GZIP、BZIP2和DEFLATE压缩类型仅在JAVA SDK中受支持，而不存在python实现。
浏览 13提问于2020-12-18得票数 0
Apache光束的当前版本不支持来自google spanner的类型代码11 (json)，因为它使用了google-cloud-spanner的一个版本，该版本是当前版本后面的两个主要版本。我需要什么样的文件来保存SDK - zip，tar，tar.gz？该存档中需要包含哪些文件夹？apache_beam，apache_beam-2.34.0.dist-info？只有apache_beam中的文件吗？是否只需在PipelineOptions的sdk
浏览 7提问于2021-11-22得票数 0
-2659d300-efda-4c34-863d-d5a3a8aa369f/python-archives/venv.zip/venv/lib/python3.7/site-packages/apache_beam-2659d300-efda-4c34-863d-d5a3a8aa369f/python-archives/venv.zip/venv/lib/pyt
浏览 13提问于2021-01-30得票数 0
/envs/py2env/lib/python2.7/site-packages/apache_beam/runners/dataflow/internal/dependency.pyc in _stage_beam_sdk_tarball/usr/local/envs/py2env/lib/python2.7/site-packages/<em
浏览 0提问于2018-08-22得票数 4
例如，这10个文件中的一个可以命名为from apache_beam import (coders, io)
| io.Read(
浏览 0提问于2018-12-13得票数 0
我正在尝试解压缩一些.zip或.rar档案，并得到“不支持压缩方法”的错误。这个目录中的所有文件都是.zip文件。from tkinter import filedialog if item.endswith(ZipExt
浏览 8提问于2022-09-20得票数 -1
当zlib可用时，Python支持压缩文件，ZIP_DEFLATELinux上的zip命令行程序支持-1最快，-9最好。有没有办法设置在Python的zipfile模块中创建的压缩文件的压缩级别？
浏览 1提问于2014-12-17得票数 8
回答已采纳
1回答
我正在尝试使用Google Cloud Dataflow (Python SDK)将Google PubSub消息写入Google Cloud Storage。有没有人知道是否有可能做同样的事情，更准确地说，通过从PubSub读取json消息来使用pyarrow自动定义模式？如果可能，我该怎么做呢？
这就是我到目前为止所做的。File "/usr/local/lib/python3.7/site-packages/apache_beam
浏览 3提问于2020-07-23得票数 0
1回答
现在，我认为改变我正在使用的压缩方法可能是个好主意。我目前使用的是tar.bz2压缩。我需要做的是一次访问一个压缩文件，特别是通过名称，将它们构建到一个不同的文件中。Zip压缩应该可以很好地支持这一点，但是我正在压缩的文件数量，200,000 txt文件，对于这种文件类型来说似乎太大了。Zip只能支持64k的文件，或者类似的东西。有人知道我应该使用哪种压缩类型吗？
此外，如果有为其
浏览 3提问于2010-08-17得票数 0
'write' >> beam.io.WriteToText(output_gcs)p.run().wait_until_finish()File "/usr/local/lib/python2.7/dist-packages/apache_beam/internal/pickler.py", line 212, in loads File "&
浏览 0提问于2017-05-20得票数 2
回答已采纳
2回答
目前是否可以使用Apache从python中的gzip文件中读取？源代码中，压缩文件似乎是在写入接收器时处理的。(self)
File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/apache_beam/Python.framework/
浏览 9提问于2016-08-22得票数 6
回答已采纳
是否有一个Unix命令行程序实现带有ZIP64支持的ZIP？标准的zip程序不会超过2**32字节的ZIP文件。我不想使用.tar.gz格式，因为使用ZIP，我可以在不解压缩整个存档的情况下访问文件。谢谢。
浏览 0提问于2012-03-03得票数 1
回答已采纳
Python3.3的zipfile模块可以识别使用bzip2或xz而不是传统的deflate算法压缩的.zip归档文件。这种扩展的压缩支持是否扩展到了zipimport功能？
浏览 1提问于2012-09-17得票数 3
回答已采纳
2回答
我正在尝试单独压缩一堆文件夹。文件夹包含文件。我写了一个脚本，这个脚本看起来工作得很好，除了得到的zip文件实际上并没有被压缩。它们与原始目录的大小相同！下面是我的代码： for root, dirs, files in os.walk(path):
浏览 1提问于2010-12-15得票数 0
我想读取一个GZIP压缩的帕奎特文件从GCS到BigQuery使用Python SDK for Apache光束。但是，apache_beam.io.parquetio.ReadFromParquet方法似乎不支持从压缩文件中读取。根据源代码，压缩类型被硬编码为UNCOMPRESSED。有没有一个技巧来读取压缩的拼图文件，而不需要在GCS中预先解压缩文件？如果这是唯一的方法，有没有办法在GCS中直接解压缩文件？
浏览 2提问于2019-11-25得票数 0
1回答
winrar 5解压缩
、、、、
我附加了特殊的winrar存档，sdk给了我错误。拜托你能帮帮我吗？inStream, outStream, inStream.Length - inStream.Position, outSize, null);异常调试详细信息
想要的行为: 7zip支持winrar，那么我的代码出了什么问题？
浏览 13提问于2021-03-26得票数 0
1回答
/apache_beam/runners/worker/sdk_worker.py", line 134, in _executeFile "/usr/local/lib/python2.7/dist-packages/apache_beam/runners/worker/sdk_worker.py",
浏览 0提问于2018-10-12得票数 1
1回答
我有一个for循环，它遍历大约一百个文件，解压缩并执行一些操作。它在其中的90个文件上运行得很好，但是对于那些大于4 4GB的文件，我得到了错误消息：(错误使用解压(第84行)无效的压缩文件“C：\filename.zip”。)
浏览 4提问于2016-06-17得票数 3
1回答
我的podspec就是这样的s.name = 'MI_SDK_DEVELOPMENT's.license = { :/LocalPods/MI_SDK_DEVELOPMENT.framework.zip' }s.ios.vendored_frameworks= 'MI_SDK
浏览 0提问于2019-09-16得票数 1
回答已采纳
2回答
.NET 4.5是否支持使用zip64进行压缩和解压缩？我知道一些第三方库，如dotnetzip支持它，但我想知道.NET类，如ZipArchive或ZipFile是否支持它？如果不是，那么为什么我能够使用windows资源管理器或windows的默认压缩工具来解压zip64压缩文件？
浏览 3提问于2013-11-07得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
