使用pyarrow将struct列写入拼图
可以通过以下步骤完成：
- 导入所需的库和模块：
import pyarrow as pa
import pyarrow.parquet as pq
import pandas as pd- 创建一个包含struct列的DataFrame：
data = {'col1': [1, 2, 3],
'col2': [{'a': 1, 'b': 2}, {'a': 3, 'b': 4}, {'a': 5, 'b': 6}]}
df = pd.DataFrame(data)- 将DataFrame转换为pyarrow的Table对象：
table = pa.Table.from_pandas(df)- 创建一个parquet文件写入器：
writer = pq.ParquetWriter('output.parquet', table.schema)- 将Table对象写入parquet文件：
writer.write_table(table)
writer.close()这样就将包含struct列的DataFrame写入了一个parquet文件中。在这个过程中，pyarrow提供了高效的数据转换和写入功能，可以处理复杂的数据类型，如struct列。
相关·内容
1回答
我正在尝试转换拼花到csv文件与pyarrow。
df = pd.read_parquet('test.parquet')
上面的代码可以很好地处理从github下载的示例拼图文件。
但是当我尝试处理实际的大拼图文件时，它给出了以下错误。
File "_parquet.pyx", line 734, in pyarrow._parquet.ParquetReader.read_all
File "error.pxi", line 79, in pyarrow.lib.check_status
pyarrow.lib.ArrowIOError:
浏览 17提问于2018-08-14得票数 0
2回答
我有很大的CSV文件，我最终想要转换成拼图。由于内存限制和处理空值(在我的数据中很常见)的困难，Pandas不会提供帮助。我检查了PyArrow文档，有读取拼图文件的工具，但我没有看到任何有关读取CSV的内容。我是不是错过了什么，或者这个特性是否与PyArrow不兼容？
浏览 2提问于2018-09-20得票数 4
1回答
我正在用pandas和pyarrow从python字典列表中创建拼图文件。但获取空的nasted字典时出现以下错误。
Cannot write struct type 'subject' with no child field to Parquet. Consider adding a dummy child field
下面的代码。
import pandas as pd
import pyarrow as pa
import pyarrow.parquet as pq
data =[
{
"name":"david"
浏览 3提问于2021-09-02得票数 0
1回答
使用pyarrow。我有一个由多个拼图文件组成的拼图数据集。如果文件之间的列不同，那么我会得到一个"ValueError: Schema in was different“。
有没有办法避免这种情况？这意味着我想要一个由文件组成的数据集，每个文件包含不同的列。
如果数据集的特定组件文件中没有列，我猜可以通过pyarrow将缺少的列的值填充为na来完成此操作。
谢谢
浏览 0提问于2019-07-22得票数 0
我试着从GCS批量处理.avro文件，并将结果作为拼图文件写回GCS，数据是时间序列，元素是时间戳。如何从拼图输出中的timestamp列创建列索引？在Pandas/Dask中，它是一个简单的.set_index('timestamp')语句。 class AddTimestampDoFn(beam.DoFn):
def process(self, element):
yield beam.window.TimestampedValue(element, element['timestamp'])
with beam.Pipelin
浏览 13提问于2021-08-10得票数 1
回答已采纳
我从数据库中创建了一个包含三列(id、author、title)的拼图文件，并想要在有条件(title='Learn Python')的情况下读取该拼图文件。下面提到的是我在这个POC中使用的python代码。
import pyarrow as pa
import pyarrow.parquet as pq
import pandas as pd
import pyodbc
def write_to_parquet(df, out_path, compression='SNAPPY'):
arrow_table = pa.Table.from_pandas(
浏览 0提问于2018-02-10得票数 9
我知道使用to_parquet在拼图文件中编写pandas DataFrame时可以保留category类型。 在开始的时候，在我的例子中，我已经有了一个pyarrow Table。我可以将其中一列设置为category类型吗？如果是，是如何实现的？(我在Google和pyarrow文档中找不到任何提示) 谢谢你的帮助！最好的
浏览 49提问于2020-09-10得票数 0
回答已采纳
如何使用pyarrow将自定义元数据存储到ParquetDataset？ 例如，如果我使用Dask创建了一个地块数据集 import dask
dask.datasets.timeseries().to_parquet('temp.parq') 然后我可以使用pyarrow来读取它。 import pyarrow.parquet as pq
dataset = pq.ParquetDataset('temp.parq') 但是，我用来为单个拼图文件(在How to write Parquet metadata with pyarrow?中概述)写入元数据的相同
浏览 48提问于2021-09-10得票数 7
我拥有的数据是一种流数据。我想把它们存储到一个单独的拼图文件中。但是Pyarrow每次都会覆盖拼图文件。那么我该怎么做呢？ 我试着不关闭写入器，但这似乎是不可能的，因为如果我不关闭它，那么我就无法读取这个文件。 包是这样的： import pyarrow.parquet as pp
import pyarrow as pa for name in ['LEE','LSY','asd','wer']:
writer=pq.ParquetWriter('d:/test.parquet', table.sche
浏览 16提问于2019-06-25得票数 1
1回答
我需要帮助才能让pyarrow作为lambda函数的lambda层。我正在尝试读/写拼图文件，我得到下面的错误，"errorMessage"：“找不到可用的引擎；尝试使用：'pyarrow'，‘for parquet’。\n拼图支持需要pyarrow或for parquet”。 我尝试通过在我的系统中安装pyarrow来创建层，命令如下: pip3 install pandas pyarrow -t build/python/lib/python3.7/site-packages/ --system 但是zip文件是在大于300mb的情况下创建的，因此我不能让
浏览 9提问于2020-01-22得票数 2
1回答
我想以parquet格式存储一个表格数据集，对不同的列组使用不同的文件。可以按列对拼图文件进行分区吗？如果是这样的话，是否可以使用python (pyarrow)来实现呢？
我有一个大型数据集，它收集了许多对象(行)的属性/特性(列)。行数约为100k-1M (行数将随着时间的推移而增长)。相反，这些列在逻辑上分成200组，每组有200-1000列。列的总数是固定的，但它们的数据是从col组1，col组2，...开始顺序获取的。然而，在接收第一批数据之前，事先不知道列名、类型和编号对列组进行排序。
数据将随着时间的推移而收集。当数据到达时，我希望将这组不断增长的列存储在parquet中。最终，
浏览 47提问于2020-03-05得票数 3
1回答
我有一个35列的拼图文件，我必须检查列中是否存在特定值，或者没有使用pyarrow.does。有人知道怎么做吗？
浏览 28提问于2021-10-19得票数 0
是否有一种方法将拼图文件转换为键为列的python字典数组？
import pyarrow.parquet as pq
该库本机支持该功能吗？
浏览 7提问于2022-02-11得票数 0
2回答
我正在尝试用S3中的pyarrow覆盖我的拼图文件。我看过纪录片，但什么也没找到。
下面是我的代码：
from s3fs.core import S3FileSystem
import pyarrow as pa
import pyarrow.parquet as pq
s3 = S3FileSystem(anon=False)
output_dir = "s3://mybucket/output/my_table"
my_csv = pd.read_csv(file.csv)
my_table = pa.Table.from_pandas(my_csv , preserv
浏览 5提问于2018-08-30得票数 18
4回答
我有一个大型的数据集，其中包含许多(压缩的) JSON格式的列。我正在试着把它转换成拼花以便后续处理。有些柱具有嵌套结构。现在，我想忽略这个结构，只将这些列作为(JSON)字符串输出。
因此，对于我已经确定的列，我正在执行以下操作：
df[column] = df[column].astype(str)
但是，我不确定哪些列是嵌套的，哪些不是。当我使用parquet编写代码时，我会看到这样的消息：
<stack trace redacted>
File "pyarrow/_parquet.pyx", line 1375, in pyarrow._parque
浏览 0提问于2020-04-14得票数 8
1回答
我想合并成1或2个较大的文件小拼图文件。可以设置最大文件大小吗？我的目标是获得200MB-1 1GB的文件，以优化雅典娜请求。用Pyarrow可以做到这一点吗？
浏览 64提问于2021-01-08得票数 1
回答已采纳
我想以拼图文件格式将处理后的数据存储在pandas dataframe到azure blob中。但在上传到blobs之前，我必须将其作为parquet文件存储在本地磁盘中，然后再上传。我想把pyarrow.table写成pyarrow.parquet.NativeFile，然后直接上传。有没有人能帮我。下面的代码运行正常： import pyarrow as pa
import pyarrow.parquet as pq
battery_pq = pd.read_csv('test.csv') # SOme数据处理 battery_pq = pa.Table.from_pa
浏览 20提问于2019-02-13得票数 3
回答已采纳
我有一个PySpark表，其中的许多列都是VectorUDT类型的。这些列是使用PySpark中的OneHotEstimator函数创建的。 我可以将这个表写到拼图文件中，但是当我尝试使用PyArrow将这个表读回到Pandas时，我得到了这个异常： ArrowNotImplementedError: Currently only nesting with Lists is supported. 有什么办法可以绕过这个问题吗？我不希望将每个VectorUDT列拆分成各自的列。
浏览 18提问于2019-06-10得票数 0
3回答
我想使用PyArrow将下列熊猫数据帧存储在一个拼花文件中：
import pandas as pd
df = pd.DataFrame({'field': [[{}, {}]]})
field列的类型是dicts列表：
field
0 [{}, {}]
我首先定义了相应的PyArrow模式：
import pyarrow as pa
schema = pa.schema([pa.field('field', pa.list_(pa.struct([])))])
然后我使用from_pandas()
table = pa.Table.from_pa
浏览 2提问于2019-02-21得票数 6
回答已采纳
我有一个数组，我想把它保存到一个拼图文件中，以便传递给我正在构建的ML模型.我的数组有159573个数组，每个数组有1395个数组。 以下是我的数据示例： [[0. 0. 0. ... 0.24093714 0.75547471 0.74532781]
[0. 0. 0. ... 0.24093714 0.75547471 0.74532781]
[0. 0. 0. ... 0.24093714 0.75547471 0.74532781]
.
浏览 21提问于2021-08-12得票数 1
回答已采纳
2回答
如何解压拼图文件？
、、、、
我有一个大小约为60MB的test.parquet文件。使用下面的脚本，我发现拼图文件的列压缩是GZIP。 import pyarrow.parquet as pq
parquet_file = pq.ParquetFile("C://Users/path/test.parquet")
print(parquet_file.metadata.row_group(0).column(0)) 输出 <pyarrow._parquet.ColumnChunkMetaData object at 0x0000017E6AC9FBD8>
file_offset: 4
浏览 29提问于2021-07-02得票数 1
1回答
是否支持documentation中提到的嵌入式类型，如JSON和BSON。我无法使用scala、pyarrow、hive生成镶嵌拼图的类型。
浏览 16提问于2019-01-31得票数 1
使用pyarrow，我可以编写2.0版的拼花文件。
pyarrow.parquet.write_table方法具有参数'version‘。但是pyarrow.parquet.read_table方法没有参数'version‘。似乎它只能读取1.0版的拼花文件。
如何用pyarrow读取2.0版本的拼图文件？
浏览 0提问于2019-07-26得票数 0
1回答
我一直在测试Azure上的地板文件，而不是将数据加载到PostgreSQL表中，因为我对熊猫做了很多提取/转换步骤，并且可能很快就会发现火花。
是否有任何利弊使用吡箭打开csv文件而不是pd.read_csv？
我是否应该使用pyarrow来编写拼图文件而不是pd.to_parquet？
最终，我将存储原始文件(csv、json和xlsx)。我用熊猫或pyarrow阅读了这些文件，添加了一些元数据列，然后保存了一个经过改进/转换的拼花文件(星火风味，快速压缩)。然后，我用pyarrow (可能最终是Spark )读取这些转换后的文件，并执行一些聚合或其他的可视化操作(我可能会将
浏览 1提问于2019-09-15得票数 3
当我将dask从2.1.0升级到2.2.0 (或2.3.0)时，下面的代码改变了它的行为，并像以前一样停止过滤拼图文件。这只是一个附加的pyarrow引擎(快速拼接引擎仍然可以正常过滤)。 我在Dask 2.2.0和2.3.0上尝试了pyarrow 0.13.1，0.14.0和0.14.1，但没有成功。 我之前的工作设置是: Dask 2.1.0，Pyarrow 0.14.1 此代码适用于pyarrow引擎 import dask.dataframe as dd
dd.read_parquet(directory, engine='pyarrow', filters=[((&
浏览 12提问于2019-08-28得票数 0
1回答
我使用pyarrow创建了一个十进制列类型pa.decimal128(12, 4)的拼图文件。读取该文件并访问其元数据后，将得到以下输出：
<pyarrow._parquet.ColumnChunkMetaData object at 0x7f4752644310>
file_offset: 26077
file_path:
physical_type: FIXED_LEN_BYTE_ARRAY
num_values: 3061
path_in_schema: Price
is_stats_set: True
statistics:
<p
浏览 2提问于2021-03-22得票数 1
1回答
我刚刚开始看拼图文件，因为我的一些数据以这种格式可用。我以前并没有真正玩过它，所以这是我的问题。
我像这样打开我的拼图文件：
import pyarrow.parquet as pq
table1 = pq.read_table('mydatafile.parquet')
该文件由10列组成。现在是否可以直接从这里过滤掉所有行，例如column3的值为1？
我是说，我可以这样做：
df = table1.to_pandas()
df = df[df["column3"] != 1]
但是，这可以在本地完成，而不需要首先转换为Pandas数据帧吗？
浏览 3提问于2021-05-20得票数 1
回答已采纳
1回答
我使用的是pyarrow的HdfsFilesystem接口。当我对n字节调用read时，通过网络发送的数据通常会多出0%-300%。我的怀疑是pyarrow正在提前阅读。 pyarrow拼图阅读器没有这种行为，我正在寻找一种方法来关闭通用HDFS接口的预读。 我在ubuntu 14.04上运行。此问题存在于pyarrow 0.10 - 0.13 (最新发布版本)中。我用的是python 2.7 我一直在使用wireshark来跟踪在网络上传递的数据包。 我怀疑它是提前阅读的，因为第一次阅读的时间比第二次阅读的时间要长得多。 常用的pyarrow阅读器 import pyarrow as pa
浏览 17提问于2019-05-17得票数 0
回答已采纳
我很努力地使用datetime64'ns‘dtype将我的拼图文件与索引一起保存。但是，当我读取Dask Dataframe中的多个拼图文件时，它会将索引转换为dtype对象(str)。为什么？
我不能在read_parquet调用中使用parse_dates参数，因为它只对列起作用。我用pandas读取了每个单独的底层拼图文件，并检查了索引的数据类型，它们是一致的。
我的代码很简单
try:
df = dd.read_parquet(data_filenames, columns=list(cols_to_retrieve),
浏览 2提问于2020-01-15得票数 0
我正在尝试将日期类型列的DataFrame保存为parquet格式，以便稍后在雅典娜中使用。据我所知，拼图有原生日期类型，我唯一可以真正使用的类型是带有pyarrow引擎的datetime64ns (这里是讨论的相同问题)。问题是，我希望在Athena模式中使用date类型，而不是datetime。有什么建议吗？
浏览 6提问于2019-11-14得票数 0
回答已采纳
1回答
因此，查看write_feather的文档，我应该能够编写一个箭头表，如下所示。 import pyarrow as pa
import pyarrow.feather as fe
fe.write_feather(
pa.Table.from_arrays([ pa.array([1,2,3]) ], names=['value']), 'file.feather'
) 但是我得到了以下错误： File "pyarrow/feather.py", line 89, in write
if not df.columns.is
浏览 13提问于2020-09-01得票数 0
因此，我使用Dask来存储大量数据。我们每天获得大约5000万行新数据。列宽不是很大。我目前用ddf.to_parquet(long_term_storage_directory)存储数据。当我获得新数据时，我将其附加到long_term_storage_directory目录中。一切正常，但速度很慢。
正在使用的索引是time，我希望当我添加数据时，它会简单地添加到long_term_storage_directory中的拼图文件的长列表中。(long_term_storage_directory也是同一时间域的索引)我担心我采取的方法在某种程度上是有缺陷的。也许我需要使用spark或其他工
浏览 0提问于2020-06-18得票数 0
我在将数据写入拼图文件时遇到问题。我尝试了不同的pyarrow版本( 2.0和3.0)，但结果看起来是一样的。
我的数据外观的示例：
test_data = {
'dogs': [
{'dog': 'frankie'},
{'dog': 'ricky'}
]
}
other_test_data = {
'dogs': [
{'dog': 'rory'},
{'dog
浏览 5提问于2021-03-22得票数 0
我试着这样读s3上的拼图：
import dask.dataframe as dd
s3_path = "s3://my_bucket/my_table"
times = dd.read_parquet(
s3_path,
storage_options={
"client_kwargs": {
"endpoint_url": bucket_endpoint_url,
浏览 2提问于2019-05-14得票数 3
多亏了 answer (阅读第一个答案)，我才能读懂位于GCS上的拼图文件。我使用了pd.read_parquet函数，并使用了pyarrow引擎。我想现在访问拼图元数据，而无需将数据下载到dataframe中。有没有可能在熊猫身上做到这一点？
浏览 0提问于2019-12-02得票数 2
我正在尝试使用pd.to_parquet(df)将一个熊猫数据帧保存到一个拼图文件中。df是一个包含多列的数据帧，其中一列在每一行中都填充有2d数组。当我这样做的时候，我收到了一个来自pyarrow的错误，报告说只支持一维阵列。我用谷歌搜索了一下，似乎没有解决方案。我只是想确认，实际上没有解决方案，我必须以某种方式用一维数组来表示我的二维数组。
浏览 51提问于2019-05-23得票数 1
回答已采纳
1回答
我已经搜索了Arrow文档，但是对于如何将通过pyarrow生成的羽毛文件读回到C++中并不是很清楚。
import pyarrow.feather as feather
feather.write_feather(df, 'test_file.feather')
这不是推荐的流程吗？看起来羽毛正在走向弃用的道路，取而代之的是拼图……
浏览 3提问于2019-10-29得票数 0
正如标题所述，我想通过使用pyarrow并写入几个拼图文件来按大小(或行组大小)对pyarrow表进行重新分区。 我已经查看了pyarrow文档，并确定了分区数据集章节，这似乎是一个方向。不幸的是，它表明可以按列内容进行分区，但不能按大小(或行组大小)进行分区。 那么，从一个表开始，我如何控制写入步骤，以便以受控的大小x MB写入多个文件？(或行组大小) import pandas as pd
import numpy as np
import pyarrow as pa
import pyarrow.parquet as pq
file = 'example.parquet
浏览 36提问于2020-12-15得票数 1
回答已采纳
2回答
我有一个包含大约1000个文件的拼图目录，模式是不同的。我想通过文件重新分区将所有这些文件合并到最佳数量的文件中。我使用pandas和pyarrow从目录中读取每个分区文件，并将所有数据帧连接在一起，并将其作为一个文件写入。
使用这种方法，当数据大小增长时，我会遇到内存问题并被杀死。所以我选择了另一种方法来完成这个过程。
我首先读取一堆文件，使用concat合并，然后写入新的拼接目录。类似地，第二次，我读取了第二组文件，连接为一个数据帧，并从第二个合并的数据帧中获取了一条记录。现在我有了第二个合并数据帧中的一条记录，再次从文件中读取第一个合并数据帧，并将其与第二个合并数据帧中的记录合并。然后，
浏览 11提问于2020-05-22得票数 1
1回答
我一直在尝试使用pyarrow read_table来读取和子集一个拼图文件。
这是密码
import pyarrow.parquet as pq
s3_uri = "Path to s3"
fp = pq.read_table(
source = s3_uri,
use_threads = True,
filters = [('Date_Time' ,'>=','2022-07-08'),('Date_Time' ,'<
浏览 11提问于2022-07-13得票数 0
2回答
我正在尝试把熊猫数据转换成拼图，但是我得到了一个错误--“删除字节，得到一个'int‘对象’，‘转换失败的列xxxxxxxx和类型object') -- Excel中的这个表有数字和字符串，就像dtype 'object'，尽管它会产生错误。我试过df‘’xxxxxxxx‘..astype(Str)、df’‘xxxxxxxx’..astype(‘data_type’)，但它们都没有工作。我试着用AWS，Wrangler和Pyarrow来做转换
浏览 14提问于2022-05-10得票数 1
2回答
我知道Pandas可以使用不同的后端：pyarrow和fastparquet来读写拼图文件。
我有一个带有英特尔发行版的Conda发行版，并且"it works"：我可以使用pandas.DataFrame.to_parquet。但是，我没有安装pyarrow，所以我猜是使用了fastparquet (我也找不到它)。
有没有办法确定使用的是哪个后端？
浏览 0提问于2018-06-08得票数 17
回答已采纳
是否可以使用AwkwardArray (awkward0)附加到现有的拼图文件(由AwkwardArray编写)？ 普通笨拙的拼花地板存放 下面的代码创建了一个内部有几个笨拙数组(例如音频数据)的拼图文件： import numpy as np
import awkward as awk
import pyarrow.parquet as pq
# create Awkward Table from dict with numpy arrays
awk_array = awk.fromiter([{"ch0": np.array([0, 1, 2]), "ch1&#
浏览 31提问于2019-12-05得票数 2
回答已采纳
1回答
有效地折叠拼图中的行组
、、、
我有一个包含许多小行组的大型拼图文件。我想生成一个带有单个(更大)行组的新的Parquet文件，并且我正在使用Python进行操作。我可以这样做：
import pyarrow.parquet as pq
table = pq.read_table('many_tiny_row_groups.parquet')
pq.write_table(table, 'one_big_row_group.parquet')
# Lots of row groups...
print (pq.ParquetFile('many_tiny_row_groups.par
浏览 0提问于2019-05-18得票数 3
我有一个dask dataframe，它有一个ListMyClass类型的列。我想将这个数据帧保存到拼图文件中。Dask使用pyarrow作为后端，但它只支持原始类型。 import pandas as pd
import dask.dataframe as dd
class MyClass:
def __init__(self, a):
self.a = a
def transform(v):
return [MyClass(v)]
a = [[1], [2], [3]]
pdf = pd.DataFrame.from_dict(a)
ddf
浏览 28提问于2019-01-11得票数 3
1回答
dask读取拼图并指定模式
、、、、
在读入拼图文件时，有没有dask等同于spark指定模式的能力？可能使用传递给pyarrow的kwargs？
我在存储桶中有一堆拼图文件，但其中一些字段的名称略有不一致。我可以创建一个自定义的延迟函数来在读取它们之后处理这些情况，但我希望在通过globing打开它们时可以指定模式。也许不是，正如我猜测的那样，then然后via globing将尝试连接它们。由于字段名称不一致，此操作当前失败。
创建拼图文件：
import dask.dataframe as dd
df = dd.demo.make_timeseries(
start="2000-01-01",
浏览 0提问于2021-04-01得票数 4
有几种方法可以实现从熊猫到拼花地板的转换。例如pyarrow.Table.from_pandas或dataframe.to_parquet。它们的共同点是，它们都以参数的形式获取应该存储df.parquet的filePath。 我需要将编写的拼图文件的内容放到一个变量中，但我还没有看到这一点。我主要想要和pandas.to_csv一样的行为，如果没有提供路径，它会以字符串的形式返回结果。 当然，我可以通过标准的文件读取操作将文件从python写入字符串。由于我正在写入大量数据，这将在文件系统上产生大量负载……
浏览 65提问于2019-02-13得票数 3
回答已采纳
1回答
我希望你们中的一些人能找到一点时间来帮助像我这样的初学者。我花了整整一周的时间来完成这项任务，但找不到解决办法。我理解并完全理解这一点，我必须学习我使用的每一个包及其组合，以找到正确的解决方案。
整个任务是将5列(1000行)组合成1个struct列，并将其存储/转换为一行(1000列)。但我坚持这个问题，将5列合并为1结构列。
最初，我会收到以下列:列=‘date’、'bidopen‘、’联顶‘、’联高‘、'bidlow’、'tickqty‘。我不需要‘日期’成为结构的一部分。
我试过的是：
import pyarrow as pa
import pyarrow.pa
浏览 0提问于2021-02-27得票数 1
回答已采纳
1回答
我能够用partition_cols编写一个拼图文件，但不能编写相应的元数据。似乎由于分区中的列，表与元数据之间存在模式不匹配。
需要帮忙找出我做错了什么-
密码，
df = pd.DataFrame(dictReprForDf)
table=pa.Table.from_pandas(df)
metadata_collector=[]
pq.write_to_dataset(table, outputFilePath, metadata_collector=metadata_collector, partition_cols=['A','B','C
浏览 2提问于2021-07-06得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
