我有一个形状为6132,7的pyarrow表名为final_table，7我想向该表中添加列 list_ = ['IT'] * 6132
final_table.append_column('COUNTRY_ID', list_) 但我得到了以下错误ArrowInvalid:添加的列的长度必须与表的长度匹配。
浏览 16提问于2020-08-11得票数 2
回答已采纳
将PyArrow表创建为pyarrow.Table.from_pydict(d)，所有列都是字符串类型。创建下面的架构对象，并将其用作pyarrow.Table.from_pydict(d, schema=s)，会导致以下错误：是否有方法在从字典创建的表中
浏览 32提问于2022-02-12得票数 0
回答已采纳
在开始的时候，在我的例子中，我已经有了一个pyarrow Table。我可以将其中一列设置为category类型吗？如果是，是如何实现的？(我在Google和pyarrow文档中找不到任何提示) 谢谢你的帮助！最好的
浏览 49提问于2020-09-10得票数 0
回答已采纳
请考虑以的形式执行以下程序import pyarrow print(pyarrow查看parquet.read_table在中的docstring
如果没有，则只从文件中读取这些列。列名可以是嵌套字段的前缀，例如a将选择'a.b‘、'a.c’和'a.d.e‘。
read_table进一步调用，后者调用，后者返回对
浏览 4提问于2021-07-22得票数 10
回答已采纳
1回答
我希望避免循环遍历PyArrow列的所有元素，并从unidecode包中应用unidecode函数，以便创建一个将被转换为PyArrow列的单元元素列表，因此我想知道PyArrow是否有一个更有效的函数，因为对于长度大于100万的列，这需要大量时间。我在查看PyArrow的“计算”包，但没有发现任何有用的东西。schema=pyarrow.schema([pyarrow.field('unique_values',
浏览 4提问于2022-07-14得票数 0
传统的方法是使用Pandas作为中介来保存一个矮小的对象到地板上。然而，我正在处理大量的数据，这些数据不适合Pandas而不会破坏我的环境，因为在Pandas中，数据占用了大量的RAM。下面的代码是一个很小的例子，它下载了我的一小块数据，并在熊猫对象和numpy对象之间进行转换，以测量它们消耗了多少RAM，并保存到npy和parquet文件中，查看它们占用了多少磁盘空间。
from sys
浏览 0提问于2019-08-27得票数 10
回答已采纳
pf.to_pandas()
为了找到错误的来源，我分别运行了df=pf.to_pandas(columns=col_to_retrieve)，添加了列，并注意到错误从其中一个列引发，其中一个列的字符串列表(例如("a“、"b”、“c”)作为列的每个单元格的值)。你知道如何把它转换成熊猫，知道有类型set(字符串)的列吗？
浏览 1提问于2018-01-05得票数 0
我的Apache管道的目标是从BigQuery中的表中获取数据，然后将其输出到一个拼花文件中。我试图在Apache管道中使用 PTransform，它要求将schema作为pyarrow.Schema传递。': pyarrow.string(), 'INT64': pyarrow.int64(),
'FLOAT64': pyarro
浏览 3提问于2020-08-26得票数 0
回答已采纳
关于使用pyarrow函数将火花df转换为熊猫df，我收到以下警告：
浏览 1提问于2019-06-20得票数 4
我使用Pyarrow将它们加载到Python中的Pyarrow数据格式中。其目标是用一些数据追加新行，并输出一组新的拼花文件。我遇到的问题是日期/时间列，在加载python中的parquet文件后，该列显示为dtype('<M8[ns]'。在添加了新的时间行，并输出新的拼花文件后，我使用Athena查询这些文件。正确的格式应该是2019-01-05 00:00:00.000import pand
浏览 2提问于2019-09-05得票数 1
回答已采纳
result = pa.array(col, type=type_, from_pandas=True, safe=safe) File "pyarrow\array.pxi", line 80, in pyarrow.lib._ndarray_to_array
File "pyarrow\error.pxi", line
浏览 1提问于2020-10-15得票数 1
1回答
/lib/python3.6/site-packages/pyarrow/_dataset.pyx in pyarrow./lib/python3.6/site-packages/pyarrow/_dataset.pyx in pyarrow./lib/python3.6/site-packages/pyarrow/_dataset.pyx in p
浏览 4提问于2021-01-13得票数 0
回答已采纳
2回答
我目前正在加载一个表，计算一个新列，将该列添加到表中，并将该表保存到磁盘中，这一切都很好。问题:我尝试了这个批处理，但是得到了错误消息：import pyarrow.parquet as pq
import pyarrow</
浏览 6提问于2022-08-17得票数 0
回答已采纳
我有两个TSV文件(header.tsv和data.tsv)，header.tsv保存1000+列名，data.tsv保存大约50K条记录(也有NULL列值)。我想通过将data.tsv文件附加到header.tsv来创建一个新的TSV文件(比方说combined.tsv)。这样做的原因是要创建最后一个TSV文件，它可以将列名和数据保存在一起，并尝试在创建Apache Arrow表时避免出现错误。表。可以解析该header.tsv文件来创建一个pyarrow表，但不能创
浏览 0提问于2020-09-17得票数 0
我有一个python程序，它以文件的形式读取一个拼图文件，并试图用它来构造一个pyarrow数据集。我可以使用以下方法将文件编辑器读入比罗罗表中：但是，将文件读取程序直接传递给数据集初始化程序会导致错误这是有意义的，因为pyarrow文档显示ds.dataset函数不接受filereader作为数据源：
import pyar
浏览 8提问于2022-01-25得票数 0
例如，在np.uint32中写入PyArrow列会导致拼花文件中的INT64列，而使用模块编写该列则会生成逻辑类型为UINT_32的INT32列(这就是我从PyArrow开始的行为)。例如：import pyarrow as paimport fastparquet as fp这一产出如下：
PyA
浏览 0提问于2018-03-08得票数 3
回答已采纳
1回答
>>> table = json.read_json("my_data.json")pyarrow.Table child 0, item
浏览 9提问于2020-03-23得票数 0
3回答
如何移动熊猫栏
、、、
我有这样的标题栏表：“列1”、“列2”、“列3”、“列4”、“column5”--我想交换和模式列标题和数据：“列1”、“列2”、“column 5”、“列3”、“column4”--我怎样才能用熊猫或碧萝
浏览 11提问于2022-05-06得票数 0
回答已采纳
下面的代码不允许我将列保存到pandas中的parquet： import pandas as pd
File "pyarrow\array.pxi", line 80, in pyarrow.lib._ndarray_to_a
浏览 32提问于2020-07-14得票数 3
可以将Pandas数据帧从ORC文件转换为ORC文件吗？我可以在拼图文件中转换df，但是这个库似乎不支持ORC。在Python中有可用的解决方案吗？如果不是，最好的策略是什么？一种选择是使用外部工具将拼图文件转换为ORC，但我不知道在哪里可以找到它。
浏览 144提问于2019-11-06得票数 3
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号