我需要从s3读取拼图文件，并过滤其中的一些列，然后将其上传回s3。所以我有这样一段代码，它从parquet dataset中的s3 bucket中获取数据，然后将其读取到table中，我一直在尝试将该表转换为pandas数据帧，以便对其运行查询。import boto3import pyarrow.parquet as pq
import
浏览 8提问于2021-06-16得票数 0
我正在创建和上传拼花文件到AWS S3使用awswrangler。问题在于它自动生成模式，而且由于某些字段可以以不同的格式(有时是字符串，有时是数字)出现，所以在试图读取文件时会遇到问题。从awswrangler文档中，我看到可以将dtype作为参数传递。但上面说这是给雅典娜/格鲁的。我需要知道这个参数是否也意味着我正在传递拼花文件的模式，因为我不能在本地测试它(很困难的情况，说来话长)
浏览 10提问于2022-02-22得票数 0
我正在尝试用浮动列将DataFrame加载到pyarrow中，并在pyarrow构建过程中遇到一个问题：ArrowTypeError: ('int or Decimal object expected,)
schema_dict = {"float_column":pa.
浏览 14提问于2021-02-18得票数 2
回答已采纳
我试图把一个数据帧转换成一个拼花文件。但我遇到了以下错误。Expected a string or bytes dtype, got float64', 'Conversion failed for column NOTES with type float64')
列类型为varchar，因此它将转换为str。但是，在该列的记录中有一些数值，我怀疑数据框架是否将它们解析为float。因此，在转换到拼板<e
浏览 1提问于2020-10-15得票数 1
我有一个dask dataframe，它有一个ListMyClass类型的列。我想将这个数据帧保存到拼图文件中。Dask使用pyarrow作为后端，但它只支持原始类型。self.a = a
return [MyClass(v)]
pdf = pd.DataFrame.from_dict('my_parquet.parquet') 因此，当我试
浏览 28提问于2019-01-11得票数 3
下面是我正在尝试的工作示例import pandas as pd= pm4py.discover_dfg(log)[0]precedence_df = pd.DataFrame.from_dict(precedence_dict, orien
浏览 0提问于2021-08-17得票数 0
回答已采纳
2回答
我使用了一个包含国家和服务数据的dataframe来统计按国家分组的服务的重现率，并生成了字典d。我一直在尝试将dict转换为json，因为dict类型是不可调用的。但它给出了以下error。如何将int64转换为字符串？TypeError: Object of type 'int64' is not JSO
浏览 9提问于2021-03-02得票数 0
1回答
我将9999-12-31 23:59:59的时间戳存储在一个int96文件中。我使用pyarrow.dataset读取了这个拼花文件，并将生成的表转换为熊猫数据(使用pyarrow.Table.to_pandas())。对熊猫数据的转换将我的时间戳转换为1816-03-30 05:56:07.066277376 (Pan
浏览 4提问于2021-03-30得票数 2
我有一个，它的列包含一个dict/structs列表。其中一个键(下面示例中的thing)可以有一个值，即int或string。是否有一种方法可以定义PyArrow类型，允许将此数据转换为PyArrow表，以便最终输出到Parquet文件？impo
浏览 10提问于2020-12-06得票数 0
1回答
红移紧固件出口
、、、、
我有一个非常简单的想法:使用Pandas (为了方便)进行一些简单的数据库操作，并以Parquet格式将数据写回S3。此外，PyArrow还提供了广泛的特性，并适合多种数据类型。参见，在这里，我为“日期”列找到了一个补救方法。
为什么使用紧固件:紧固件比PyArrow限制得多，特别是当涉及到公认的数据<
浏览 3提问于2021-09-17得票数 1
回答已采纳
我使用pyarrow来创建和分析具有生物信息的镶嵌板表格，我需要存储一些元数据，例如数据来自哪个样本，它是如何获得和处理的。有没有办法用pyarrow编写文件范围内的Parq
浏览 17提问于2018-09-01得票数 17
回答已采纳
我有一个非常宽的数据框架(20,000列)，主要由Pandas中的float64列组成。我想将这些列转换为float32并写入Parquet格式。我这样做是因为这些文件的下蒸汽用户是内存有限的小容器。
目前我在Pandas中施展角色，但这是一组非常慢的数据集，然后写到了拼板上。在执行写to_parquet进程本身时，可以
浏览 0提问于2018-10-17得票数 6
回答已采纳
1回答
挑战是CSV有一个日期列，其值为300-12-31，显然Pandas无法将该值存储为实际日期。因此，PyArrow无法读取日期值。要复制的示例文件和代码是timport pandas as pddf = pd.read_csv("test.csv", parse_dates=["t"])
schema = pa.schema([pa.field("t&
浏览 1提问于2020-11-02得票数 0
回答已采纳
在不太理想的情况下，我想要使用>=< etc来筛选拼板数据集中的值，但是，由于整个数据集中的混合数据类型，该字段似乎被读取为一个对象。是否有一种方法在计算之前将列强制转换为不同的数据类型：
例如，ds.field('value').cast('uint8') > 60成为筛选列表的一部分？
浏览 30提问于2022-10-13得票数 0
1回答
当将一个拼花文件转换成一个数据文件时，我遇到了文件类型的问题。我知道import s3fs
read_pq = pq.ParquetDataset(bucket, filesystem
浏览 1提问于2019-02-25得票数 7
我正在将大型CSV文件转换为Parquet文件，以便进一步分析。我将CSV数据读入Pandas中，并按以下方式指定列dtypes "column_2": "category",，并将数据写入Parquet以供下游使用。"index": False}
df.to_par
浏览 0提问于2019-02-17得票数 10
回答已采纳
我有一个dataset，其中pandas.read_csv()处理将一些连续的数值列/特征/变量数据从object适当地强制转换为float64、int64或uint8，而不是其他的。因此，我尝试使用下面的pandas.to_numeric()调用并指定了int64参数，将本应转换为continuous数字类型的列数据
浏览 1提问于2018-01-31得票数 2
我有一个数据帧，我想在其中删除具有重复ID的行。在大多数情况下，ID是整数和字符串。然而，一些ID条目是多个ID的列表。我不能拆分这些列表，但是当尝试删除重复项时，我得到一个错误。作为参考，我使用了df = df['ID'].astype(str)，它对下面显示的错误没有任何影响。[552, F430, R111], F41, ]}
输入df
浏览 16提问于2019-11-19得票数 0
目前，我正试图使用.csv (一个sktime机器学习包)对6个时间序列数据集(以MiniRocket格式)进行机器学习分类。但是，当我使用.csv导入pd.read_csv文件并通过MiniRocket运行它们时，会弹出错误"TypeError: X必须以sktime兼容的格式“，并显示以下数据类型与sktime兼容：'pd.Seriescsv文件的数据类型并
浏览 14提问于2022-12-03得票数 1
--------|-----------------||----|---------|-----------------| id类型text、field_1类型double_precision、dict_as_string类型text 我正在将这个postgres表读取到一个pandas数据帧中。我要做的是创建一个新的<em
浏览 16提问于2021-04-23得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
