是否可以将CSV文件保存在Foundry Code Repositories transforms-python语言中,而不是将其保存为Parquet格式?
发布于 2020-09-24 15:59:33
可以,这可以通过在调用write_dataset函数时指定输出数据集格式来完成。在进行调用时,您还可以包含压缩选项。例如:
@transform(
my_input = Input('/path/to/input/dataset'),
my_output = Output('/path/to/output/dataset')
)
def compute_function(my_input, my_output):
my_output.write_dataframe(
my_input.dataframe(),
output_format = "csv",
options = {
"compression": "gzip"
}
)https://stackoverflow.com/questions/64034818
复制相似问题