我在谷歌云平台上工作，我正在尝试使用Pyspark将csv文件转换为avro文件。我看过很多网站，但我还没能实现解决方案。提前谢谢你。:)
浏览 36提问于2021-11-17得票数 0
1回答
我有一个Python脚本，它使用fastavro库来转换csv文件并根据提供的模式序列化它：from fastavro.schema importout, schema, csv_reader(), codec='snappy')
上面的方法在小文件上工作得很好，但是对于较大的文件来说，非常慢，非常慢。一个185 my大小的csv文件需要4.5分钟来序列化，我的一些文
浏览 1提问于2021-09-21得票数 0
我有一个pyspark作业，它将结果数据帧写入本地文件系统中。目前它在local模式下运行，所以我执行coalesce(1)来获取单个文件，如下所示 file_format = 'avro' # will be dynamic and so it willbe like avro, json, csv, etc
df.coalesce.write.format(file_format).save('file:///<e
浏览 68提问于2020-08-26得票数 0
我正在尝试使用Apache从CSV文件创建一个parquet文件。我能够将CSV转换为parquet文件，但问题是，这个parquet文件的模式包含struct类型(我需要克服这种结构类型)，并将其转换为string类型。我在Windows 2016上使用Apache 1.14.0。
到目前为止，我一直试图把CSV转换成地板.到CSVRecordSetWriter，这将自动生成&q
浏览 3提问于2021-08-02得票数 0
回答已采纳
我想在Jupyter笔记本上读一个Spark Avro文件。pyspark --packages org.apache.avro:avro-mapred:1.7.7,com.databricks:spark-avro_2.10:例如，如果我必须使用Spark-csv包，我就会这样做在终端中，它打开了一个jupyter笔记本电脑
浏览 10提问于2017-02-07得票数 1
回答已采纳
1回答
我试图构建一个直线脚本，将存储在HDFS中的CSV文件加载到Hive中的外部表中。首先，我创建一个空的外部表：(column string)LOCATION '我已经用以下内容将CSV文件加载到HDFS中：现
浏览 4提问于2020-12-01得票数 1
1回答
我正在尝试将一些CSV文件转换为AVRO文件。下面是csv->avro转换中的代码大纲。我使用的是C库的1.7.5lineno = 0;
/&#x
浏览 2提问于2014-01-27得票数 0
回答已采纳
2回答
下一步是使用databricks加载程序将一个avro文件转换为某个(只有python库可以找到)。现在让我解释一下我是如何做到的，这样您就可以看到我可能失败的地方了：我的目标是将json数据从本地目录推送到HDFS，这样我就可以使用pySpark由于json对HDFS的压缩很差，所以我还使用
浏览 1提问于2018-09-03得票数 1
2回答
创建DataFrame后，我可以将其保存为avro、csv或拼板格式。
在dataframe或rdd中是否有其他格式可用于在Hadoop中保存数据？
浏览 2提问于2017-12-21得票数 1
1回答
我使用的是Nifi 0.4.1版本。正在编写自定义代码以将CSV转换为avro格式。我已经创建了类文件，并能够生成nar文件。将nar文件放入lib目录并重新启动nifi服务器。类文件没有任何错误或警告。任何帮助都很感激..。
谢谢,
浏览 4提问于2016-02-25得票数 3
3回答
我正在查看数据流，以尝试将数据从Datastore导出到Spanner。扳手似乎只接受通过数据流连接器的avro文件。我能找到的唯一数据流模板是从数据存储到文本文件。
浏览 59提问于2019-05-03得票数 0
回答已采纳
我想把CSV文件转换成Avro。目前，我正在把我的CSV转换成json，然后用它创建Avro文件。下面是CSV样本数据，Rick,26,Red是否有一种使用Avro工具将CSV文件转换为avrod:\app>java -jar
浏览 0提问于2016-09-27得票数 0
我们正在尝试将数据从oracle迁移到postgres。我们正在从oracle中提取avro格式的数据并写入postgres。目前，我们正在将avro转换为CSV并写入postgres，但是当数据是blob格式时，问题就来了。 我们使用psql copy来写入数据。有没有办法可以使用psql或任何其他工具直接将avro文件写入postgres？我们可以提取AVRO或CSV<
浏览 23提问于2019-12-07得票数 0
回答已采纳
我目前在本地的windows10系统上使用pyspark。pyspark代码运行得相当快，但将pyspark数据帧保存为csv格式需要花费大量时间。我正在将pyspark数据帧转换为pandas，然后将其保存到csv文件中。我还尝试使用write方法来保存csv文件。(1).write.format('com.databricks.sp
浏览 126提问于2019-08-01得票数 5
我正在尝试将所有csv.gz文件从加载到google。做这件事最好的方法是什么？我试着使用pyspark读取csv.gz文件(因为我需要对这些文件执行一些数据清理)，但是我意识到pyspark不支持直接从url读取文件。将csv.gz文件的已清理版本加载到BigQuery中是否有意义，还是应该将原始的原始csv.gz文件
浏览 8提问于2022-11-12得票数 0
回答已采纳
我正在开发一个用例将数据加载到Hive中。我得到一个CSV文件，然后使用SplitText将传入的流文件拆分为多个流文件(按记录拆分记录)。然后使用ConvertToAvro将拆分的CSV文件转换为AVRO文件。之后，我将AVRO文件放入HDFS中的一个目录中，并使用Repl
浏览 1提问于2017-02-07得票数 1
我如何将一个.csv文件导入？我甚至尝试在Pandas中读取csv文件，然后使用createDataFrame将其转换为createDataFrame，但它仍然显示出一些错误。有人能指引我渡过难关吗？另外，请告诉我如何导入xlsx文件？我试图将csv内容导入熊猫数据格式，然后将其转换为spark数据帧，但它显示了错误：
"Py4JJavaError&qu
浏览 0提问于2016-08-01得票数 14
3回答
我想从数据库中导出数据，并转换为Avro + Parquet格式。Sqoop支持Avro导出，但不支持拼图。我尝试使用Apache Pig，Apache Crunch等将Avro对象转换为Parquet，但都没有结果。
浏览 5提问于2014-05-06得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
