如何将文件路径值读入星火中的列？
如何将文件路径值读入星火中的列？
提问于 2021-11-08 15:08:00
我在Azure Synapse笔记本中工作，从格式良好的文件夹路径读取文件到Dataframe，如下所示：
考虑到通配符中有许多文件夹引用，我如何将"State“值作为列捕获到生成的Dataframe中？
回答 2
Stack Overflow用户
回答已采纳
发布于 2021-11-08 16:53:42
不需要使用通配符*。
尝试：df = spark.read.load("abfss://....dfs.core.windows.net/")
Spark可以直接读取分区文件夹，然后df应该包含具有不同值的列state。
Stack Overflow用户
发布于 2021-11-08 16:20:38
使用input_file_name函数获取完整的输入路径，然后应用regexp_extract提取所需的部分。
示例：
df.withColumn("filepath", F.input_file_name())
df.withColum("filepath", F.regexp_extract("filepath", "State=(.+)\.snappy\.parquet", 1)页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/69885685
复制相关文章
相似问题
腾讯云开发者
