Loading [MathJax]/jax/output/CommonHTML/config.js
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >Power Query批量导入文件

Power Query批量导入文件

作者头像
披头
发布于 2020-11-10 13:56:30
发布于 2020-11-10 13:56:30
2.6K0
举报
文章被收录于专栏:datartisandatartisan

在power query中使用如下代码,可以批量导入格式相同的文件,把文件放到文件夹即可

批量导入excel

代码语言:javascript
AI代码解释
复制
let= Folder.Files("D:\PowerQuery\powerquery套路01:批量导入文件\test1"),
    筛选的隐藏文件1 = Table.SelectRows(, each [Attributes]?[Hidden]? <> true),
    调用自定义函数1 = Table.AddColumn(筛选的隐藏文件1, "转换文件", each 转换文件([Content])),
    重命名的列1 = Table.RenameColumns(调用自定义函数1, {"Name", "Source.Name"}),
    删除的其他列1 = Table.SelectColumns(重命名的列1, {"Source.Name", "转换文件"}),
    扩展的表格列1 = Table.ExpandTableColumn(删除的其他列1, "转换文件", Table.ColumnNames(转换文件(示例文件))),
    更改的类型 = Table.TransformColumnTypes(扩展的表格列1,{{"Source.Name", type text}, {"id", Int64.Type}, {"value", Int64.Type}})
in
    更改的类型

批量导入csv

代码语言:javascript
AI代码解释
复制
let= Folder.Files("D:\PowerQuery\powerquery套路01:批量导入文件\test2"),
    筛选的隐藏文件1 = Table.SelectRows(, each [Attributes]?[Hidden]? <> true),
    调用自定义函数1 = Table.AddColumn(筛选的隐藏文件1, "转换文件 (2)", each #"转换文件 (2)"([Content])),
    重命名的列1 = Table.RenameColumns(调用自定义函数1, {"Name", "Source.Name"}),
    删除的其他列1 = Table.SelectColumns(重命名的列1, {"Source.Name", "转换文件 (2)"}),
    扩展的表格列1 = Table.ExpandTableColumn(删除的其他列1, "转换文件 (2)", Table.ColumnNames(#"转换文件 (2)"(#"示例文件 (2)"))),
    更改的类型 = Table.TransformColumnTypes(扩展的表格列1,{{"Source.Name", type text}, {"id", Int64.Type}, {"value", Int64.Type}})
in
    更改的类型

批量导入json

代码语言:javascript
AI代码解释
复制
let= Folder.Files("D:\PowerQuery\powerquery套路01:批量导入文件\test3"),
    已添加自定义 = Table.AddColumn(, "自定义", each Json.Document([Content],936)),
    删除其他列 = Table.SelectColumns(已添加自定义,{"自定义"}),
    自定义展开 = Table.ExpandListColumn(删除其他列, "自定义"),
    data = Table.FromRecords(自定义展开[自定义]),
    更改的类型 = Table.TransformColumnTypes(data,{{"value", Int64.Type}})

in
    更改的类型
本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2020-11-08,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 乐享数据8090 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
PowerQuery套路01:批量导入文件
日常工作中有时会遇到批量导入文件的场景,比如:excel,csv,json,手工合并是一种比较简单的方法,就是效率太低,PowerQuery最适合做这种事了,PowerQuery默认就有导入文件夹的选择,可以轻松实现批量导入。(格式要一致)
披头
2020/06/03
3.9K0
PowerQuery汇总全年数据时列数不一样的处理访求
近来在汇总全年数据时出现问题如下: 一个工作簿中的一个工作表在1-5月时是这样A-X列 那知道从6月起要在中间插入一列“其他”,所以变成了这样A-Y列 我在用PowerQuery汇总时用了以下的方法进行处理。在此记录下 let 源 = Folder.Files(目录[复制目录在此]{0}), Content = Table.AddColumn(源, "Con", each Excel.Workbook([Content])), 展开的Con= Table.Expan
哆哆Excel
2022/10/31
6910
地表最强Power Query 日期表
你能想到的关于日期的维度,上面都有了: 共31列。 想怎么分析,就怎么分析: 缺陷:英文版。但可以自己适当修改成中文。 PQ源代码,直接复制使用即可: let // To be turned into parameter startDate = #date(2017,01,01) as date, // To be turned into parameter endDate = #date(2022,12,31) as date, // To be turned into parameter
陈学谦
2022/02/17
1K0
地表最强Power Query 日期表
Power BI创建日期表的几种方式概览
几乎所有的报表模型都涉及到日期和时间,因此要创建Power BI报表,日期表就必须得有。虽然最新的Power BI版本已经可以自动为每一个时间列创建日期表。
陈学谦
2020/04/14
7.4K0
Power BI创建日期表的几种方式概览
常用PQ语法
power query学习笔记, 记录下一些不可直接操作但使用频次相对较高的一些语法 大数据时代的来临,每天需要处理的数据量都很大,对于部分计算机语言学起来比较吃力的同学,可以选择PQ进行大体量数据的处理,基本上都是可视化操作,方便上手 而且从16版开始16、19、365版本的excel pq不在需要单独插件,直接并入到Excel的【数据】选项卡下面了,使用起来更方便
诡途
2022/05/09
6470
常用PQ语法
PowerQuery比较两表的差异
【问题】有两个表,我要比较出重复的数据、表1未出现在表2中的数据、表2未出现在表1中的数据,怎么样。
哆哆Excel
2022/10/31
1.5K0
Power Query 系列 (12) - Power Query 结构化列应用案例
本篇数据处理来自一个实际处理数据的简化。下图中,假设左边是一个直观的 BOM 结构展示,数据在 Excel 中存储格式如中间部分所示:第一列为物料编码的级别,第二列为物料编码。数据处理任务:需要在 Excel 中增加一列输出物料编码上一级的物料编码(目标为黄色部分)。
StoneWM
2021/03/25
1.6K0
优化Power BI中的Power Query合并查询效率,Part 3:Table.Join和SortMerge
优化Power BI中的Power Query合并查询效率,Part 1:通过删除列来实现
陈学谦
2020/06/17
5K0
Power BI动态数据源:一次解决问题的思考历程
前两天在使用powerbi从trello获取数据发布到云端进行刷新时,出现一个从没遇到过的错误,这个错误导致的结果是数据源那一项直接没了,连给你纠正错误的机会都不给:
陈学谦
2021/11/04
2.5K0
Power BI动态数据源:一次解决问题的思考历程
Power Query 系列 (08) - 行转列案例
行转列是一种常见的数据处理操作,所以对如何在 SQL 语句中、如何在 pandas 中实现这种行转列做过一些总结。请参考我之前写的博文:
StoneWM
2021/03/25
1.5K0
PowerQuery-计算横、坚向高低平均总分
源 = Excel.CurrentWorkbook(){[Name="表1"]}[Content],
哆哆Excel
2022/10/31
5440
Power Query 系列 (13) - 自定义函数
以工资类所得应交个税为例,最新的个税起征点为 5000 并按下表的级次进行缴税(假设没有其它扣除项)。
StoneWM
2021/03/25
2.1K0
[Excel PQ应用]服饰订单自动按照尺码和店铺级别分货到店
工厂将货品生产后,发货到零售公司物流中心,商品部/货品部制作分货单将货品按尺码分配到各个店铺,基本原则是大店/销售好的店铺得到最好的货品资源,给予最充足的货量。
wujunmin
2021/09/07
1K0
[Excel PQ应用]服饰订单自动按照尺码和店铺级别分货到店
Power Query 系列 (17) - BOM数据展开应用案例(2)
在本系列的第 14 篇,我介绍了类似 BOM 的数据应该怎么存储,以及在 Power Query 中如何展开。那篇文章使用创建辅助查询的方法,从而简化了在查询编辑器的操作,小白都是可以理解和掌握的。但如果我们来回顾一下处理的过程,有很多重复的操作,比如合并和展开第 2 级数据,合并和展开第 3 级数据等等。有编程概念的人立即想到,应该用循环来解决啊。在编程语言中,循环是一种基础的控制结构,是基础的东西,但在 PQ 中却没有直接的循环语句,需要通过函数的辅助来实现。上篇介绍了 List.Generate 函数之后,我们可以对 BOM 数据的展开进行优化了。
StoneWM
2021/03/25
9850
Power Query 系列 (18) - 参数化查询
参数化查询增加了查询的灵活性。Power Query 可以设置和管理参数,同一工作簿下所有查询都可以使用。
StoneWM
2021/03/25
2.9K0
Power Query 系列 (14) - BOM数据展开应用案例
层次化数据是一种比较常见的数据关系,比如 BOM、公司的组织架构、族谱等等。本文讲解应该如何对层次化数据进行存储和加工输出。设计的场景如下:
StoneWM
2021/03/25
1.2K0
PowerBI中的函数日期表
在PowerBI中,日期表的问题是始终都无法绕过的一个问题,首先是微软默认的日期表月份显示如下:
PowerBI丨白茶
2021/09/02
2.7K0
PowerBI中的函数日期表
Power Query 系列 (15) - Table 和 List 转换应用案例
本文通过一个数据处理的案例,说明 table 和 list 相互转换在 Power Query (PQ) 数据处理中的作用。假设有下面的销售数据,需要按月份进行汇总,输出为右边的格式:
StoneWM
2021/03/25
2.7K0
优化Power BI中的Power 优化Power BI中的Power Query合并查询效率,Part 1:通过删除列来实现
合并查询在Power Query中是很成熟的应用,相当于SQL中的各种JOIN(抽时间会写几篇SQL的join,算是SQL的小核心)。但同时,在Power Query中合并查询是一个常见的影响刷新效率的因素。在我的工作中,经常会遇到对一些非文件夹性质的数据源进行合并查询操作,所以我一直在想,有没有办法可以对其进行优化。最近我正好做了一些测试,希望这些结果能够帮助到大家。
陈学谦
2020/06/17
5.7K0
Power Query 系列 (01) - Power Query 介绍
Power Query 是微软提供的工具,Excel 2013 版作为插件加载使用,从 Office 2016 版开始,Power Query 的功能集成到 Excel 中,可以直接使用。微软推出 Power BI Desktop 后,一系列的工具,比如 Power Query, Power Pivot, Power View 等,都集成在其中。Power Query 定位查询,中文一般翻译为超级查询,主要作用是连接不同种类的数据源,进行数据的转换。下图来自微软官方对 Power Query 的介绍,可以帮助理解。Power Query 主要实现连接和转换功能。
StoneWM
2019/08/30
6.5K0
推荐阅读
相关推荐
PowerQuery套路01:批量导入文件
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档