首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

《Python for Excel》读书笔记连载1:为什么为Excel选择Python?

没有重复的代码意味着更少的代码行和更少的错误,这使得代码更易于维护。 如果编写VBA,最常见的可重用代码是函数。例如,通过函数可以从多个宏访问同一代码块。...如果你有多个一直在使用的函数,可能希望在工作簿之间共享它们。跨工作簿共享VBA代码的标准工具是加载宏,但VBA加载宏缺乏一种可靠的分发和更新方式。...当运行上述测试时,将会失败,因为100欧元/1.05将不会像测试预期的那样再产生105美元。这样,你可以在将电子表格交给用户之前检测并修复公式。...PowerQuery连接到多种数据源,包括Excel工作簿、CSV文件和SQL数据库,还提供与Salesforce等平台的连接,甚至可以扩展到与未开箱即用的系统的连接。...PowerQuery的核心功能是处理太大而无法放入电子表格的数据集。加载数据后,你可以执行额外的步骤来清理和操作数据,使其以Excel中可用的形式出现。

5.3K20

如何用PowerBI自定义函数批量爬取财务报表

近期,学习了马老师的商业智能财务分析(PowerBI)课程后,不免手痒,教学中的案例数据不过瘾,于是在PowerBI学友的启发下,自己找现实数据玩了起来。...字段“zcfcb”的每一个单元格中的Table都是一张完整的资产负债表数据,这种方案是先解决局部,再向上逐一击破,打开表格就是完整的数据。 ? 加载数据后,几张表建立关系。 ?...在增加了两个数量级之后,PBI爬取数据的软肋就凸显出来,读取网页表格变得非常缓慢,仅资产负债就有将近500万+行数据,全部加载到PBI耗时两个小时,一度让我非常抓狂。 缺失!...由于一些不知的原因,在爬取过程中存在一些上市公司的数据缺失,返回的是空表。而且测试中发现有不稳定的情况,同一只股票单独可以抓取到数据,但放在参数里出现了错误。...6 总结 PBI的PowerQuery虽然可以批量读取数据,但它更适合对接数据库,CSV这些确定的数据源。对于获取网页数据,它对数据的结构要求非常高。

3.2K12
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    PowerBI 疫情分析 之 全球数据获取

    在此前我们发布了:疫情分析,很多小伙伴要求得到数据可以自己演练。 今天我们说两个事: 直接使用规整的全球疫情数据 20.04.15 20点 直播 某疫情作品 解析(作者参与) 直接使用疫情数据 ?...该研究将全球疫情数据彻底开源化,大家可以直接使用。...如下: https://github.com/CSSEGISandData/COVID-19 可以直接基于该研究组织提供的数据来进行可视化分析,数据初始结构: ?...点击“Raw”可以查看原始数据的CSV格式。 在 PowerBI 中通过几步 PowerQuery 的变换就可以得到规整的数据来进行分析,如下: ?...系统太智能了,又帮我们把类型给转换了,这就导致又固定了列数,导致以后刷新会失败,所以应该去掉这句。 再进行逆透视即可。 数据好了加载到数据模型,由于有了经纬度数据,很快地进行可视化即可。

    86840

    流量结构分布图——炫酷和弦图

    今日这篇还是通过R语言的rechats包和PowerBI的和弦图小插件来展示此图的做法,展示中国七个大区与全球各大区的贸易往来关系(数据纯属虚构)。...R语言版: library(recharts) setwd("D:/R/File")Provinece State Value Chordchart csv("ChordchartData.csv...接下来展示PowerBI里面的和弦图做法: 首先去他的在线社区下载和弦图的相关插件(还有demo文件可以提供)。 ?...下载完成之后加载并导入数据:(关于数据结构,与桑基图如出一辙,不过和弦图更适合展示一个阶段的两节点信息,这样和弦图的数据结构就更加简单了) ?...保存并发布,在PPT中插入PowerBI file插件,键入账号密码登录,选择刚才保存并发布的chortchart文件对象,导入PPT页面。 ?

    1.8K50

    赶快收藏零安装立即整合Excel与PowerBI的神奇工具ExcelBIPro

    这是为了高手准备的,当你使用 PQ 加载数据后,则有: 此时,“设置表格属性” 和 “刷新表格数据” 都是可用状态了。...所以很自然地有了: 从 Excel 接通 PowerBI 后,那你想干嘛干嘛了。简直无法无天了。...Excel BI Pro - 打通多个 PowerBI 如今,我们增强了这一特性,大家现在不但可以打通 PowerBI,还可以打通并更新多个 PowerBI 的链接。这里具体说明。...连接 PowerBI 在确保有一个到多个 Power BI 文件是打开的情况下,再点击【连接 PowerBI】,如下: 在你打开了的多个 PowerBI 文件中选择一个来进行连接。...PowerBI 连接的断开 当 PowerBI 文件关闭后,PowerBI 连接也就断开了。此时刷新透视表将会收到错误信息,你可以看到该信息表示你无法连接到原来的数据模型。

    2.2K40

    【高级应用】PowerBI增量刷新原理揭秘及实战详解

    这里来打消很多小白用户的错误想法,请遵守以下条件: 没有云端帐号,无法增量刷新。 没有数据网关和正确配置,无法增量刷新。 没有本地数据源服务器(如: SQL Server)无法增量刷新。...如果你无法找到可以做实验的企业数据,可以自己造,简单方法的大致思路: 在 Excel 里先准备好一票数据,例如: 1万行,保存为 csv。 在 SQL Server 里导入这些测试数据。...在 PowerBI Desktop 进行设置 - 获取数据 用 PowerBI Desktop 连接这些数据,平时怎么连接就怎么连接,但注意: 不要加载,因为数据量很大; 只加载样本数据。...问题是如何只加载样本数据呢?这里需要用到两个重要的系统参数。请先在查询编辑中创建这两个参数,如下: 这两个参数是:RangeStart 和 RangeEnd,请注意: 名字可以写对不?...,它可以帮助我们借助 PowerBI 云端存储大规模数据并使用 PowerBI。

    4.7K41

    国际水准,中国首款重量级PowerBIDeskTop外部工具问世

    多个PowerBI模型连接切换 在PowerBIDeskTop的外部工具入口处打开的PBI催化剂,自动携带了当前打开的pbix文件对应的端口号和数据库信息,但若需要切换其他数据模型,特别是需要连接Sqlserver...最后,打开多个pbix文件,需要多个模型间转换时,在新的版本中,再加上了窗体标题可识别当前打开的PBI催化剂属于哪个模型的,方便查看。 ?...Excel透视表连接PowerBI模型 在PowerBIDeskTop数据模型中,因其每次打开PowerBIDeskTop加载pbix文件时,都会以一个全新的msmdsrv服务的形式运行,此服务对应的地址端口号会变化...Excel透视表现有PowerBI模型连接更新 以前面一点所述,因端口号每次打开同一个pbix都会变化,所以已创建好的数据透视表连接,下次使用,仍然存在端口号不对,访问失败的情形。...特别增加了新增功能,在导入对象模型不存在时,可新建一个对象,并赋值导入的其他列配置信息,特别适用于同一个PowerBI模型多个pbix文件版本需同步更新合并度量值、计算列信息使用。 ?

    3.1K20

    中国首款重量级PowerBIDeskTop外部工具问世

    多个PowerBI模型连接切换 在PowerBIDeskTop的外部工具入口处打开的PBI催化剂,自动携带了当前打开的pbix文件对应的端口号和数据库信息,但若需要切换其他数据模型,特别是需要连接Sqlserver...最后,打开多个pbix文件,需要多个模型间转换时,在新的版本中,再加上了窗体标题可识别当前打开的PBI催化剂属于哪个模型的,方便查看。 ?...Excel透视表连接PowerBI模型 在PowerBIDeskTop数据模型中,因其每次打开PowerBIDeskTop加载pbix文件时,都会以一个全新的msmdsrv服务的形式运行,此服务对应的地址端口号会变化...Excel透视表现有PowerBI模型连接更新 以前面一点所述,因端口号每次打开同一个pbix都会变化,所以已创建好的数据透视表连接,下次使用,仍然存在端口号不对,访问失败的情形。...特别增加了新增功能,在导入对象模型不存在时,可新建一个对象,并赋值导入的其他列配置信息,特别适用于同一个PowerBI模型多个pbix文件版本需同步更新合并度量值、计算列信息使用。 ?

    4K40

    逆天神器让你的数据1秒可视化!

    别慌,这个时候让我们拿出微软的大杀器——PowerBI ? 来来来,让我们看看怎样使用它。 首先呢,我们需要有一个传统的excel工资表。 ?...(图表数据纯属虚构) 然后我们打开powerBI,选择获取数据。 ? 接着我们选择execl格式,选择链接。 ? 找到刚才的工资表。 ? 然后,打开,稍等片刻。 ? ?...因为这个表比较多,我只选择其中的员工信息表,点击加载。 ? 加载之后,我们看到右边出现了很多字段和可视化。 ? 这里选择柱状图,并勾选姓名与基本工资。 这样一个简单的透视表已经出来了。你以为这就完了?...本篇文章仅仅选择了最简单的功能进行描述,BI 的其他特点也体现在其口号上: Anydata, Any where, Any time Any data: PowerBI已经支持各种数据源,包括文件(如Excel...,CSV,XML,Json,文本等,还支持文件夹),数据库(常见的关系型数据库如Access,MSSQL,Oracle,DB2,Mysql等等),还有各种微软云数据库,其他外部数据源(如R脚本,Hadoop

    67640

    你的PowerBI加载Excel很卡?不妨试试这个

    当Excel文件较大,比如行数以万计,又或者有几十列,文件有几M乃至几十M或上百M,PowerBI加载起来挺费时间。比如我曾遇到加载一个16M的文档,花了一两分钟。...也有网友反映,加载多文档合计四五百万行的数据,花了大约4个小时。 提速方法很简单,只需要把excel文档,另存为csv格式即可。...克里斯韦伯大神对此也有一篇文章,节选翻译如下: 首先,我用一个 153.6MB的 CSV 文件做查询,大概花了9秒,如下所示: 然后在 Excel 中打开了同一个 CSV 文件,并将数据保存为一个 xlsx...这是此查询与第一个查询的性能比较: 上图中的黑线是从 Excel 读取数据的耗时图(实际上是显示从文件中读取数据的位置的偏移值,这与 Power Query 读取所有数据时的运行总计相同)文件;绿线是从...CSV 文件中读取数据的图(与上面第一张图中显示的数据相同)。

    3.4K20

    PowerBI 企业级建模设计流程框架

    能力 玩转 PowerBI 根本不是一个简单的问题,它涉及多个方面和多种能力,简单体会如下: 必须具备三方面的专家级能力: 必须是业务专家:精通所在的领域或行业,并用业务驱动,可以与用户进行全域(从业务到逻辑到数据的全部内容...流程 在这个工作流程中,将PowerBI设计从数据源经过: 数据准备:将数据从数据源提出到加载进入建模之前的阶段。 数据建模:增强数据模型的原本不包括的信息和计算方法。...(最终一步) 这两步的区别在于:后者可能包括很多的无实际业务语义的辅助表,但仍然属于表格模型的一部分。...通过数据源与业务指标形成语义模型可以采用 DAX 无侵入式设计(此前文章以及会员订阅已有不完全讨论,后续将系统化进一步展开),来实现如何利用数据源实现表示业务指标逻辑的 度量值。...则可以进一步使用 DAX 无侵入式设计 与 分析的动态可变性 通过 辅助表 结合实现。 PowerBI DAX 设计模式 SQLBI 的大师曾给出过多个 DAX 设计模式。

    1.7K10

    2.38 PowerBI数据建模-数字单位的3种方案

    加入 PowerBI自己学 知识星球 可以:下载源文件,边学边练;遇到问题,提问交流,有问必答。...在PowerBI中,使用数字单位会遇到如下痛点:1 使用固定单位,较小权限用户的数字较小,数字可能会变成0;2 固定单位是英文用户的千分位习惯,不满足中国用户的万、亿等习惯;3 使用系统自带的自动单位,...操作步骤STEP 1 点击菜单栏主页下的输入数据,创建一个单位表。STEP 2 选中单位表中的单位列,点击菜单栏列工具下的按列排序,选择单位序号。这样,切片器中的单位就按指定顺序排列了。..., "#,.0" & " K", [Sales]>=-1E9, "#,#,,.0" & " M", "#,#,,,.0" & " Bn")STEP 3 如果是图表,需要在图表的格式中,将Y轴值的单位和数据标签值的单位设置为无单位...在画布中显示如下:报告发布后,在网页中导出数据时选择.xlsx格式,导出后仍然是数字格式。如果选择.csv或者在PowerBI桌面版中导出(也是csv),就不是数字格式了。

    8710

    PowerBI中对单个表刷新竟然可以这样实现

    手动刷新时会将全部的表和数据源都刷新一遍,只要有一个数据源缺少凭据就会失败。 并且,在这种情况下,根本无法配置计划刷新。...但是经过测试发现,仍然失败了: 错误提示如下: 数据源错误: {"error":{"code":"DMTS_DatasourceHasNoCredentialError","pbi.error":{...而任何数据刷新,第一步都是要检测数据源凭据是否有效,因此会导致失败。 然而我们发现,其中仍然有两次单表刷新是成功的。...我们从“获取”入手,来看PowerBI获取数据的方式,不知你有没有一眼看到答案呢? 没错,正是“PowerBI语义模型”,也就是之前的数据集。...第三种方案混合模式更是能够解决大量其他问题,如:多张表分别单独刷新,单独计划刷新完全不受影响;多人整理多个数据集,合在一起制作报告;突破pro账号中单个数据集不允许超过1GB大小的限制;等等。

    88311

    1.3 PowerBI数据准备-获取文件夹,合并相同表头Excel或CSV

    加入 PowerBI自己学 知识星球:下载源文件,边学边练;遇到问题,还可以提问交流。...文件夹内有多个Excel文件,通过获取文件夹可以获取多个Excel文件,但是直接点击组合按钮后经常遇到报错,因为此操作对数据有一定的要求:1 文件夹中只能有Excel类型的文件;2 每个Excel文件中需要合并的...举例从如下带有诸多冗余信息的文件夹中,获取并合并多个非隐藏的相同表头Excel文件。操作步骤STEP 1 点击菜单栏获取数据下的更多-文件夹,选择好本地文件夹后,不要点击组合或加载,点击转换数据。...如果是CSV文件,转换公式如下:Csv.Document([Content],[Delimiter=",", Columns=1, Encoding=65001, QuoteStyle=QuoteStyle.None...图片图片图片STEP 10 点击列标题左侧的类型图标,按需修改每列的数据类型,然后关闭并应用。

    8500

    PBI催化剂较Tabular Editor好用易用之处

    但能够使用脚本,必须会一些C#的编程技术,否则可能只能借助其Wiki上写的例子简单操作下,很难有能力驾驭住,当然有了PBI催化剂后,当有共性且高频使用的,笔者也已经将其封装起来,实现更为友好地界面式操作,无感底层的代码级别的复杂度...,类似以逗号分隔的csv文件)。...且存在换行符、制表符错乱问题,导出的数据需要整理很长时间,导入数据时,如果需要修改DAX表达式等含有换行符、制表符的,最终只能得到错误的结果。...诚然,这些为批量性操作带来了可能,但单从界面操作来说,还是不能直接零代码实现,就算使用了高级脚本的代码编写操作,因为其Selected对象不能跨文件夹选择对象的原因(多个显示文件夹里的多个度量值不能同时选定...结语 Tabular Editor无疑是一款非常优秀的PowerBI建模辅助工具,特别对于企业级PowerBI项目来说,面对复杂的数据模型,没有工具的提升,单纯使用微软原生的开发工具,效率非常低。

    2.3K30

    开启数据科学之旅

    Pandas:很重要的库,比如加载数据集、创建DataFrame对象,Pandas在分析和预测方面能够实现你想做的任何事情。...train = pd.read_csv('train.csv') 以上,我们载入了数据集,pd是对pandas的重命名(import pandas as pd),read_csv是pandas里的一个函数...一个数据点包含了一个信息还是多个? 展示一段时间的数据,还是将它们分组? 这些会影响图示的效果。 上面这张图帮助我们理清楚何时用何种类型的可视化方式。...对于学习数据可视化而言,上面的图示是具有高度参考价值的。很多公司都希望通过数据告诉我们吸引人的故事。 可视化工具,比如Tableau、PowerBI等创建的仪表盘,能够告诉我们数据中的故事。...在机器学习中,有两类算法: 有监督学习:如果数据中有标签列,就可以使用有监督学习,机器会查找跟数据匹配的标签。 无监督学习:没有标签时就要用无监督学习,机器会对数据进行聚类,并找到数据之间的关系。

    60610

    PowerBI 多种增量刷新方案最大支持100T数据存储及单个模型50G+

    一般情况下,在PowerBI或PowerBI Desktop中点击【刷新】按钮,会将数据源的数据全部刷新一遍,如果数据源数据很多,而每次变化的很少,例如只有最近一日发生变化,那这种不问青红皂白就直接全部刷新的方法显然会耗时耗力...随着2018年5月PowerBI的升级,Premium开始支持真增量刷新,本文来说明目前可以用来在PowerBI中实现增量数据刷新的技巧。...在数据加载进入数据模型之后,我们也可以实现增量刷新的效果,使用DAX的UNION函数将多个表纵向合并即可。...删除加载的订单,此时数据模型会出现大量报错,因为没有了订单这个表。 用UNION的方式合成新表并命名为订单,并补足关系,理论上可以修复所有的错误。...但在实际实践中,可能并不能修复所有错误,仍然有大量错误存在,这视具体实际情况而定。 因此,这种删除后重新用DAX计算表的方式弥补订单存在风险,务必备份数据。

    2.4K10

    全球首发,PBI催化剂更新,PowerBI参数字段表再爱多一点,批量创建,纯界面零代码,Excel数据源一键生成。

    PBI催化剂首次直播回看 文字版的详尽介绍教程如下: 多个PowerBI模型连接切换 在PowerBIDeskTop的外部工具入口处打开的PBI催化剂,自动携带了当前打开的pbix文件对应的端口号和数据库信息...最后,打开多个pbix文件,需要多个模型间转换时,在新的版本中,再加上了窗体标题可识别当前打开的PBI催化剂属于哪个模型的,方便查看。...Excel透视表连接PowerBI模型 在PowerBIDeskTop数据模型中,因其每次打开PowerBIDeskTop加载pbix文件时,都会以一个全新的msmdsrv服务的形式运行,此服务对应的地址端口号会变化...对应的功能菜单如下: Excel透视表现有PowerBI模型连接更新 以前面一点所述,因端口号每次打开同一个pbix都会变化,所以已创建好的数据透视表连接,下次使用,仍然存在端口号不对,访问失败的情形...特别增加了新增功能,在导入对象模型不存在时,可新建一个对象,并赋值导入的其他列配置信息,特别适用于同一个PowerBI模型多个pbix文件版本需同步更新合并度量值、计算列信息使用。

    2.1K30
    领券