文章/答案/技术大牛

发布

社区首页 >问答首页 >数据库中的增量表和Power BI中的增量表

问数据库中的增量表和Power BI中的增量表
EN

Stack Overflow用户

提问于 2021-08-12 06:28:12

回答 1查看 711关注 0票数 2

我通过在Databricks中挂载并创建一个表(“使用增量”)来连接到Azure gen 2数据湖中的增量表。然后我在Power BI中使用Databricks连接器连接到它。

首先，我不清楚数据湖和Databricks中的Spark表之间的关系。Spark表在每次查询时都会从数据湖(增量湖)检索最新的快照，这是正确的吗？是否也不可能通过对Spark表的操作来影响数据湖中的更改？

其次，减少Spark表中的列的最佳方法是什么(理想情况下，在将其读取到Power BI之前)？我尝试用指定的列子集创建Spark表，但得到了一个cannot change schema错误。相反，我可以创建另一个从第一个Spark表中选择的Spark表，但这似乎效率很低，并且(我认为)需要根据Power BI报告的刷新计划频繁地重新创建。我不知道是否有可能有一个引用另一个Spark delta表的Spark Delta表，这样当查询时，前者也总是最新的快照？

如您所知，我对此的理解是有限的(文档也是如此！)但是任何的指针都非常感谢。

提前感谢您的阅读！

powerbi

databricks

azure-data-lake

delta-lake

apache-spark

回答 1

Stack Overflow用户

发布于 2021-08-12 06:49:52

Spark中的表只是一个指定数据所在位置的元数据。因此，当您读取表时，Spark只需在元存储中查找数据存储位置、模式等信息，并访问这些数据。对ADLS所做的更改也将反映在该表中。也可以从工具中修改表，但这取决于处理数据的Spark集群有哪些访问权限-您可以在ADLS级别或使用table access control设置权限。

对于第二部分-您只需要在原始表上执行create a view操作，该视图将只选择有限的一组列-数据不会被复制，原始表中的最新更新将始终可用于查询。类似于：

CREATE OR REPLACE VIEW myview
    AS SELECT col1, col2 FROM mytable

附注:如果你只是通过PowerBI或其他BI工具访问，你可以看看Databricks SQL (当它将在公共预览中出现时)，它针对BI用例进行了大量优化。

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/68759323

复制

Android中Action和Category常量表

其他

Action Action常量对应字符串简单说明 ACTION_MAIN android.intent.action.MAIN 应用程序入口 ACTION_VIEW android.intent.action.VIEW 显示指定数据 ACTION_ATTACH_DATA android.intent.action.ATTACH_DATA 指定某块数据将被附加到其它地方 ACTION_EDIT android.intent.action.EDIT 编辑指定数据 ACTION_PICK android.in

用户3004328

2018/09/06

2.1K0

Postgresql中的values list常量表

postgresql list 磁盘排序数据

values lists用于构建常量表，常量表的数据只存在于SQL中，无需在磁盘上创建出来。

mingjie

2023/04/27

4830

Power BI中配色的问题

dax get powerbi 报表

在我们做报表的时候，经常遇到说某些数据想突出显示一下，当然，微软是支持数值颜色渐变对比的，但是怎么说呢，就像是下图那样，有时候并不是很符合我们对于报表的需求：

PowerBI丨白茶

2021/09/02

2.6K0

Power BI中的归纳整理

bi 报表表格

因为对于度量值来说，是全局性的，虽然需要依附在表里，但是可以自由移动，可以专门建立度量值的表来管理。

逍遥之

2020/03/24

2.1K0

数据库中设置列/字段自增（Oracle和Mysql）

数据库云数据库 SQL Server sql

oracle 1、创建一个序列，然后在需要自增的字段里使用它 drop sequence seq_stu create sequence seq_stu start with 22 Increment by 1 maxvalue 999 nocache nocycle; --这是最详细的一种序列的创建，指定了序列从22开始，到999结束，每次使用后都自增1 create sequence seq_stu --这是最简单的一种序列的创建方式，指定了序列从1开始，每次使用后都自增1 drop sequen

时间静止不是简史

2020/07/24

7.3K0

增量表全量表拉链表区别_hive 增量数据更新

dp dt time

2020-06-02首页和商详页又产生了2条访问数据，该两条即为2020-06-02新增的数据，表更新后，dt分区2020-06-02新增2条数据（标红），此时数据表如下：

全栈程序员站长

2022/11/03

2.6K0

情感的强度分类_情感量表

搜索引擎 https 网络安全

其中，p1,p2为两个需要计算比较的义原，Depth(p)是义原层次体系中的深度，Spd(p1,p2)表示p1，p2两者在层次体系的重合度。

全栈程序员站长

2022/09/23

3940

优化Power BI中的Power 优化Power BI中的Power Query合并查询效率，Part 1：通过删除列来实现

sql sql server 数据库文件存储网站

合并查询在Power Query中是很成熟的应用，相当于SQL中的各种JOIN（抽时间会写几篇SQL的join，算是SQL的小核心）。但同时，在Power Query中合并查询是一个常见的影响刷新效率的因素。在我的工作中，经常会遇到对一些非文件夹性质的数据源进行合并查询操作，所以我一直在想，有没有办法可以对其进行优化。最近我正好做了一些测试，希望这些结果能够帮助到大家。

陈学谦

2020/06/17

4.7K0

ACCESS 中自增ID的创建和生成

access

在 Access 使用过程中，自增ID的存在将带来很大的便利性，既可以唯一标识每行记录，又可以快速知晓文件的行数，那么，如何才能在 Access 表中创建和生成自增ID呢？本文简单介绍几种方法，供大家参考使用。

披头

2022/08/22

4.2K0

C++ 中的预增（或预减）

打包编程算法

theme: channing-cyan highlight: a11y-dark

鲸落c

2022/11/14

8040

如何解决MSSQL自增字段突然增大1000中的自增跳跃问题？

sql sql server 数据库

昨天看服务器提示有补丁升级，就重启了一下服务器。可是今天用户反馈一个记录的Id跳了1000开始，心想这下是不是程序的bug，或者有数据丢失了？

崔文远TroyCui

2019/07/15

2.6K0

jvm 的局部变量表

存储 jvm 变量翻译虚拟机

潇洒

2023/10/20

1890

jvm 的局部变量表

java 翻译虚拟机

Java中方法的局部变量是放在虚拟机栈的局部变量表里面，形参也算一个。本地变量表，就是局部变量表，只是翻译不同。代码说明

潇洒

2019/06/28

1.2K0

数仓之全量表、增量表、快照表、切片表、拉链表

存储

chimchim

2022/11/13

4.1K0

constexpr 和常量表达式

constexpr 变量对象函数指针

常量表达式是指值不会改变并且在编译过程就能得到计算结果的表达式。字面值属于常量表达式，用常量表达式初始化的const对象也是常量表达式。那么是什么来就决定是不是常量表达式呢？一个对象是不是常量表达式主要看它的数据结构和初始值。例： const int max = 20； // max是常量表达式 const int maxx = max+1； //maxx是常量表达式 int litter = 10； //litter 不是常量表达式 const int sz = get-size（）； //sz 不是常量表达式注释： litter 虽然是一个字面常量但是它的类型只是普通的类型int，所以不是常量表达式。 sz 虽然是一个常量（const）但是它的具体值只能运行时才能获取，所以不是常量表达式。

洁洁

2023/10/10

2140

词向量表示[通俗易懂]

https 网络安全分布式 NLP技术神经网络

语音中，用音频频谱序列向量所构成的矩阵作为模型的输入；在图像中，用图像的像素构成的矩阵数据作为模型的输入。这些都可以很好表示语音/图像数据。而语言高度抽象，很难刻画词语之间的联系，比如“麦克风”和“话筒”这样的同义词，从字面上也难以看出这两者意思相同，即“语义鸿沟”现象。

全栈程序员站长

2022/09/01

1.4K0

constexpr和常量表达式

c++编程算法 ide

常量表达式（const expression）是指值不会改变并且在编译过程就能得到计算结果的表达式。显然，字面值属于常量表达式，用常量表达式初始化的const对象也是常量表达式。

全栈程序员站长

2022/11/11

4060

TensorFlow-9-词的向量表示

tensorflow 机器学习

今日资料： https://www.tensorflow.org/tutorials/word2vec 中文版： http://wiki.jikexueyuan.com/project/tensorflow-zh/tutorials/word2vec.html 这一节是关于 word2vec 模型的，可以用来学习词的向量表达，也叫‘word embeddings’。之前写过一篇：word2vec 模型思想和代码实现，里面有 skip－gram 算法的简单实现。 http://www.jianshu

杨熹

2018/04/03

9310

C语言printf中的自增运算符

汇编语言 c 语言单片机

C语言中，++i表示先运算后赋值，i++表示先赋值后运算。这个知识点相信只要会点编程的人都知道。

全栈开发日记

2022/05/13

8510

李克特量表-likert

scale

李克特量表(Likert scale)是一种心理反应量表，常在问卷调查中使用。李克特量表是社会调查和心理测验等领域中最常使用的一种态度量表形式。这种量表由一组与主题相关的问题或陈述组成，用来表明被调查者对某一事物的态度、看法、评价或意向，可以用来衡量一个陈述的正面或负面回答的比例。

生信编程日常

2020/07/08

1.5K0

相似问题

Power BI桌面从Power查询增量表更新

检查数组中是否存在先增后减再增的数组

父母反增，子内容反增

Mongoose中的自增字段

132

增/减混淆

添加站长进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例

社区富文本编辑器全新改版！诚邀体验～

全新交互，全新视觉，新增快捷键、悬浮工具栏、高亮块等功能并同时优化现有功能，全面提升创作效率和体验

问数据库中的增量表和Power BI中的增量表
EN