1回答
是否可以使用Snowflake表作为Databricks中spark结构流的源？当我运行以下pyspark代码时： sfUser=user,options(**options) \ .load()
我
浏览 10提问于2020-02-20得票数 0
我正在尝试使用从databricks到Snowflake的查询下推。我正在将数据从snowflake(数据源)读取到databricks，创建数据帧，并应用连接、过滤器和聚合函数。代码运行正常，但无法找到查询是否被下推到snowflake。如何检查是否在snowflake或spark(databricks)集群上运行了查询？
浏览 1提问于2021-11-17得票数 1
总之，尝试理解Databricks的结构化流体系结构。
这个架构图也与结构化流相关吗？如果是这样的话，以下是我的问题：
Q1:我看到了，可靠的recievers.Where的概念，这些可靠的收信人是活的吗？司机或工人。换句话说，读取源发生在工人或司机？Q2:正如我们在星火流官方图表中所看到的，接收者是一台接收记录的机器。因此，如果我们在Ev
浏览 6提问于2022-01-14得票数 0
上下文：我们有大约250个第三方聊天应用程序。Q1)使用数据库生态系统处理webhooks的可伸缩实践是什么？有没有可用的http端点来处理
浏览 5提问于2021-11-12得票数 1
1回答
我正在尝试使用Azure上的Databricks，其中有一个Spark结构化的流作业，还有一个非常神秘的问题。我把这份工作写下来了--这是测试、阅读卡夫卡主题和在forEachBatch中安慰自己的基本方法。在Databricks上，任务在5分钟后以“取消”状态结束。日志中没有错误，只有这个，这似乎是某种优雅的关闭请求，但我不知道它是从哪里来的
22/
浏览 3提问于2022-11-04得票数 0
5回答
我正在尝试使用Spark结构化流从Kafka主题读取XML数据。df = spark \ .format("kafka") \
.format('com.databricks.spark
浏览 19提问于2017-09-01得票数 6
回答已采纳
我正在考虑使用streams和tasks将数据从Kafka Snowflake连接器创建的CDC表( JSON格式)转换和传输到完全结构化的Snowflake表。我想知道流可以处理的数据量是否有任何限制。我说的是每天处理数百万条记录。 是否有人已经在大数据上测试了流？ 提前谢谢。
浏览 19提问于2021-04-27得票数 0
我们希望将转换后的数据存储在Azure数据库中，并将其用作power BI仪表板的来源。一方面，我们希望在仪表板上显示“几乎”实时的数据(由于转换等原因造成的延迟是可以接受的，但是仪表板需要非常频繁地刷新，比方说每分钟刷新一次)，但我们也希望存储转换后的数据并在以后查询它，例如，仅在给定的一天可视化数据我读到可以在data Lake上存储结构化数据，甚至可以对其进行查询，但我不确定这是否是最好的解决方案。 (我当前的
浏览 15提问于2020-07-24得票数 0
回答已采纳
我正在寻找一个包，或者使用redshift作为结构化数据流的源的以前的实现。io.github.spark_redshift_community.spark.redshift does not support streamed reading有没有已知的变通方法或方法/模式可以用来实现(在pyspark中) re
浏览 2提问于2020-11-18得票数 0
1回答
雪花表作为数据库中的外设表
、、、、
有没有人知道是否有可能在databricks蜂巢转移中将雪花表设置为外部表？CREATE TABLE IF NOT EXISTS <DATABASE>.<TABLE_NAME> USING DELTA LOCATION <PATH_T
浏览 7提问于2021-10-25得票数 2
回答已采纳
2回答
我的源表和目标表只存在于snowflake中。整个过程必须使用Azure数据工厂来完成。我浏览了azure提供的使用数据流实现scd2的文档，但当我尝试为snowflake connection创建数据集时，它显示为禁用。有没有任何方法或任何文档，我可以看到步骤，在adf中创建雪花表的SCD2。 感谢vipendra
浏览 33提问于2020-06-10得票数 0
我们目前正计划使用Databricks作为计算平台，Snowflake作为我们的DWH系统。我们已经计划将基于单点登录的登录用于这两种方式，并将我们的公司ADFS作为IdP，我们仍处于规划阶段。我想检查在Snowflake上启用SSO是否会限制我们在与Snowflake交互的数据库上运行作业以读取/写入数据的能力。如果是，我们有什么替代方案来提高登录安全性？如果这种设置实际上是可能的，请有
浏览 22提问于2021-04-14得票数 0
为了保证卡夫卡制片方的幂等性，只有一次语义学：
设置为true的producer.Props.put("enable.idempotence"，"true")是否就足够了？我不确定“承诺”方法是否从阅读这篇文章中消除了这个问题，因为这是一个不同的方面。因此，声明的担保也不是很难做到的。想确认一下。
浏览 0提问于2019-12-03得票数 0
回答已采纳
我使用这段简单的代码从目录中读取json文件流。代码在Databricks笔记本上工作得很好，但是在本地运行时会抛出一个错误。我使用databricks-connect (Version8.1)连接并通过集群运行脚本。我尝试使用不同的方式使用选项、格式来读取流，并确认了我与databricks集群的连接。我有3.1.1和java 8版本。py4j.protocol.Py4JJavaError: An error occurred while calli
浏览 3提问于2021-04-21得票数 4
Snowflake应该作为我们的数据湖，可以减少我们从AWS使用的存储量。有没有内置的功能可以从外部stage -->内部stage传输数据？目标是将数据加载到内部Snowflake阶段，然后从AWS中删除数据。我们希望Snowflake成为数据湖。
浏览 49提问于2020-07-28得票数 0
我们即将进入POC，需要确定Snowflake任务和流是否对CDC和数据转换有用。我已经阅读了snowflake文档，并且我读得越多，它看起来就像是一个复杂的混乱，难以处理。考虑到成千上万的表和复杂的转换，任务和流将如何扩展？考虑一个从其他5个提要加载的表，这个过程会是什么样子。最重要的是，snowflake没有提供任何可视化来处理任务。你们中一些使用Snowflake streams/t
浏览 13提问于2021-03-23得票数 0
1回答
我正在创建一个应用程序来处理1000万个json文件，其中json的大小可以从1mb到50mb不等。为了避免给驱动程序增加负担，我使用结构化流api一次处理10万个json文件，而不是一次加载所有源文件。.schema(mySchema)writeStream启动流计算整个过程需要几天时间才能完成对1000万个json文件的处理。如何使这
浏览 5提问于2021-01-07得票数 0
1回答
databricks-connect文件和库中的jars
这些基本上是在配置databricks之后生成的文件--使用命令databricks-connect在本地system.Since上连接--这是一个交互过程["conda", "run", "-n", "snowflake-graphdb", "databricks-connect", "test&quo
浏览 1提问于2020-10-16得票数 3
2回答
在我的星星之火结构化流应用程序中，我正在读取来自Kafka的消息，过滤它们，然后最终坚持到Cassandra。我用的是火花2.4.1。从结构化流文档中
容错语义提供端到端的精确一次语义是结构化流设计的关键目标之一。为此，我们设计了结构化流源、接收器和执行引擎，以可靠地跟踪处理的精确过程，以便它能够通过重新启动
浏览 0提问于2019-04-24得票数 2
1回答
我想使用外部度量系统来监控spark中的流进度。为此，我应该尽快发送带有指标的通知(读取、转换和写入的记录数量)
StreamExecution使用ProgressReporter将带有统计信息(numInputRows、processedRowsPerSecond等)的QueryProgressEvents发送到StreamingQueryListener。问题是，当批处理中的所有数据都被处理时，就会发生这种情况。然而，我希望在它们从源读取(在转换和写入发生之前)时立即得到输入行数的通
浏览 0提问于2018-02-10得票数 3
云服务器
ICP备案
云直播
即时通信 IM
实时音视频
腾讯云开发者
