我正在考虑使用streams和tasks将数据从Kafka Snowflake连接器创建的CDC表( JSON格式)转换和传输到完全结构化的Snowflake表。我想知道流可以处理的数据量是否有任何限制。我说的是每天处理数百万条记录。 是否有人已经在大数据上测试了流？ 提前谢谢。
浏览 19提问于2021-04-27得票数 0
2回答
我想在雪花表中实现scd2。我的源表和目标表只存在于snowflake中。整个过程必须使用Azure数据工厂来完成。我浏览了azure提供的使用数据流实现scd2的文档，但当我尝试为snowflake connection创建数据集时，它显示为禁用。有没有任何方法或任何文档，我可以看到步骤，在adf中创建雪花<
浏览 33提问于2020-06-10得票数 0
我是snowflake的新手，在AWS上探索snowflake。当数据存储在snowflake中时，我知道我们可以在分区中创建和管理数据，就像我们在hive中所做的那样。如果是，我们该如何做，以及如何在AWS上对其进行管理？
浏览 6提问于2020-12-03得票数 0
回答已采纳
我试图在雪花DWH中记录表刷新的详细信息，包括以下批次日期、源表名称、目标表名、加载的行数、时间戳、状态、err.Message。是否有任何标准的SQL\Snowflake存储过程可以作为通用存储过程，用于整个DWH跟踪\audit表刷新详细信息并将其记录到单个表中。我有捕获批处理日期、目标表名、源表名称等的变量……如果我得到<
浏览 1提问于2020-06-05得票数 0
2回答
Snowflake的文档说明，当有插入/更新/删除或其他DML操作在表上运行时，通过在特定表上创建流，可以让任务在计划的基础上运行。如果来自外部Snowflake数据共享的视图被刷新，即删除并重新创建，是否有办法让任务运行？作为这个提议的管道的一部分，我们
浏览 0提问于2019-12-05得票数 1
它都在使用模式名称在所有大写(大写)中的位置。但是液化基并没有找到我的模式中的任何一个混合案例，例如(This_Schema)。
我试过把这个放进去，但没帮上忙。db=${env.SNOWFLAKE_DB}&schema=${env.SNOWFLAKE_SCHEMA}&warehouse=${env.SNOWFLAKE_WH}&role=错误架构'LIQUIBASE_DB.THIS_SCHEMA
浏览 3提问于2019-10-11得票数 0
回答已采纳
我有一个Alteryx工作流，它从snowflake表中选择所有内容，向表中添加RecordId列，然后使用新名称将结果上传回snowflake。问题是: Snowflake不能识别RecordID列。
如果我使用SELECT * FROM NUMBERED_TABLE，它会成功读取整个表，显示每个字段，包括RecordID。NUMBERED_TABLE进行选择，则会得到消息SQL compilation error: error line 1 at
浏览 15提问于2021-02-13得票数 1
回答已采纳
1回答
是否可以使用Snowflake表作为Databricks中spark结构流的源？当我运行以下pyspark代码时： sfUser=user,options(**options) \
浏览 10提问于2020-02-20得票数 0
2回答
我在snowflake中有两个表，名为table1和table2。Table1是包含增量数据的源表，table2是目标表。我尝试在ADF中创建数据流，但它不允许我直接与雪花连接，因为它不在支持的源列表中。本机snowflake连接器仅支持复制数据活动。因此，作为一种变通方法，我首先创建了一个复制活动，将数据从雪花复制到天蓝色斑点。然后使用Azur
浏览 6提问于2020-06-16得票数 0
我已经创建了任务和过程，并且在任务中验证流表是否有任何新的插入，然后从任务触发过程，但是在这种情况下，我的流表甚至没有被清除，事务从过程中成功地完成。请您帮助我，当我执行任务的过程时，我如何能够清除流。stream> WHERE <condition>`;
c
浏览 0提问于2021-04-13得票数 0
3回答
这是关于正在清空的表上的流，尽管我正在确保" on“条件与源表和目标表中的1:1行匹配。我在一个表上有一个流，它的状态如下。actiona, 2, Jane, DELETEb, 2, Jane, INSERT合并前<em
浏览 1提问于2020-11-21得票数 1
我在snowflake有一个7TB+表，我想把这个表的一半放到一个新表中。例如，使用国家/地区过滤器。你有什么建议吗？插入select * from表where COUNTRY = 'A‘或使用雪花管道将拼图格式发送到S3，然后复制到表中到雪花目标表中 我尝试了第一个选项。5小时后，该过程为35%。他读到了另一个帖子，上面写着雪茄是个不错<em
浏览 8提问于2021-06-15得票数 0
8回答
雪花更新
、
MySQL有一个“更新时”的特性，例如 CREATE TABLE t1 ( dt DATETIME DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP
); 我需要一个类似的行为，在snowflake中，我可以更新一个列，每次行上有更新时都会说“time upda
浏览 17提问于2019-09-23得票数 1
我在snowflake中有一个表，我正在使用执行批量加载。表中的某一列是date，但在sql server上的源表中，date列中的值为null。数据流如下： sql_server-->S3存储桶-->snowflake_table 我可以在EMR中执行sqoop作业，但不能将数据加载到sn
浏览 26提问于2021-10-06得票数 2
回答已采纳
我正在尝试运行Utils.runQuery(connection, "create table test_to_delete")。文档上说我不需要任何安装。
浏览 0提问于2020-03-24得票数 1
它看起来像# comment其余的句子，但如果我们试图将它包含在执行命令中，它会抛出错误。(假设在#符号之后，由于文本的注释变成灰色)我知道在snowflake中没有用于注释的官方文档。但我们在snowflake中使用//或--表示注释。任何人都知道# symbol在snowflake中的用法/含义/等价性
浏览 1提问于2021-02-23得票数 0
我正在尝试使用这个脚本在snowflake中设置我的表和数据库。我遗漏了什么？一切似乎都很正常，我似乎在snowflake文档中找不到任何关于这个特定错误的帮助。我假设snowflake sqlalchemy连接器将解决唯一索引的创建问题。
到目前为止，脚本确实创建了几个表，但当它到达这一部分时，它会抛出错误。> sqla
浏览 2提问于2020-02-19得票数 1
云服务器
ICP备案
实时音视频
对象存储
云直播
腾讯云开发者
