1回答
我有一个从s3读取的json文件 {"name":"bob", "currentTime":"null"} 我在雪花里创造了一个舞台。当我这么做的时候 Select $1:name, $2:currentTime
from @myStage/mydocument 我得到了我所期望的 $1:名称$2:currentTime "bob“"nullSelect $1:name, $2
浏览 38提问于2020-07-18得票数 0
回答已采纳
2回答
要求:我们将一组客户id存储在snowflake表中，now.We希望迭代每个客户id，并使用WebAPI从亚马逊S3获取所有客户详细信息，然后将其写回snowflake表。当前的系统使用Azure Databricks(PySpark)来发布客户id，并使用WebAPI从S3获取相关的json数据，解析json来提取我们需要的信息并将其写回snowflake。我们想的解决方案不是使用python Web API，而是使用azure数
浏览 19提问于2020-06-10得票数 0
我正在写从S3到雪花。我的雪花火花缭乱的包裹net.snowflake:spark-snowflake_2.12:2.9.2-spark_3.1我的程序正在按预期工作，从s3中读取存储结果到雪花。如何删除此警告？
浏览 8提问于2022-03-12得票数 0
对于AWS s3，我还比较陌生，我正在调用一个API直接将JSON数据加载到s3桶中。从s3存储桶数据将由Snowflake读取。研究发现，使用Boto3可以直接将数据加载到s3中。代码如下所示，但是有一件事我不确定，那就是我应该为键放什么，因为我的S3桶中没有创建对象。另外，将JSON数据加载到s3的良好实践是什么？我是否需要将JSON数据编码到'UTF-8‘，就像SO
浏览 1提问于2022-05-21得票数 0
回答已采纳
"s3:DeleteObjectVersion" "Resource": "arn:aws:s3:::poc-qa-output/snowflake/*" "s3:prefix": [ ] }
浏览 5提问于2022-02-23得票数 0
Azure Data将数据从2复制到SnowFlake的所有示例都使用一个存储帐户作为平台。如果没有配置这个阶段(如图所示)，即使我的源是Azure数据湖中的csv文件，我也会在dataset中得到此错误--“只有当源数据集为DelimitedText、Parquet、JSON以及AzureBlob存储或S3 S3链接服务时，才支持将数据直接复制到雪花片，对于其他数据集或链接服务，请启用暂存”。
同时，SnowFlake文档表示外部阶段是可选的。如何在没有外部存储帐户的情况下使用da
浏览 5提问于2021-07-27得票数 0
回答已采纳
有人能建议我如何检查从S3到Snowflake的数据加载结果吗？选项2-将加载结果写入Snowflake中的审核表，然后从</e
浏览 27提问于2020-08-05得票数 0
我已经编写了aws glue job，我试图将雪花表作为spark数据帧读取，并尝试将spark数据帧写入snowflake表。在这两种情况下，我的工作都无法显示“操作模式的权限不足”。那么，当我尝试从dataframe中插入数据或从snowflake表中读取数据作为dataframe时，我的作业为什么会失败呢？}
df=spark.read.format("csv").option(&qu
浏览 0提问于2019-02-09得票数 0
我正在将数据从S3文件复制到雪花中。我通过尝试将“坏”数据推入snowflake来测试这一点，因此将varchar推入时间戳列。parse_json($1):object, null,
浏览 12提问于2018-08-04得票数 0
请建议将数据加载到snowflake的最佳方法，我目前在两种方法之间感到困惑b)。将数据直接从Informatica加载到snowflake，并从Informatica并行加载到s3。
我的最终目标是在S3和snowflake中都有数据，只是不知道该遵循哪种方法。
浏览 3提问于2020-09-09得票数 0
我在S3上存储了每天的MySQL DB快照。这个每日数据库快照是数据库中1000个表的备份，使用mysqldump，大小约为每天300M (存储1年的快照，约为110G)。现在，我们希望每天将这些快照加载到snowflake，以便进行报告。我们如何在snowflake中创建表格？我们要创建1000张表吗？snowflake能够处理这种情况吗？
欢迎所有评论。谢谢!
浏览 8提问于2020-12-06得票数 0
我们选择Snowflake作为我们的DWH，我们想要连接不同的数据源，比如Salesforce，Hubspot和Zendesk。有没有一种方法可以从这些源中提取数据并将其存储在Snowflake中，而不必将数据存储在S3等云存储中，然后将数据读取到Snowflake中？ 在此之前，非常感谢您。
浏览 17提问于2021-08-28得票数 0
创建或替换stage credentials=(aws_role='arn:aws:iam::XXXXXXX:role/role_snowflake') url='s3://s3bucket/ElasticSearch‘
复制到@elasticsearch_dev/test/SAMPLE.json (从样本中选择To_JSON(object_construct(*))，file_format = (type = <e
浏览 1提问于2020-08-06得票数 0
回答已采纳
1回答
我需要帮助确定从不同来源加载数据到snowflake的方法。为了提取数据，我们有etl，talend，tool。现在的问题是，我们是否应该通过snowflake的JDBC驱动程序将数据加载到snowflake，并将snowflake作为etl管道中的目标，或者我们是否应该首先在s3中创建一个文件，在snwoflake中创建s3的stage，然后运行copy into命令从s3加载数据？
浏览 38提问于2020-07-19得票数 0
回答已采纳
数据是从S3获取的。S3中的数据包含定期捕获的用户会话的相关信息。在Snowflake中，我希望存储这些数据聚合。根据文档，snowflake只支持基本的转换，在将数据从S3 staging复制到snowflake中的表的过程中不支持group by和join。
我是ETL和snowflake的新手。我想的一种方法是将原始的详细数据从staging加载到snowflake中的临时表中。然后在临时表上
浏览 6提问于2021-01-07得票数 1
1回答
我有一个任务是将一个大表从Snowflake加载到s3。我需要从一个csv文件中的snowflake表中加载1000条记录到s3，然后在另一个csv文件中从表中连续加载1000条记录，依此类推。例如，我在Snowflake中有一个包含15000条记录的表，希望从表中加载15个单独的文件到s3，每个文件包含1,000条以file_1.csv，file_2.csv，.，file_15.csv命名的记录，然后压缩所有这些文件，并将这个单独的
浏览 17提问于2020-12-09得票数 0
我们需要将数据从Snowflake移动到Hive。我可以从snowflake卸载数据到亚马逊S3，并在蜂巢上进行msck修复。但是所有记录在Hive中都是空的。可能的原因是什么？这里有什么问题吗。为了检查拼图是否正确创建，我使用Spark读取了拼图文件。我能读懂镶木地板的文件。创建或替换阶段加密's3://myc-mlb-alpha-us-east-1-drg-322t232/hive/rs_hive_008_test1
浏览 16提问于2021-02-08得票数 0
我们在我的项目中使用雪花数据仓库，我们想用Elasticsearch替换雪花作为项目增强POC的一部分，我没有找到任何将数据从雪花移动到Elasticsearch的解决方案。
浏览 0提问于2019-06-08得票数 1
我有几个来自多个SQL Server数据库的表要复制到SF中(出于分析目的)。我还没有准备好购买任何外部工具。
浏览 1提问于2021-05-26得票数 1
1回答
我有一个从S3存储桶加载到Snowflake表时加密数据的用例。使用SSE-S3启用S3存储桶。在推送到S3之前，S3中的文件还会使用KMS密钥进行加密(我喜欢将其称为双重加密)。我想了解Snowflake是如何解密这些数据文件的。具体地说，传输中的数据(在进行自动摄取时)也是加密的吗？其次，如果Snowflake中的外部阶段配置了相同的KMS密钥id encryption = (type = 'AWS_SSE_KMS' kms_k
浏览 61提问于2021-08-13得票数 0
云服务器
ICP备案
实时音视频
即时通信 IM
云直播
腾讯云开发者
