我正在研究IoT解决方案,其中有多个传感器正在发送数据。我有一个工作,听事件中心,获取IoT传感器数据,并存储在三角洲湖表。(底层Azure ADLS Gen-2存储格式为拼花文件格式)
我必须在UI上显示传感器数据(自定义UI -在React中开发)。为此,我在.NET核心API / Node中开发了API层。
因此,最后,我必须查询在数据块中创建的Delta表来检索传感器数据--使用Node / .NET核并在UI上显示它。如何从三角湖表的C# /中查询数据?
发布于 2022-05-28 05:29:17
您最好使用已经能够读取增量格式数据的查询计算。低成本选项是创建Azure Synapse Analytics工作区,并使用无服务器SQL池查询增量内容。无服务器池将自己公开为Azure SQL DB。因此,任何可以查询Azure (对C#或node.js都不是问题)的工具都可以查询这些增量表。
SQL语法看起来有点不同,因为它使用了OPENROWSET,如下所示:
SELECT
*
FROM
OPENROWSET(
BULK 'https://<my-storage-account>.dfs.core.windows.net/<my-container>/<path-to-delta-folder>/',
FORMAT='DELTA'
) AS [recordset];
或者,您可以在无服务器池中创建逻辑数据库,并为每个增量文件夹创建外部表。这样做会使它看起来更接近传统的关系数据库。
因为这是一个无服务器的实例,所以不需要准备费用。您只会支付消费(例如,实际查询)。您可以在这里找到当前的付费定价:Azure Synapse分析定价。
https://stackoverflow.com/questions/72126028
复制相似问题