Prophecy 3.0如何使企业无须编写SQL代码就能创建数据管道？

译者 | 布加迪

审校 | 重楼

总部位于加州的数据工程公司Prophecy近日宣布了其核心平台的新版本，该平台具有低代码SQL功能。

名为Prophecy 3.0的版本为数据工程师将该平台的范围扩大到了低代码Spark之外，并为企业数据用户提供了一款可视化的拖放式画布，可用来在云数据平台上直接构建数据管道。

以前，这个过程需要他们编写复杂的SQL代码，这会造成延迟和准确性问题，并影响下游的分析和机器学习工作。

低代码SQL：它如何帮助数据管道？

构建数据管道本质上是准备数据进行分析。这意味着为诸多任务编写SQL代码：比如从数据库中提取数据、转换和清理信息以及将其加载到目标数据平台中。对于数据工程师来说，这些都很平常，但是如果数据用户试图自行准备数据（可能是为了满足特定的业务需求），这个过程就可能会成为瓶颈，导致无法及时为计划的分析提供正确的数据。

毕竟，大多数业务用户都是数据专家，而不是专家级数据工程师。

通过为平台添加低代码SQL，Prophecy弥合了这个差距，并为业务数据用户提供可视化的拖放式界面，以构建他们所需的数据管道。一旦使用这款画布，平台的技术就会将表示转换成切实可行的SQL代码（作为开源dbt Core项目），并准备好管道进行分析。

Prophecy的联合创始人兼首席执行官Raj Bains告诉IT外媒VentureBeat：“业务团队可以快速简单地自行准备数据进行分析。这使他们能够更快地交付分析成果，快速适应不断变化的业务需求。更重要的是，这还解放了常常不堪重负的集中式数据平台团队。”

图1. 具有低代码SQL功能的Prophecy 3.0

值得注意的是，该技术也可以反向工作：用户可以在Prophecy中打开现有的dbt Core项目，并将SQL代码编辑为可视化管道，更改回过头来保存为SQL。

Bains补充说：“早期用户也非常高兴低代码开发者和SQL码农现在可以在同一个环境中工作，因为Prophecy可以同时将低代码管道转换成SQL代码、将SQL代码转换成低代码管道。”

统一平台

虽然低代码SQL是新的，但要注意的是，这不是该平台的第一个可视化工具。该公司已经为Spark、Spark Streaming和Apache Airflow（用于数据工作流编排）提供低代码支持——为具有不同专长和需求的用户提供了统一的服务。

Gartner前大数据和高级分析研究副总裁Sanjeev Mohan说：“当不同的数据团队使用不同的工具来构建管道时，这增加了成本、时间和风险……Prophecy 3.0版本可以帮助使用SQL的数据分析师、使用Spark的数据工程师、使用Apache Airflow的DevOps工程师借助统一的低代码平台进行协作。这开辟了新的可能性，比如始终如一地运用数据质量检查，而不必考虑具体的语言，并启用自助服务框架来创建数据产品。”

Eckerson Group的研究副总裁Kevin Petrie表示了同样的观点，他特别指出，往Prophecy的产品组合添加低代码SQL，为面向SQL的数据工程师和面向dbi的分析工程师构建、管理和编排支持现代分析项目的管道提供了新的选择。

他说：“企业继续采用将基于SQL的查询和转换运用于云原生对象存储的湖仓一体平台。通过添加SQL管道功能，Prophecy显著扩大了其潜在市场。”

Prophecy 3.0现已上线，可以在Databricks湖仓一体平台上使用。

https://venturebeat.com/data-infrastructure/how-prophecy-3-0-enables-businesses-to-build-data-pipelines-without-writing-sql-code/