大数据开发-王金绍-腾讯云开发者社区

开发者社区

文档建议反馈控制台

腾讯云架构师技术同盟

文章/答案/技术大牛

发布

大数据开发-王金绍

专栏成员

1

文章

324

阅读量

1

订阅数

跨脚本步骤复杂 SQL血缘识别

sql 编程算法

一. 血缘抽取目标强依赖关系：识别sql执行结果保存[hive,mysql,hdfs]物理库表字段依赖链路，入库字段由哪些物理库表字段产生[select]。弱依赖关系：识别整个过程参与的物理表字段列表，排除select部分，包含[partitionBy > joinOn > where > groupby > having > orderby ]二. 血缘抽取对象公司内部POC脚本，层级结构 { sciptMeta: 脚本基础信息 jobs: {//任务列表 jobid: [ /

2022-12-16

3240

没有更多了

社区活动

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·干货材料·成员作品最新动态