文档建议反馈控制台
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
发布

Airflow 做 ETL，真不是“排个 DAG 就完事儿”：那些年我踩过的坑与悟出的道

Airflow做ETL，真不是“排个DAG就完事儿”：那些年我踩过的坑与悟出的道大家好，我是Echo_Wish，一个在大数据ETL世界里摸爬滚打多年、见过无数Airflow“惨案”的人。...今天我就跟你聊聊：怎么用Airflow搭一个真的能扛生产的ETL系统——并顺便告诉你哪些坑必须绕开。...正确做法应该是：✔Airflow做编排——决定什么任务什么时候跑✔真正的数据处理任务交给SparkFlink任务脚本✔Airflow只负责触发&监控，不负责计算所以在DAG里偷懒写大量逻辑，是最不应该的行为...正确思路：它必须是一条链，或者清晰的树，而不是蜘蛛网。如果DAG长这样，那你就成功打造了生产事故：[外链图片转存中......真正让它变得“不稳定”的，是使用它的人。只要记住一句话：Airflow做ETL，不是搭一个系统，而是培养一套团队工程文化。

21200

在Kubernetes上运行Airflow两年后的收获

通过这样做，我们可以使用原生 Airflow 角色来强制访问控制，并且每个 DAG 必须通过最低的治理检查清单才能提交。 但是，如何将 DAG 同步到 Airflow 中呢？...解决方案是转向多文件方法，我们为想要动态创建的每个 DAG 生成一个 .py 文件。通过这样做，我们将 DAG 生成过程纳入了我们的 DBT 项目存储库中。...项目现在成为 DAG 的另一个生成者，将动态生成的文件推送到 DAG 存储桶中。 Astronomer 在此处有一篇关于单文件方法和多文件方法的精彩文章。...这就是为什么您需要根据您的具体设置进行调优。 准备好进行节点轮转 k8s 节点可能会在遇到故障或由管理 Kubernetes 集群的基础设施团队设置的计划节点轮转时进行轮转。...这就是为什么基础架构级别的可观测性、指标和报警非常重要的原因。 在 Kubernetes 中运行时，您可以通过为每个感兴趣的事件设置 PrometheusRule 来实现。

1.8K10
    • 您找到你想要的搜索结果了吗？
    是的
    没有找到

    别让大数据任务“互相等着死” ——聊聊任务依赖与 DAG 设计的江湖规矩

    于是D表利用的是前一天的老数据——然后BI报表展示数据穿越回过去。业务线狂骂：“昨天数据怎么变回前天的？！”这就是依赖顺序坏了，系统还能跑，但跑错了。...数据层次应该是什么？...展开代码语言：TXTAI代码解释ODS→DWD→DWS→ADS每层做一件事：ODS保留原始宽表DWD清洗、规范、建模DWS主题聚合ADS面向业务呈现每层都是DAG的Checkpoint，这样依赖天然分离...四、再聊依赖管理中的“坑点”坑1：任务时间窗口对不上有的人任务每天跑2点，有的人4点，还相互依赖。...六、那我们到底要怎么做？五条落地建议依赖要写死，不靠时间猜数据分层天然保护DAG结构多任务组合，小任务原子化每层都可以补数血缘清晰、依赖透明一句核心：DAG不仅是技术，更是工程治理。

    14710

    别再被“关联性背锅”了：基于因果推断做根因定位，到底靠不靠谱？

    别再被“关联性背锅”了：基于因果推断做根因定位，到底靠不靠谱？兄弟们，今天咱说点狠的——运维圈最容易掉坑的概念：相关性≠因果性。你在监控大盘上看到CPU飙升的时候磁盘I/O也抖了，你第一反应是什么？...所以光靠Pearsoncorrelation、Spearman、互信息这些统计相关性工具做根因定位，和占卜半斤八两。二、什么叫因果推断？...五、回到实战场景：APM中因果定位怎么落地？✔分布式追踪是地图你得知道：谁调用谁谁阻塞谁谁扇区传播OpenTelemetry、Jaeger就是因果网络的观察器。...六、说点实话：因果推断不是万能药我给你几点大实话：✘没有足够观测数据，因果推断是白搭垃圾数据只能算命，不是推断。✘没有结构知识，你推不出DAG全靠AI猜DAG，只会猜出屎。...八、我对因果的态度：谨慎但支持我接触过三类团队：迷信因果——觉得它无所不能拒绝因果——觉得玄乎合理使用——把它当理性工具我劝你做第三类。

    21110

    EKT多链技术谈 | 闪电网络、多链、分片、DAG——区块链的横向扩展

    在此过程中，A是无法篡改交易记录的，所以最后A可以转出的数额为90BTC，B可以转出的数额为10BTC。 简单总结一下闪电网络的工作方式： a. 建立支付通道； b. 需要抵押。...如果是没什么联系的两个人，要交易的话，就必然会横跨数个不稳定state channel或者要经过一个大的中继者，这个中继者可以是具有公信力的，也可能突然跑路，所以既然这样为什么大家不继续愉快地使用支付宝呢...设置一个区块链，在这个区块链系统中有一百个各自不同的宇宙，每一个宇宙都是一个独立的账户空间。使用者可以在某个宇宙中拥有一个账户，该用户发起的交易也只会对交易相关的宇宙产生影响。是不是似曾相识？...我相信，虽然scale-out的off-chain、sharding、DAG、multi-chain都还远说不上完美，但这应该是区块链无限扩展性能的正确方向。...20171213 到底什么是分片技术？

    1.6K30

    DAG、Workflow 系统设计、Airflow 与开源的那些事儿

    如果说数组、链表、二叉树这类数据结构是学习中的基础，那么 DAG 绝对算得上工作中常常会听到、用到的实践知识。...工作中两个 SDE 讨论技术问题，DAG 和 Array/Linkedlist/Tree 算的上是同一级的词汇、知识，默认彼此都懂。...当然，解决 DAG 中的依赖关系并不复杂，甚至是刷题中少见的可以直接照搬进工作的算法。如果在面试中被问到如何设计一个 Workflow 系统？难点在哪里呢？...有同学表示这是一个白痴问题，每次看到一个能做的 Task 直接 Run 不就行了？干嘛需要什么 Scheduler / Worker?...如果每一个 Task 是一个简单可以快速结束的函数，这么做似乎没问题。

    3.6K40

    腾讯阿里携程 详细NLP算法实习 面经

    （我用的远程监督，别的还有one-shot zero-shot label embedding） 假设一个情景题，微博创立初期，短文本，10w数据集，无监督，分类怎么做（我答的用label embedding...这个真不知道，只听说过Q-learning） kmeans的k怎么选择，这么做效果好吗？为什么？...（k不知道，具体情况具体分析吧（编不出来了），效果不好） 那如果不用聚类，别的方法怎么做，提示：抽取关键字（关键字抽取可以用词与句子做相似度匹配） 按你说的做不具有通用性， 那如果是长文本，又怎么做，有什么区别...（几里哇啦扯了一堆）你说的好像和我不是一个东西，新词发现有哪些常用方法（啊。。。不知道） 维特比算法中的DAG知道吗，怎么构建的（知道，扯了一堆） 所以DAG怎么构建你没有说（构建。。？...腾讯 一面 腾讯会议面试（30min） 自我介绍，每个项目，一个个讲讲 论文1中样本怎么获取的（远程监督）继续深挖 论文2介绍一下（吧啦吧啦） BERT怎么做分类的说一下（feature based fine

    1.1K21

    OpenTelemetry实现更好的Airflow可观测性

    在这篇文章中，我将使用Prometheus作为指标后端来存储数据，并在Grafana中构建一个仪表板来可视化它们。...发出的每个指标在此页面上都有三行： HELP 尚未实现，但最终将包含指标的描述。 TYPE 将为“计数器”、“仪表”或“计时器”之一。...将其他字段保留为默认设置，然后单击使用查询。你应该可以看到这样的图表： 为您的查询起一个好听的名称，例如图例字段中的任务持续时间。...仔细观察实际指标数字可以发现，开销平均约为 1.2 秒，而且我认为这对于我的用例来说是可以接受的。...您现在应该有一个仪表板，它显示您的任务持续时间，并在 DAG 运行时每分钟左右自动更新为新值！ 下一步是什么？ 你接下来要做什么？

    1.3K20

    价值感知中币种选择的重要性及凌帅的选择

    为什么凌帅会这么纠结于币种的选择呢？ 这个问题换个说法就是，价值感知中币种选择的重要性？ 重要性有三： 第一，你要选择一个有长远的巨大的成长空间的币种。...价值感知训练基本功训练，是要以年为单位长期执行的。如果选错了，半道归零了，价值感知如何持续？ 选择错误，一开始就失败了。 第二，价值感知不仅记录价格，还要观察项目的发展情况。...而其他没被选择的币种就是你的机会成本。 一旦创业成功，就变身高富帅，迎娶白富美，踏上人生巅峰。 而如果一开始方向就错了，越努力越错误，不可不慎。...pressone对应公众号、得到、喜马拉雅，做内容分发，基于MIXIN；mtn对应微信游戏、app store，做游戏和app分发，基于MIXIN；show对应短视频、快手、花椒，基于MIXIN。...这就是凌帅选择UT和XIN进行价值感知训练的逻辑。在具体操作中，凌帅对价值感知进行了优化，请听下回分解。

    47220

    77_自动化脚本：Makefile与Airflow

    DockerOperator：在Docker容器中执行命令。 KubernetesPodOperator：在Kubernetes中执行Pod。...Makefile在正确的目录中执行。...=dag, ) 在这个示例中，我们通过Airflow的Variable功能管理GPU设备和模型配置信息，然后通过环境变量传递给Makefile。...配置任务资源限制：为不同的任务设置适当的CPU、内存和GPU资源限制，避免资源争用。 使用Makefile的-j选项：通过make -j N命令，可以并行执行Makefile中的独立任务。...下面是一些错误处理和重试机制的最佳实践： 设置合理的重试次数和重试延迟：根据任务的性质，设置适当的重试策略。 实现幂等性任务：确保任务可以安全地重试，不会产生副作用。

    16710

    你不可不知的任务调度神器-AirFlow

    Airflow 的天然优势 灵活易用，AirFlow 本身是 Python 编写的，且工作流的定义也是 Python 编写，有了 Python胶水的特性，没有什么任务是调度不了的，有了开源的代码，没有什么问题是无法解决的...Airflow 是免费的，我们可以将一些常做的巡检任务，定时脚本（如 crontab ），ETL处理，监控等任务放在 AirFlow 上集中管理，甚至都不用再写监控脚本，作业出错会自动发送日志到指定人员邮箱...调度器：Scheduler 是一种使用 DAG 定义结合元数据中的任务状态来决定哪些任务需要被执行以及任务执行优先级的过程。调度器通常作为服务运行。...首先在此之前，我们要介绍一些概念和原理： 我们在编写AirFlow任务时，AirFlow到底做了什么？...tutorial # 打印出 'tutorial' DAG 的任务层次结构 airflow list_tasks tutorial --tree 然后我们就可以在上面我们提到的UI界面中看到运行中的任务了

    4.7K21

    软件测试|测试开发之路--UI 自动化常用设计模式

    它其实只有一种思想，就是把创建一个东西的操作都统一放到一起，调用方只需要知道我要一个东西，我需要把什么参数传递进来就可以得到这个东西。...具体原理我就不介绍了，不知道的可以 google 一下，网上一堆讲设计模式的文章，我也讲不出什么花来，我就讲在 UI 自动化中我们怎么做。 举一个最简单的例子。...但具体 build 一个什么图形什么配置的 DAG， 由子类自己实现。于是我们有了很多固定图形的 dag 的子类， 他们分别实现不同的固定图形的 build 操作。...如下：图片为什么这么做呢，因为对于所有要测试模型训练的 case 来说。 图形是固定的， 某些算法也是固定的。...只要它传递的是我规定的策略类型，有规定的方法来设置这个算子就可以了。工厂模式的混用根据上面的策略模式和建造者模式的混用我们就可以比较方便的构建 DAG 图形给 case 使用了。 但是还是有一点麻烦。

    68360

    深入浅出Spark：血统（DAG）

    一个概念为什么会有两个称呼呢？这两个不同的名字又有什么区别和联系？简单地说，血统与 DAG 是从两个不同的视角出发，来描述同一个事物。...说到这里，各位看官不禁要问：Spark 采用惰性求值的计算模型，有什么优势吗？或者反过来问：Spark 为什么没有采用传统的及早求值？...Spark 为什么要这么做？...那位看官说了：“前文书说了半天算子是 RDD 之间转换的关键，莫不是根据算子来判断会不会发生 Shuffle？”您还真猜错了，算子与 Shuffle 没有对应关系。...在沿着这条路向前跑的时候，我们的这位 DAGScheduler 向导官惊喜地发现：“我去！这一路上一马平川、风景甚好，各个驿站之间什么障碍都没有，交通甚是顺畅，真是片好地形！”

    1.3K20

    Agari使用Airbnb的Airflow实现更智能计划任务的实践

    在之前的文章中，我描述了我们如何利用AWS在Agari中建立一个可扩展的数据管道。...在我之前的文章中，我描述了我们如何加载并处理本地收集器中的数据（即存在于我们企业级客户的数据中心里的收集器）。...更多优良特性 Airflow允许你指定任务池，任务优先级和强大的CLI，这些我们会在自动化中利用到。 为什么使用Airflow？...作为一个管理员，Airflow很容易设置（比如你只想通过设置PIP来减轻任务）它有很棒的UI。它的开发者很人性化，因为它允许一个开发者建立简单的DAG并且在几分钟内测试。...作为一个早期采用者，Agari致力于这个成功的项目，无论是在克服bug中做报告，还是提议特性和增强特性，或者代码库都有贡献。

    3.3K90

    学界 | 中科院计算所开源Easy Machine Learning：让机器学习应用开发简单快捷

    在此文章中，机器之心对开源的 Easy Machine Learning 系统进行了介绍。...GitHub 项目地址：https://github.com/ICT-BDA/EasyML 什么是 Easy ML 系统？ 机器学习算法已然成为诸多大数据应用中不可或缺的核心组件。...共享和再利用算法的实现、 job DAG 以及试验结果； 3. 在一个任务中无缝整合单机算法和分布式算法。...机器学习库中所有的算法都可在此开发环境系统中获得并安装，它们是构建机器学习任务的主要基础。 ? 执行任务的云服务。我们基于开源的 Hadoop 和 Spark 大数据平台建立了该服务。...它定义了节点的输入端口、输出端口和参数设置。我们在面板中开发了一个工具来帮助用户编写命令行字符串模式。通过点击 upload data 按钮，用户可以用与上传算法包相似的方式上传数据集。 ?

    1.4K50

    聊聊DAG的共识和牛逼的hashgraph

    这篇文章尝试为iota和byteball正名，更重要的，介绍一个让我很兴奋的东西，hashgraph。 什么是区块链的共识 谈到区块链，共识是个绕不开的话题。到底共识在解决什么问题呢？...不管是比特币还是以太坊，性能上讲都离大规模商用有很远距离，完全不能满足类似visa的使用场景。 不公平 矿工到底在扮演什么样的角色？...更严重的例子，在一些吸引眼球的ICO项目火爆的募集资金过程中，某些矿场会优先确认自己的交易，即使普通参与者设置的手续费更高，网速更快，矿工压根无视你的交易，当然与投资机会无缘。...DAG是不是为了性能牺牲了安全 之前文章提到过，DAG跟区块链的结合，从开始出现就是为了解决区块链的性能问题，从结合block和DAG做侧链思路，到摒弃block概念的DAGCoin，再到已经取得一定成功的...目前Swirds公司没有做关于ICO的打算，目前更多在以技术服务商的身份在供应链和物联网方向做应用落地。

    1.4K90

    我是谁？我从哪来？我要到哪去？——聊聊数据血缘分析的“前世今生”

    ——聊聊数据血缘分析的“前世今生”作者：Echo_Wish（一个天天顺藤摸瓜追查数据的自媒体人）有些同学以为“数据血缘”这个词特别玄乎，好像是什么玄学算命：“你的字段昨天做过什么？它今天怎么变成这样？...我总结了三点特别人间真实的原因：①数据链路太复杂，不追踪就会“黑箱”现代大数据体系中：一张源表→五张宽表→十几个指标→百来张报表SQL嵌SQL，任务套任务，没有血缘谁都不敢乱动。...血缘=最好的“可追溯证据”。③出事故时必须快速定位报表突然错了，最怕定位路线不清晰。有了血缘：“哦！原来中间这张DWS表昨天ETL掉链子了。”几分钟解决问题，否则查一天。...三、数据血缘的三种类型（很多人只知道第一种）类型说明举例表级血缘表之间的输入输出关系A→B→C字段级血缘字段之间的依赖关系gmv=price*qty任务级血缘DAG任务之间的链路Airflow任务调度真正有价值的是第二种...八、写在最后：血缘不是“炫技”，而是“让数据更靠谱”我做数据这么多年，越来越觉得：数据血缘不是为了让数据团队显得高级，而是让数据自己变得更可信。

    25610
    点击加载更多

    相关资讯

    热门标签

    更多标签

    活动推荐

      运营活动

      活动名称
      广告关闭

      腾讯云开发者

      扫码关注腾讯云开发者

      扫码关注腾讯云开发者

      领取腾讯云代金券

      热门产品

      热门推荐

      更多推荐

      Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有

      深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 粤公网安备44030502008569号

      腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号

      领券