本项目由数新网络投递并参与“数据猿年度金猿策划活动——2022大数据产业创新技术突破榜单及奖项”评选。
这一篇是记录分布式工作流系统的。我这些年来参与了几个不同的分布式工作流系统的工作（以前从另外的角度写了一些总结放在这里），大部分是基于基础分布式工作流引擎二次开发的，但也有从头开始实现一个的。总的来说，从原理上看可以说它们的实现是大同小异，大致是基于 Amazon 的 SWF 的各种实现变体。
Dapr 的统一 API 和模式，包括跨语言和框架的工作流，解放了开发者面对碎片化技术的困扰。
你现在拥有了一个远程 Git 版本库，能为所有开发者共享代码提供服务，在一个本地工作流程下，你也已经熟悉了基本 Git 命令。你现在可以学习如何利用 Git 提供的一些分布式工作流程了。
原文：https://github.com/meirwah/awesome-workflow-engines
作为 AI 时代的 DevOps，MLOPS 助力于加速企业从数字化转型到大数据转型再到智能化转型的产业升级进程，为企业沉淀行业特有的 AI 模型、AI 应用提供工具链保证。随着 Kubernetes 的应用爆发，企业也积极投身建设基于 Kubernetes 的 AI 平台，充分利用 K8s 生态提供的资源管理、应用编排、运维监控能力。
微服务风靡一时。 他们有一个有趣的价值主张，即在与多个软件开发团队共同开发的同时，将软件快速推向市场。 因此，微服务是在扩展您的开发力量的同时保持高敏捷性和快速的开发速度。
既然今天要聊一聊云原生时代的业务流程编排，那咱们首先得定义什么是流程编排以及传统的流程编排是做什么的。传统的流程编排一般分两类：bussiness process management（BPM 业务流程管理）和 workflow engine (工作流引擎)，在过去十几年里，商业领域主要是以BPM为主，软件服务厂商以平台化的产品为企业客户提供流程设计、流程管理、流程自动化相关的能力。
Hadoop 是采用了 Map Reduce 的一种分布式的计算框架，它是根据 GFS去开发了 HDFS 分布式文件系统，还有根据 Big Table 开发了 HBase数据存储系统。可以了解到的是，Hadoop 的开源特性成为了分布式计算系统事实上的国际标准。
Vineyard 是一个专为云原生环境下大数据分析场景中端到端工作流提供内存数据共享的分布式引擎，我们很高兴宣布 Vineyard 在 2021 年 4 月 27 日被云原生基金会（CNCF）TOC 接受为沙箱（Sandbox）项目。
创建SSH密钥 http://teliute.org/mix/Tegit/lesson2/lesson2.html
在16年8月份至今，一直在努力学习大数据大数据相关的技术，很想了解众多老司机的学习历程。因为大数据涉及的技术很广需要了解的东西也很多，会让很多新手望而却步。所以，我就在自己学习的过程中总结一下学到的内容以及踩到的一些坑，希望得到老司机的指点和新手的借鉴。 前言 在学习大数据之前，先要了解他解决了什么问题，能给我们带来什么价值。一方面，以前IT行业发展没有那么快，系统的应用也不完善，数据库足够支撑业务系统。但是随着行业的发展，系统运行的时间越来越长，搜集到的数据也越来越多，传统的数据库已经不能支撑全量数
作者丨 Marc Brooker 译者丨明知山 策划丨 Tina 1998 年的西雅图，亚马逊公司的人已经开始重新审视他们的架构。亚马逊 1997 年的销售额为 1.47 亿美元，到了 1998 年就超过了 6 亿美元，这样的增长速度令他们感到措手不及。1998 年，亚马逊的人写了一份分布式计算宣言，描述了他们看到的问题以及他们为这些问题给出的解决方案。Werner Vogels 最近在他的文章（https://www.allthingsdistributed.com/2022/11/amazon
大数据调度系统，是整个离线批处理任务和准实时计算计算任务的驱动器。这里我把几个常见的调度系统做了一下分类总结和对比。
作者 | 黄波，何沧平 责编 | 何永灿 随着人工神经网络算法的成熟、GPU计算能力的提升，深度学习在众多领域都取得了重大突破。本文介绍了微博引入深度学习和搭建深度学习平台的经验，特别是机器学习工作流、控制中心、深度学习模型训练集群、模型在线预测服务等核心部分的设计、架构经验。微博深度学习平台极大地提升了深度学习开发效率和业务迭代速度，提高了深度学习模型效果和业务效果。 深度学习平台介绍 人工智能和深度学习 人工智能为机器赋予人的智能。随着计算机计算能力越来越强，在重复性劳动和数学计算方面很快超过了
微服务是一种架构范例。在这种架构中，多个小型独立组件协同工作，从而构成一个系统。尽管它的操作复杂性较高，但这种范式已经被迅速采用。这是因为它有助于将复杂的系统分解为可管理的服务。这些服务更关注微观层面的问题，包括单一责任，关注点分离，模块化等。
PowerJob**（原OhMyScheduler）**是全新一代分布式任务调度与计算框架，其主要功能特性如下：
尽管 MapReduce 在本世纪10年代最后几年中被炒的非常热，但它其实只是众多分布式系统编程模型中的一种。在面对不同的数据量、数据结构和数据处理类型时，很多其他计算模型可能更为合适。
Oozie：Cloudera公司研发，功能强大，依赖于MR实现分布式，集成Hue开发使用非常方便
AI科技评论按：6.13号上午，中科院计算所研究员徐君在微博中宣布，Easy Machine Learning 系统开源，欢迎大家下载。AI科技评论编辑第一时间为大家带来该系统的功能介绍。 在许多大
任务调度系统在数据平台中算是非常核心的组件了。在日常的数据处理中，定时运行一些业务是很常见的事，比如定时从数据库将新增数据导入到数据平台，将数据平台处理后的数据导出到数据库或者是文件系统。
PowerJob（原OhMyScheduler）是全新一代分布式任务调度与计算框架，其主要功能特性如下：
几年前曾经写过一点点对于缓存框架设计的体会，这大半年和工作流系统打交道颇为丰富，因此想总结一点关于工作流系统的设计。
MapReduce作业是独立于其他作业，输入与输出目录通过分布式存储系统串联。MapReduce作业的存在相互的依赖关系，前后相互依赖的作业需要将后面作业的输入目录配置为与之前作业的输出目录，工作流调度器必须在第一个作业完成后才开始第二个作业。
提起大数据，不得不提由IBM提出的关于大数据的5V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性），而对于大数据领域的从业人员的日常工作也与这5V密切相关。大数据技术在过去的几十年中取得非常迅速的发展，尤以Hadoop和Spark最为突出，已构建起庞大的技术生态体系圈。 首先通过一张图来了解一下目前大数据领域常用的一些技术，当然大数据发展至今所涉及技术远不止这些。
Apache DolphinScheduler（简称DS）是一个分布式去中心化，易扩展的可视化DAG工作流任务调度平台。在生产环境中需要确保调度平台的稳定可靠性及任务负载均衡，本篇文档主要针对DS集群的高可用及稳定性进行测试验证。
应用与服务编排工作流（Application Services Workflow，ASW）是一个用来协调分布式任务执行的编排产品，根据腾讯云状态语言定义来编排分布式任务和服务，工作流会按照设定好的顺序可靠地协调执行，将云函数与多个腾讯云服务按步骤进行调度，通过低代码配置，就可以完成开发和运行业务流程所需要的任务协调、状态管理以及错误处理等繁琐工作，让研发团队能更简单、更高效的构建与更新应用。 01. ASW 工作流与传统工作流的对比 特性 ASW 工作流传统工作流易用性已完成云服务集成, 方便调用云上资源
本帖来自MHV（Mile High Video）2019的演讲，演讲者Steve Miller-Jones是网络媒体公司的产品战略副总裁。在演讲中，Steve从三个主题：在OTT工作流中如何使用面向服务架构、视频工作流的哪些部分将从边缘计算资源的可用性中获益最大、中心的作用，来分析了边缘计算在OTT视频行业的应用。
原子性(Atomicity )、一致性( Consistency )、隔离性或独立性( Isolation)和持久性(Durabilily)，简称就是ACID
在数据处理、多媒体文件处理、商品审核、容器运维管理等系统架构中，往往需要并行多路任务处理的场景 。 例如电商商品审核系统，商家每天对商品进行管理更新后，商品数据需要通过商品中台进行一系列的审核操作：如 图片审核、死链检测、商品打标、文本审核、统一类目 等环节。海量更新的商品数据会先投递到 Ckafka，商品中台需要一个能快速处理大量数据，高并发、高吞吐量的数据处理流水线。 利用 ASW 低代码、灵活便捷的特性，通过 ASW + 云函数作为微服务的粘合剂，可快速搭建一个高效可用、易扩展性的微服务架构应用。A
为生产而构建的机器学习系统需要有效地培训、部署和更新机器学习模型。在决定每个系统的体系结构时，必须考虑各种因素。这篇博文的部分内容是基于Coursera和GCP(谷歌云平台)关于构建生产机器学习系统的课程。下面，我将列出构建可伸缩机器学习系统时需要考虑的一些问题:
导语 对于定时任务大家应该都不会陌生，从骨灰级别的Crontab到Spring Task，从QuartZ到xxl-job，随着业务场景越来越多样复杂，定时任务框架也在不断的升级进化。 那么今天就来跟大家从以下三个方面聊一聊分布式任务调度：从单机定时任务到分布式任务调度平台的演进过程、腾讯云分布式任务调度平台TCT是如何应运而生的、TCT具体落地案例情况和解决了哪些核心问题。 作者简介 崔凯 腾讯云 CSIG 微服务产品中心产品架构师 多年分布式、高并发电子商务系统的研发、系统架构设计经验，擅长主流微服务
1、HBase 是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化数据集群。像Facebook，都拿它做大型实时应用。 2、Hive Facebook领导的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计。像一些data scientist 就可以直接查询，不
同时这也是课表的第9天课程《Git的正确使用姿势与最佳实践》。PC端阅读效果更佳，点击文末：阅读原文即可。
Apache EventMesh (Incubating) 是一个用于解耦应用和后端中间件层的动态云原生事件驱动架构基础设施。它支持广泛的用例，包括复杂的混合云、使用了不同技术栈的分布式架构。
1、HBase 是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化数据集群。像Facebook，都拿它做大型实时应用。
最近很久没有写博客了，一方面是因为公司事情最近比较忙，另外一方面是因为在进行 CAP 的下一阶段的开发工作，不过目前已经告一段落了。
CNCF 技术监督委员会（TOC）[1]投票接受Kubeflow[2]作为 CNCF 孵化项目。
作为一个大数据开发人员，每天要与使用大量的大数据工具来完成日常的工作，那么目前主流的大数据开发工具有哪些呢？
上一篇文章介绍了常用的版本控制工具以及git的基本用法，从基本用法来看git与其它的版本控制工具好像区别不大，都是对代码新增、提交进行管理，可以查看提交历史、代码差异等功能。但实际上git有一个重量级的功能“分支”，git的分支与其它工具的分支不同，git分支的操作完全在本地进行，所以可以快速的创建和切换。
开始我们今天的话题，说说分布式事务，或者说是我眼中的分布式事务，因为每个人可能对其的理解都不一样。
我们知道，应用系统在分布式的情况下，在通信时会有着一个显著的问题，即一个业务流程往往需要组合一组服务，且单单一次通信可能会经过 DNS 服务，网卡、交换机、路由器、负载均衡等设备，而这些服务于设备都不一定是一直稳定的，在数据传输的整个过程中，只要任意一个环节出错，都会导致问题的产生。
分布式事务是企业集成中的一个技术难点，也是每一个分布式系统架构中都会涉及到的一个东西，特别是在微服务架构中，几乎可以说是无法避免，本文就分布式事务来简单聊一下。
Kafka 是一个开源的分布式流式平台，它可以处理大量的实时数据，并提供高吞吐量，低延迟，高可靠性和高可扩展性。Kafka 的核心组件包括生产者（Producer），消费者（Consumer），主题（Topic），分区（Partition），副本（Replica），日志（Log），偏移量（Offset）和代理（Broker）。Kafka 的主要特点有：
Java工作流引擎：jBPM、Activiti以及SWF JBPM（Java Business Process Management）：JAVA业务流程管理，是一个可扩展、灵活、开源的流程引擎， 它可以运行在独立的服务器上或者嵌入任何Java应用中。 Acticiti：业务流程管理（BPM）框架，Activiti工作流（是对jBPM升级）。一般我们称作为工作流框架。 SWF:分布式计算调度框架，SWF中只包括Task和History两部分，甚至是每个Task之间如果要传递一些数据的话，都只能通过第三方存储（比如Message Queue或者Redis)。
上一篇文章我们介绍了一下Temporal的一些基础概念和简单的架构设计。今天我们来说一说，为什么要用Temporal。
图神经网络(GNNs)在图学习方面的有效性已被证明是广泛应用领域的一种强大的算法模型。为了扩大GNN训练以适应大规模和不断增长的图，最有前途的解决方案是分布式训练，它将训练工作量分布到多个计算节点。然而，对分布式GNN训练的工作流程、计算模式、通信模式和优化技术仍有初步了解。在本文中，我们通过研究分布式GNN训练中使用的各种优化技术，提供了分布式GNN训练的全面综述。首先，根据分布式GNN训练的工作流程将其分为几类;此外，还介绍了它们的计算模式和通信模式，以及最新工作提出的优化技术。其次，介绍了分布式GNN训练的软件框架和硬件平台，以加深对分布式GNN训练的了解。第三，将分布式GNN训练与深度神经网络的分布式训练进行了比较，强调了分布式GNN训练的唯一性。最后，讨论了该领域的研究热点和发展机遇。
目前有三类常见的流计算框架和平台：商业级的流计算平台、开源流计算框架、公司为支持自身业务开发的流计算框架
大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据技术则主要用来解决海量数据的存储和分析。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
