开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

支持flink的开源平台

支持 Flink 的开源平台是指支持 Apache Flink 的开源软件平台，它们通常提供了一个可扩展的、高性能的数据处理引擎，以支持大规模实时数据处理和分析。以下是一些支持 Flink 的开源平台：

Apache Kafka：Apache Kafka 是一个高吞吐量、分布式的发布订阅消息系统，它可以作为 Flink 的数据源和数据接收器，用于实时流处理和分析。
Apache Hadoop：Apache Hadoop 是一个分布式存储和处理大规模数据的软件框架，它可以与 Flink 集成，实现大规模数据处理和分析。
Apache Storm：Apache Storm 是一个分布式实时计算系统，它可以与 Flink 集成，实现实时流处理和分析。
Apache Samza：Apache Samza 是一个分布式流处理框架，它可以与 Flink 集成，实现实时流处理和分析。
Apache Beam：Apache Beam 是一个统一的数据处理框架，它可以与 Flink 集成，实现大规模数据处理和分析。
Apache Pulsar：Apache Pulsar 是一个高性能、可扩展的消息队列，它可以与 Flink 集成，实现实时流处理和分析。

这些开源平台都可以与 Apache Flink 集成，实现大规模实时数据处理和分析。在选择合适的开源平台时，需要根据具体的业务需求和场景进行选择。

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

Flink 利器：开源平台 StreamX 简介

StreamX 简介 StreamX 是 Flink & Spark 极速开发脚手架，开源的流批一体一站式大数据平台。...StreamX 支持 Flink 多版本，支持 Flink SQL WebIDE，支持 Flink SQL 校验。...自2021年3月起开源，提供了一系列开箱即用的 Conncetor,标准化了配置、开发、测试、部署、监控、运维的整个过程, 提供 scala 和 java 两套api, 其最终目的是打造一个一站式大数据平台...可以理解为是一个开源版本、简化版的阿里云实时计算 Flink 版或腾讯云流计算 Oceanus 平台。...架构图如下： [StreamX 架构] StreamX 功能特性：开发脚手架多版本Flink支持(1.11,x, 1.12.x, 1.13 ) 一系列开箱即用的connectors 支持项目编译功能

6.2K6 0

Doris + Flink + DolphinScheduler + Dinky 构建开源数据平台

+ DolphinScheduler + Dinky 构建开源数据平台。...面对海量的业务需求和数据，应该如何高效地进行数据处理与分析，如何搭建一个数据平台？如何选择合适的开源项目来搭建呢？这是目前大家比较困扰的一个问题。...本次分享将介绍如何运用 Doris + Flink + DolphinScheduler + Dinky 四个开源项目来构建一个基本的数据平台，并支持离线、实时、OLAP 三种技术需求。...二、开源数据平台思路本章节主要讲述数据平台搭建所用的开源项目介绍以及设计思路。技术介绍 Apache Doris 首先要运用到的是 Apache Doris。...开源数据平台的设计思路是通过 Flink SQL Batch 以及 Doris SQL 的能力实现一个离线任务的开发；使用 DolphinScheduler 进行离线工作流编排和调度；通过 Flink

12K7 6

Flink 支持的重启策略有哪些

Flink支持不同的重启策略，可以控制在发生故障时如何重启新启动作业。默认重启策略是通过Flink的配置文件设置的flink-conf.yaml。...在两次连续重启尝试之间，会有一个固定的延迟等待时间。...通过在flink-conf.yaml中配置参数： # fixed-delay:固定延迟策略 restart-strategy: fixed-delay # 尝试5次，默认Integer.MAX_VALUE...在flink-conf.yaml文件配置 # 设置重启策略为failure-rate restart-strategy: failure-rate # 失败作业之前的给定时间间隔内的最大重启次数，默认...在flink-conf.yaml中配置： restart-strategy: none 在代码中实现： ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment

1.1K0 0

tbds flink支持的数据源

tbds flink支持的数据源和它们的用途如下表所示用途类型支持的输入和输出支持的数据格式说明TableSource/Sink console可撤回输出- oracle维表输入，可撤回输出- hippo...流输入，只追加输出默认 tpg维表输入，可撤回输出- tsdb只追加输出-已经不维护，请勿使用redis维表输入，可撤回输出- hdfsSource流输入默认监听hdfs目录，读取hdfs目录新增的文件内容...tube流输入，只追加输出默认、kv、protobuf elasticsearch只追加输出json tde维表输入，可撤回输出- clickhouse只追加输出-仅1.14版本支持kafka流输入，只追加输出...iceberg可撤回输出仅1.14版本支持hdfs只追加输出 mysql维表输入，可撤回输出 hbase维表输入，可撤回输出 pulsar流输入，只追加输出 StreamSourcetube

7586 0

StreamingPro支持Flink的流式计算了

Spark 在流式处理一直缺乏改进，而Flink在流式方面做得很棒，两者高层的API也是互相借鉴，容易形成统一的感官，所以决定让StreamingPro适配Flink,让其作为StreamingPro底层的流式引擎...StreamingPro自身设计之初就是为了支持多引擎的，所以改造成本很低，昨天花了一下午，晚上加了会班就重构完了。这次增强可以让我司的流式引擎有了新的选择。...准备工作下载安装包为了跑起来，你需要下载一个flink的包，我用的是1.2.0版本的。...接着就是下载StreamingPro的 flink版本： https://pan.baidu.com/s/1slCpxxV 启动flink 进入flink安装目录运行如下命令： ....WX20170321-104738@2x.png 后面的话 Flink目前在流式计算上对SQL支持有限，暂时还不支持Join，Agg等行为操作，这个和Spark相比较而言差距还比较大。

1.2K3 0

Flink 实战 | 贝壳找房基于Flink的实时平台建设

本文来自 2019 年 9 月 21 日 Flink Meetup 北京站贝壳找房刘立云的分享，所有内容版权归其个人及 Flink 中文社区所有。 ? ? ? ? ? ? ? ? ? ? ?

9692 0

Docker 引擎 - 支持的平台

支持的平台 Docker 引擎可以在一系列服务器上进行安装，比如说 Linux 平台，macOS 和 Windows 10 需要通过 Docker 的静态二进制安装程序来进行客户端进行安装。...访问下面的链接访问可以支持的操作平台列表。...桌面系统 Mac (macOS) Docker 桌面客户端 YES Windows Docker 桌面客户端 YES 服务器 Docker 针对下面的 Linux 分发平台和架构提供 .deb 和 ....Docker 没有对下面的安装平台进行测试和校验。...这些安装包是是这些 Linux 操作系统进行开发并且维护的，可能与你从基于源代码的编译结果来看有所不同。Docker 的官方与上面的发布版本没有任何关系也不会为其提供支持和缺陷修复。

6273 0

开源基于.NET8管理平台,支持智慧大屏

微信公众号:[开源日记],分享10k+Star的优质开源项目大家好！我是开源君，一个热衷于软件开发和运维的工程师。...本频道我专注于分享Github和Gitee上的高质量开源项目，并致力于推动前沿技术的分享。...软件介绍 RuYiAdmin是一款强大的企业级WEB RBAC统一安全管理平台解决方案，具有前后端分离、代码自动生成、基于.NET 8平台和跨平台等特点。...此外，它还集成了VForm表单设计器，支持PC、Pad、手机H5页面表单的设计与预览。强大的后端框架：RuYiAdmin采用.NET 7平台作为后端框架，并支持跨平台和Linux Docker。...微信公众号:[开源日记],分享10k+Star的优质开源项目创作不易分享,赞,在看,三连支持一波,感谢。↓↓↓

3981 0

【开源推荐】PHP开发的API接口管理平台，接口竟然还支持出售

PHP学习网将不定时分享优质开源项目，优质技术文章，精选面试题和资源，大家可以把PHP学习网设为星标，第一时间获取最新推送，以防错过优质内容我本来是想找个接口管理平台，管理一下平时写的接口，于是就看到了这个开源项目...，我觉得挺有意思的，分享给大家看看，供有需要的人使用说说这个平台大概描述一下这个平台吧，这个平台是你可以将你的接口或者第三方的接口，通过后台添加到系统中，然后设置好是否会员可以访问，之后前台就会展示这个接口了...用户需要在前台注册，开通对应的会员才可以使用这个你设置好的接口。...需求环境 1.php=>5.6 2.php开启pdo 安装说明 1.将源码上传到服务器解压 2.修改根目录下 app 目录里的 Http 目录里的 config.php 数据库信息文件 3.将根目录下的...data.sql 数据库文件导入到数据库中补充 1.nginx运行环境需要配置伪静态，静态代码在根目录 nginx.txt 中 2.根目录下的 model 目录中的 Api 目录可以存放接口文件

3423 0

基于 Flink 搭建实时平台

大数据场景中，需要对大规模数据做到实时计算，玖富集团内部代号为“伏羲”的 Flink 计算平台每天要在接近 510TB 的数据集上做快速的检索和计算，用户的行为改变会导致数据发生变化，进而影响决策。...3三、基于 Flink 的超大规模在线实时反欺诈系统 1、为什么选择 Flink？ Flink 开源项目是近一两年大数据处理领域冉冉升起的一颗新星。...但是，由于 Flink 目前成熟度较低，还存在不少问题，比如 SQL 支持比较初级，无法像 Storm 一样在不停止任务的情况下动态调整资源；不能像 Spark 一样提供很好的 Streaming 和...其次，玖富技术团队也会持续投入人力在系统的功能优化上，并把它做成一个开源的产品推向社区，让更多开发人员可以直接使用这个系统。...其次，玖富技术团队也会持续投入人力在系统的功能优化上，并把它做成一个开源的产品推向社区，让更多开发人员可以直接使用这个系统。

7123 0

基于 Flink 搭建实时平台

大数据场景中，需要对大规模数据做到实时计算，玖富集团内部代号为“伏羲”的 Flink 计算平台每天要在接近 510TB 的数据集上做快速的检索和计算，用户的行为改变会导致数据发生变化，进而影响决策。...3三、基于 Flink 的超大规模在线实时反欺诈系统 1、为什么选择 Flink？ Flink 开源项目是近一两年大数据处理领域冉冉升起的一颗新星。...但是，由于 Flink 目前成熟度较低，还存在不少问题，比如 SQL 支持比较初级，无法像 Storm 一样在不停止任务的情况下动态调整资源；不能像 Spark 一样提供很好的 Streaming 和...其次，玖富技术团队也会持续投入人力在系统的功能优化上，并把它做成一个开源的产品推向社区，让更多开发人员可以直接使用这个系统。...其次，玖富技术团队也会持续投入人力在系统的功能优化上，并把它做成一个开源的产品推向社区，让更多开发人员可以直接使用这个系统。

5761 0

AutoLine开源平台升级新增自定义关键字支持

新增自定义关键字支持到github下载最新代码按以下步骤升级数据库模型 - 删除本地的migrations目录 - 清空数据库表alembic_version中所有内容 - 按以下步骤在命令行中使用下列命令升级数据库模型...近期更新清单： 2018-05-31 v1.1.0 重大版本更新，修订了数据库模型，新增了自定义关键字支持修复用户反馈的缺陷 2018-05-29 v1.0.18 本版本为强制更新版本修复用户反馈默认的关键字错误的缺陷...优化步骤中关键字列表，改为根据项目类型来显示合适的关键字列表 2018-05-29 v1.0.17 修订用户反馈的关键字列表问题注释可能导致跨平台兼容性的问题 2018-05-28 v1.0.16...下查看日志转码问题 2018-05-21 v1.0.10 修订任务状态显示异常问题新增异常任务状态显示修订报告显示样式修订启动时版本检测输出 2018-05-21 v1.0.9 新增项目类型能力，支持...web、app、http三类（对应web ui、app ui以及http接口测试项目） 2018-05-21 v1.0.8 修订详细报告显示不完整的缺陷 2018-05-19 v1.0.7 根据os类型执行不同的进程创建参数

3332 0

Facebook 开源 CV 开发平台 Detectron，打包支持各种物体识别算法

Facebook 人工智能实验室今日宣布开源自己的顶级物体检测研究平台 Detectron，为广大研究人员们未来的新计算机视觉研究课题提供灵活、快速的模型实现和评估途径。...这些由 Detectron 在背后支持的算法为实例分割之类的重要计算机视觉任务提供了直观的模型，也在视觉感知系统这一整个研究社区的研究重点近几年的飞速发展中起到了重要作用。...除了本来计划的研究用途之外，也有一些 Facebook 团队用这个平台训练自定义模型，并把它们用在增强现实、社区完整性等各种各样的任务中。...这次 Facebook 开源 Detectron 也是希望让他们的研究尽可能开放，并且帮助加速全世界的实验室的研究进度。...在这个版本发布以后，整个研究社区都可以重复 Facebook 论文中的实验结果，并且可以和 Facebook 人工智能实验室使用同样的软件平台。

9436 0

开源一款云存储图床平台,支持很多云!

PicList是一款云存储/图床平台管理和文件上传工具，基于PicGo的进行了深度二次开发，保留了PicGo的所有功能的同时，为相册添加了同步云端删除功能，同时增加了完整的云存储管理功能，包括云端目录查看...图片压缩、图片缩放、图片旋转和图片格式转换等功能，支持自定义配置，且可以通过CLI命令行调用支持管理所有图床，可以在线进行云端目录查看、文件搜索、批量上传、批量下载、删除文件等支持预览多种格式的文件...，包括图片、视频、纯文本文件和markdown文件等，具体支持的格式请参考支持的文件格式列表支持正则表达式的批量云端文件重命名管理界面使用内置数据库缓存目录，加速目录加载速度对于私有存储桶等支持复制预签名链接进行分享...优化了PicGo的界面，解锁了窗口大小限制，同时美化了部分界面布局 mac平台安装包已签名，从源头解决了PicGo上的安装包已损坏的日经问题如何在Typora中使用 Windows: 进入Typora...Plugin，然后进入插件设置页面，修改默认上传器为 PicGo(app)，设置 PicGo server为 http://127.0.0.1:36677/upload即可，如下图所示： image 已支持平台

1.8K1 0

Qt支持的平台有那些？

整理一下Qt 5.13版本中支持那些平台。平台描述 Qt Quick WebGL 使用WebGL™实现流媒体的Qt快速用户界面的平台插件。...Qt for Android Android平台 Qt for Embedded Linux 嵌入式Linux平台 Qt for INTEGRITY Green Hills Software INTEGRITY...实时操作系统(支持于Qt5.9) Qt for Linux/X11 Linux/X11平台 Qt for QNX QNX平台 Qt for UWP 通用Windows平台(UWP)的设备上运行Qt应用程序...Qt for VxWorks VxWorks平台(商业可用) Qt for WebAssembly 在浏览器的安全沙箱中运行Qt应用程序 Qt for Windows Windows平台 Qt for...iOS IOS平台(移动端) Qt for macOS macOS平台(桌面端)

1.8K2 0

Flink SQL on Zeppelin - 打造自己的可视化Flink SQL开发平台

我们在之前的文章中详细介绍过Zepplin的来龙去脉，很多大厂基于Flink开发了自己的SQL开发平台。更多的公司可能需要选择一种低成本接入，尽量复用开源的解决方案答案快速支撑业务发展。...那么本文就介绍基于Zepplin开发自己的Flink SQL平台。本文是蘑菇街实时计算负责人狄杰发表在网络上的作品，小编进行了整理。小编之前也写过Flink对接Zeppelin的方案和引用。...社区目前也在推进纯Sql的平台，比如Flink自带的sql-client命令行工具，虽说大多数功能都已支持，包括CREATE VIEW这种尚未在代码中支持的语句，但是功能实在单一，且不支持REST方式去提交我们的代码...ververica目前也推出了一个Sql客户端—Flink SQL Gateway+flink-jdbc-driver，将两者结合使用，也能够很好的构架一个纯Sql的开发平台。...此外，Flink on Zepplin还支持Hive Streaming的读写，我们另外单独开篇进行介绍。

4.8K3 1

微软与Unity合作，开源的机器人学平台AirSim将支持Unity

微软宣布与Unity Technologies合作，将微软研究院的AirSim，一个开源航空信息学和机器人学平台带到Unity。以前它只可用于Epic的Unreal Engine。...AirSim可以利用机器学习模拟具有逼真物理特性的环境，用于测试无人机，汽车等系统。它包括一套软件，支持大疆和MavLink等品牌的现成设备，并公开API，使虚拟测试车辆的数据可即插即用。...基本上，它的目的是作为一个安全、廉价的自动机器试验场，在设计真实世界的原型之前收集数据。...这是AI的下一个飞跃，真正考虑现实世界的系统。”...在Unity上，AirSim用户可以使用Unity的资源商店中的预构建包创建方案，或者集成Unity的机器开源学习代理工具包（ML-Agents）插件，该插件引入了可以使用AI进行训练的智能体。

1.3K3 0

9K Star开源一款支持PDF手写注释的笔记软件,支持 Linux,Windows,macOS平台

软件介绍 Xournal++是一款开源的轻量级电子手写笔记软件。它提供了丰富的功能和易于使用的界面，使用户能够轻松地创建和编辑手写文档，以及进行注释和标记。...功能特点 1.多平台支持：Xournal++可在Windows、Linux和macOS等多个操作系统上运行，为用户提供了跨平台的使用体验。...2.手写和标注：软件支持使用触摸屏、数字板和鼠标进行手写输入，同时还提供了丰富的标注工具，如钢笔、橡皮擦和高亮笔等，方便用户进行文档注释和标记。...3.导入和导出：Xournal++支持导入PDF、图片和其他常见文件格式，用户可以在软件中对这些文件进行编辑和标注。此外，用户还可以将编辑后的文档导出为PDF或图片格式，便于分享和打印。...5.手写识别和搜索：Xournal++具备手写识别和搜索功能，能够将手写的笔记转换为可编辑的文本，并且支持对文档进行关键字搜索。

1.3K2 0

开源的SQl审核平台

5.1k star，强大、功能全、开源的SQl审核平台，推荐！！！...1 Archery简介Archery是一款开源的sql审核平台，支持大部分数据库，功能比较齐全如下为该平台支持的功能清单功能清单====数据库查询审核执行备份数据字典慢日志会话管理账号管理参数管理数据归档...解析 mybatis-mapper2sqlRDS管理 aliyun-openapi-python-sdk数据加密 django-mirage-field3 特点sql审核sql查询在线查询模块适用于简单的SQL...查询和日常问题排查，通过工作流控制查询权限的申请和审核，并强制对SQL语句进行改写以限制最大查询数量，同时记录所有的查询日志方便审计。...基于目前的定位，查询功能现不能很好的支持大数据量的检索和导出操作sql优化采用percona-toolkit的pt_query_digest收集慢日志，在系统中进行展示，并且支持一键获取优化建议

1671 0

将任何网页变成桌面应用，全平台支持 | 开源日报 No.184

使用 Rust Tauri，Pake 比基于 JS 的框架更轻量和更快内置功能包括快捷方式传递、沉浸式窗口和最小化定制支持 Mac、Windows 和 Linux 系统提供命令行打包工具，使打包定制流程更加迅速简便...多种规则支持：通过使用各种预定义规则和插件，The Fuck 能够处理多个常见错误情况。实验性即时模式：The Fuck 的速度较慢？试试实验性即时模式！...deepset-ai/haystackhttps://github.com/deepset-ai/haystack Stars: 9.6k License: Apache-2.0 Haystack 是一个开源的自然语言处理...以下是 Haystack 的核心优势和关键特性：强大而灵活：通过连接不同节点来定义流程，并实现对数据执行 NLP 任务。支持多种功能：包括问题回答、答案生成、语义文档搜索等。...使用最先进技术：集成了基于 Transformer 和 LLMs 的最新 NLP 模型，提供高质量结果。可扩展性强：支持添加各种节点并根据需求定制化配置管道结构。

1971 0

点击加载更多

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭