基于flink的开源平台
基于 Flink 的开源平台是一个强大的流处理和分布式计算框架，它提供了一系列的工具和组件，可以帮助开发人员构建高性能、可扩展的数据处理应用程序。Flink 是一个高级流处理框架，它提供了丰富的算子和操作符，可以用于处理实时数据流。Flink 的核心优势在于其强大的性能和可扩展性，它可以在大规模的集群上实现低延迟和高吞吐量的数据处理。
Flink 的应用场景非常广泛，包括实时数据处理、数据分析、数据挖掘、实时流处理、大数据处理等。Flink 可以与许多其他开源工具和平台集成，例如 Apache Kafka、Apache Hadoop、Apache Cassandra、Elasticsearch 等。Flink 还提供了丰富的 API 和 SDK，可以方便地与其他编程语言和框架集成。
推荐的腾讯云相关产品和产品介绍链接地址：
这些产品都是基于 Flink 构建的，可以帮助用户快速构建高性能的数据处理应用程序。
相关·内容
1回答
我想用ALS算法在Apache Flink上实现一个实时推荐。
可以使用Batch预先训练模型，然后将其加载到Flink中。然后，应该处理输入数据流并将其用于预测。
从Flink 1.9开始，不再包含库FlinkMl。除此之外，还有许多为Apache Flink的机器学习而设计的库。
为此，我需要一个起点，帮助我实现这个项目。
浏览 37提问于2021-02-20得票数 0
回答已采纳
我是新的Flink，并试图创建一个原型，可以做一个连续的查询以及按需的查询。第一部分已经起作用了(使用预定义的查询)，但与第二个部分斗争。有可以使用的SQL。但是，我们希望能够从web端点执行此操作。
我已经看到了Flink木星笔记本集成，这告诉我，这应该工作的方式从一个网页界面。但是，不知道如何做到这一点，每次都不提交一个完整的JAR。
到目前为止，我的研究已经使我广泛地找到了这两种资源：
有一项尚未落实的要求。见和
有一个开源的JDBC驱动程序(还没有尝试过)-- --不确定这是否得到了维护，并说“这个项目处于早期阶段”。
对我们还能探索什么有什么建议吗？
浏览 12提问于2022-01-15得票数 0
回答已采纳
如何使用独立应用程序(本地执行环境或迷你集群)实现flink保存点。我在flink-config.yaml文件中配置了savepoint目录，但不确定如何在关闭应用程序之前获取保存点，以及如何在重新启动应用程序后恢复？
是否有任何方法或必须先使用flink群集，然后再使用CLI。
感谢你的帮助。谢谢
浏览 0提问于2020-08-18得票数 0
2回答
在使用Scala代码将数据从输出NiFi端口传输到Flink方面，我需要一些帮助。
我被.addSource()函数卡住了。它要求额外的参数(OUT)，但是当我提供它们时，我总是得到一个错误。Scala代码和错误消息如下所示。
package flinkTest
import java.nio.charset.{Charset, StandardCharsets}
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment
import org.apache.flink.streaming.api
浏览 0提问于2017-07-17得票数 0
回答已采纳
2回答
我必须将文档管理服务实现为编排层，该编排层在底层服务之间进行编排，如存储、解析、防病毒扫描等。要求该层具有灵活性，以便可以快速实现不同类型文档的不同流
一种方法是将其建模为事件驱动系统，并使用Apache Flink等框架在事件上实现处理管道。
另一种思考方式是--工作流。将其设计为在Apache Airflow或Uber Cadence等工作流引擎上运行的工作流。
什么是更好的方法。
浏览 7提问于2019-10-23得票数 3
2回答
嗨，我计划使用flink作为我的功能的后端，我们将向用户展示一个用户界面，以图形化的方式创建事件模式，例如:来自同一个Ip地址的多个登录失败。
我们将使用UI中的用户指定的条件以编程方式创建flink模式。
有关于如何动态创建jar文件并将作业动态提交给flink集群的文档吗？
对于这种使用apache的用例，有什么最佳实践吗？
浏览 9提问于2021-12-21得票数 1
2回答
到目前为止，我已经搜索了很多次这个问题，但不幸的是没有任何结果。这就是我的问题: javaEE (基于java的)是否有开放源代码的购物车解决方案(电子商务系统)？我指的是类似OpenCart之类的东西。
我很感谢你的评论。
浏览 4提问于2013-05-04得票数 2
回答已采纳
我的Flink作业从一个kafka主题中读取数据，并将数据存储在RocksDB状态后端中，以便使用可查询状态。我能够在本地机器上运行作业并查询状态。但是，在集群上部署时，我会得到以下错误：
Caused by: org.apache.flink.runtime.client.JobExecutionException: Job execution failed.
at org.apache.flink.runtime.jobmanager.JobManager$$anonfun$handleMessage$1$$anonfun$applyOrElse$6.apply$mcV$sp(JobMan
浏览 6提问于2017-06-03得票数 0
回答已采纳
我刚刚尝试使用Rosetta 2兼容层在苹果Mac上运行和新的M1处理器。
不幸的是，它在以下堆栈跟踪中失败：
flink-1.12.2 ./bin/flink run ./examples/streaming/WordCount.jar
Executing WordCount example with default input data set.
Use --input to specify file input.
Printing result to stdout. Use --output to specify output path.
WARNING: An illegal refl
浏览 2提问于2021-04-13得票数 3
当StreamingFileSink尝试重命名进程中的文件时，我偶尔会遇到一个问题。请参见下面的异常：
文件系统挂载在Google Cloud Storage buckets上。它在大多数情况下都工作得很好，但突然失败了。
我已经验证了inprogress文件是否存在。任何提示和建议都将非常有用--谢谢！
2019-11-12 01:26:44.908 [flink-akka.actor.default-dispatcher-77] INFO org.apache.flink.runtime.executiongraph.ExecutionGraph - Job kafka-ingestio
浏览 25提问于2019-11-12得票数 0
.Net框架和.Net核心有什么区别?
这个问题是面试官问的，我没能做到！
他还问:
为什么叫.Net Core?
浏览 4提问于2019-11-13得票数 3
回答已采纳
2回答
我想尝试apache flink、hadoop和solr来进行非侵入性的日志摄取，以便对它们进行处理和索引，并进行一些分析和查询。我在考虑使用flink对几个应用程序的应用程序日志进行数据处理，然后将它们放到hadoop上，然后使用solr对它们进行查询。问题是:这真的是非侵入性的吗？Flink的行为类似于flume，在我喜欢监视的服务器中安装和配置代理。hadoop和solr是不是一个很好的组合，可以索引大量日志，然后以sql方式查询这些日志，以便深入了解数据并做出一些在创建警报时有用的预测？ 谢谢。
浏览 21提问于2019-04-11得票数 0
2回答
有没有类似于Spree (Rails) for Grails的东西？我在上看过这个问题的答案，但它已经有半年多的历史了，没有给出类似于Spree的答案。
浏览 0提问于2012-02-19得票数 1
1回答
我们如何实时监控flink作业。例如，如果作业失败，则会生成一些警报。是否存在任何外部库，或者flink中已有可用的库。提前谢谢。
浏览 14提问于2021-06-02得票数 1
在哪里可以找到Firebase的源代码(如果可用的话)？特别是Firebase消息传递和Firebase公共源代码
浏览 0提问于2017-04-20得票数 0
回答已采纳
1回答
理想情况下，我想运行一些实验来测量我的应用程序的输入使用者的压力(即，如果我的应用程序落后于输入数据主题，并且消息到达的速度快于它们的处理速度)。有人告诉我这很常见，但我不知道该怎么做 我正在阅读1.9版本的Metrics文档，从我得到的内容来看，我必须配置conf/flink-conf.yaml (在独立模式下)，假设jmx报告器是这样的： metrics.reporter.jmx.factory.class: org.apache.flink.metrics.jmx.JMXReporterFactory
metrics.reporter.jmx.port: 8789 那么，我是否应该使用
浏览 51提问于2020-06-15得票数 0
我试图使用Table在Flink应用程序中利用s3a文件系统。我在EMR6.1(预装有Flink 1.11.0)。
作为应用程序的一部分，我正在s3位置上创建一个表。当我运行这个程序时，我会得到以下错误：
org.apache.flink.core.fs.UnsupportedFileSystemSchemeException
指示s3://或s3a:// URI都不支持任何文件系统。
每一个，如果我在电子病历，我不需要配置任何文件系统作为一个插件。
我反复检查了我的应用程序中没有包含fs-s3-hadoop依赖项。
奇怪的是，当我按照上面的说明将文件系统安装为一个插件时，我可以将它用于s3:
浏览 2提问于2021-09-01得票数 0
回答已采纳
零星的异常发生如下。
java.lang.RuntimeException: Error triggering a checkpoint as the result of receiving checkpoint barrier
at org.apache.flink.streaming.runtime.tasks.StreamTask$2.onEvent(StreamTask.java:701)
at org.apache.flink.streaming.runtime.tasks.StreamTask$2.onEvent(StreamTask.java:691)
a
浏览 3提问于2016-06-27得票数 0
1回答
DSMS对应于数据流管理系统。这些系统允许用户提交将持续执行的查询，直到用户删除为止。
像Storm和Flink这样的系统能被看作是DSMS吗?或者它们是否更通用？
谢谢
浏览 8提问于2016-11-20得票数 2
回答已采纳
当我想要更新值状态(queueState.update(Queue))时，捕捉这个异常： org.apache.flink.util.FlinkRuntimeException: Error while adding data to RocksDB
at org.apache.flink.contrib.streaming.state.RocksDBValueState.update(RocksDBValueState.java:108)
at xxx.xxx.xxx.CleanTimedOutPartialMatches.processElement(CleanTimedO
浏览 142提问于2019-10-12得票数 0
我目前正在开发一个从Hadoop集群读取Avro文件的Flink 1.4应用程序。但是，在我的IDE上以本地模式运行它工作得很好。但是，当我将其提交到Jobmanager Flink时，它总是失败，并显示以下消息：
java.io.IOException: Error opening the Input Split hdfs://namenode/topics/CaseLocations/partition=0/CaseLocations+0+0000155791+0000255790.avro [0,16549587]: Could not find a file system implem
浏览 207提问于2018-02-14得票数 7
下面是我观看的演示文稿中关于Flink优化器的幻灯片。对于Flink的优化器根据提供的数据集的基数来决定并行性的评论，我特别感到困惑。
我目前正在阅读Flink 1.4 (我正在使用的版本)文档，我似乎找不到任何关于Flink关于并行性的决定的文档。，我是否需要为Flink的优化器提供有关数据集的统计信息，以便利用这个特性？
在相关的说明中，我认为通过指定一个maxParallelism值，这可能使Flink能够动态地确定哪个级别的并行性适合于提供的数据集(如上面所详述的)。但是，我无法指定Flink 1.4文档所指定的最大并行性，这就是为什么我无法验证我的假设。对于某些上下文，我使
浏览 0提问于2019-05-20得票数 1
回答已采纳
1回答
我有兴趣创建一个应用程序，使用相机作为条形码扫描仪。我有一个模糊的想法，我必须做什么，但不知道如何或是否我是正确的。
我知道它需要图像处理，分析条形码本身(空白/黑色空间)，可能需要一些图像帧来正确处理它，但不知道如何开始。
你能给我指出正确的方向吗？
谢谢
浏览 2提问于2010-12-21得票数 1
回答已采纳
我正在构建一个具有以下目标的Flink应用程序：
将事件收集到键控的非活动触发会话窗口中
尽早发出输入事件的副本，并增加会话引用。
在会话打开和关闭时发出会话更新以及收集的会话统计信息(在会话关闭时)
我已经能够实现上述目标，通过翻滚的窗口，但我没有成功地做同样的会议窗口。
我的窗口处理代码如下
package io.github.streamingwithflink.jv
import java.util.{Calendar}
import io.github.streamingwithflink.util.{MySensorSource, SensorReading
浏览 1提问于2019-08-29得票数 1
回答已采纳
我有一个flink jar，它在弹性和卡桑德拉上建立了一个可序列化数据类型的数据流，它的行为不同于独立的上下文。我读过关于netty与Flink进程的冲突的文章，我将它排除在pom文件之外，但随后它将包含在包中。
有什么建议吗？
这是一个例外：
java.lang.ClassCastException: io.netty.channel.epoll.EpollEventLoopGroup cannot be cast to io.netty.channel.EventLoopGroup
at com.datastax.driver.core.NettyUtil.newEventLoop
浏览 0提问于2018-02-13得票数 1
回答已采纳
我有一个SWF的AS3文件，它加载一个外部swf使用标准的AS3加载器。
内部SWF (我从SWF加载的那个)发出几个http网络调用，我想从SWF(加载这个内部SWF的同一个AS3代码)监视它们(例如，能够获取所发出请求的URL )。
这个是可能的吗？多么?
浏览 2提问于2015-08-09得票数 1
1回答
Flink状态模式迁移
、、、
我在一个使用MemoryStateBackend的独立集群上有一个flink流应用程序。Kryo的TaggedFieldSerializer被用作默认的序列化程序。
当我更改状态的模式并重新部署应用程序时，我得到了以下异常
Caused by: org.apache.flink.util.StateMigrationException: State migration isn't supported, yet.
at org.apache.flink.runtime.state.heap.HeapKeyedStateBackend.tryRegisterStateTable(HeapK
浏览 1提问于2018-03-10得票数 1
回答已采纳
有谁知道HubSpot或Saleforce使用什么解决方案来创建他们的应用程序商店，或者是他们自己从头开始编写的吗？
HubSpot's： Salesforce's：
它们看起来非常相似，所以我有一种预感，它们是建立在一个公共平台上的，但我在源代码中看不到任何证据。如果他们确实是从头开始构建的，那么有谁知道提供此功能的潜在的白色标签解决方案？
浏览 0提问于2013-01-04得票数 0
根据这里的文档： https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/connectors/ 和 https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/connectors/ 有没有可能创建一个定制的ddl连接器，用于RabbitMQ表API1.11？ 多么?
浏览 58提问于2020-07-10得票数 0
我正在尝试使用docker构建一个maven项目，并在flink中提交一个生成的jar。但最终，还是有一些例外发生了。任何人都可以帮助我解决这个异常。 Dockerfile FROM maven:3.6-jdk-8-slim AS builder
COPY src /home/app/src
COPY pom.xml /home/app
RUN mvn -f /home/app/pom.xml clean package
FROM flink:1.10.0-scala_2.12
COPY --from=builder /home/app/target/demo-1.0-SNAPSHOT
浏览 59提问于2020-08-08得票数 0
1回答
我试图通过提供Kryo序列化程序来解决以下问题，但它仍然不起作用。它无法识别ModelCom的序列化程序。此外，任何打印功能的消息都不会显示出来。 我使用的是Apache Flink 1.9.0和Apache Jena 3.10.0 我的Kotlin代码： val serializer = object : Serializer<Model>(){
override fun write(kryo: Kryo, output: Output?, obj : Model?) {
print("write")
浏览 21提问于2020-04-27得票数 1
回答已采纳
我非常喜欢的部署架构。
是否可以使用Heroku的一个构建包(例如)使用熟悉的命令将我的应用程序部署到我自己的服务器(本地Linux或运行Ubuntu的EC2 )
linux> git push localserver master
其中，本地服务器是一个git端点，我可以将它推送到存储库中。
如果是这样的话，是否有文档设置本地或EC2服务器来作为可重复的进程进行此操作的地方？
浏览 0提问于2012-07-26得票数 6
虽然Flink网站上的所有文档都没有提到“外部状态”，但我们在一篇论文中遇到了这个概念(http://www.vldb.org/pvldb/vol10/p1718-carbone.pdf 4.1节)。我们如何实现这一点？
浏览 26提问于2020-09-03得票数 0
回答已采纳
1回答
为了学习目的，我正在构建一个简单的数据管道。我有来自Kafka的实时数据，我想使用Flink进行一些转换。
不幸的是，我不确定我是否正确地理解了部署选项。在Flink文档中，我找到了关于Docker组成和应用模式的部分。它说，我只能将一个作业部署到Flink：
Flink应用程序群集是运行单个作业的专用群集。在这种情况下，您可以将作业部署到集群中，这样就不需要额外的作业提交了。
作业工件包含在容器内Flink的JVM进程的类路径中，包括：
您的作业jar，您通常会将其提交到会话集群和
所有其他必要的依赖关系或资源，不包括在Flink中。
要使用Docker为单个作业部
浏览 5提问于2022-01-08得票数 0
回答已采纳
我是弗林克的新手。我遵循快速启动在flink网站和部署flink在一台机器上。在我做完“.bin/flink运行示例/流/SocketWindowWordCount.jar--端口9000”并输入网站描述的单词后，我得到的结果是：
似乎程序没有做减缩，我只是想知道为什么？谢谢。
浏览 0提问于2018-09-24得票数 0
回答已采纳
1回答
版本有gui吗？
、、、、
我已经使用docker在我的mac上安装了版本，并且了解到我通过终端拥有完整的功能。但我想知道windows机器上的安装是否带有GUI？
如果不是，用于管理的更常见(免费)GUI/工具是什么？在MacOS和Windows上？
谢谢!
浏览 0提问于2018-02-07得票数 3
问题
在运行在服务器上的Flink独立集群上，我正在Scala中开发Flink流作业。该作业消耗来自超过1个Kafka主题的数据(做一些格式化，并将结果写入HDFS )。
卡夫卡主题之一和HDFS都需要单独的Kerberos身份验证(因为它们属于完全不同的集群)。
我的问题是：
有可能(如果有，怎么做？)要使用Flink集群上运行在服务器上的Flink作业中的两个Kerberos键选项卡(一个用于Kafka，另一个用于HDFS)？(因此Flink作业可以同时使用Kafka主题并同时写入HDFS )
如果不可能，在Kafka和HDFS都受到Kerberos保护的情况下，对于Kafka-F
浏览 0提问于2018-05-02得票数 5
回答已采纳
1回答
我有两个部分的问题。
我不会在目标C中做一些基本的形状绘制(并使其具有交互性)。似乎有不同的苹果库来做这件事。可可画，核心图形，QuartzGL和你也可以直接写OpenGL。
Q1:这些库/技术之间有什么区别？
Q2:中的任何一个都提供了回调函数，用于单击图形对象(例如圆圈)(就像在一个图形库中)？或者类似的东西？或者，我是否必须像OpenGL那样手动执行--计算边界并检查鼠标单击的像素位置？
谢谢。:)
浏览 1提问于2014-02-04得票数 1
回答已采纳
我们可以看到，在将Flink度量暴露于外部系统(如Prometheus )时，Flink使用Pushgateway而不是Prometheus通常的拉模型进行一般度量集合。
@Override
public void report() {
try {
pushGateway.push(CollectorRegistry.defaultRegistry, jobName);
} catch (Exception e) {
log.warn("Failed to push metrics to PushGateway with jobName
浏览 2提问于2018-08-19得票数 0
回答已采纳
对于软件，如adobe photoshop/adobe indesign/ adobe premier/MS office/ vmware，哪些是最好的和免费的选择？
浏览 0提问于2017-05-10得票数 -4
1回答
是否有任何仪表板解决方案可用于直接与OPC服务器通信(用于过程控制的OLE+用于工业标准)？如果是，请建议仪表板供应商名称。
浏览 13提问于2017-06-29得票数 0
我很想知道用于外部数据访问的Asynchronous I/O Flink API是否也适用于Beam。我找不到任何具体的东西。我知道横梁使用Flink作为执行框架，所以异步I/O对横梁也是可能的，但我不确定API是否已经定义。
浏览 18提问于2021-10-06得票数 0
3回答
我正在尝试为GCS中的flink作业配置检查点。如果我在本地运行一个测试作业(没有停靠器和任何集群设置)，那么一切都可以正常工作，但是如果我使用docker -复合或集群设置运行它，并在flink仪表板中部署带有作业的fat jar，那么它就会失败。
有什么想法吗？谢谢!
Caused by: org.apache.flink.core.fs.UnsupportedFileSystemSchemeException: Could not find a file system implementation for scheme 'gs'. The scheme is not di
浏览 2提问于2018-08-15得票数 2
回答已采纳
4回答
有没有人可以推荐一个开源的ESB工具/运行时，它可以扩展到包含BPM或与BPM兼容( BPEL或exec BPMN)？
理想情况下，我正在寻找一些经过验证的可伸缩性，以及一组良好的图形支持/维护界面。
我知道在商业世界中有几件事可以做到这一点，但对o/s产品并不是很熟悉。
浏览 1提问于2011-11-18得票数 3
回答已采纳
我计划将我们的一个Spark应用程序迁移到Apache Flink。我正在尝试理解它的容错特性。
我执行了以下代码，我没有看到Flink实际上尝试重试任何任务(或子任务)。这可能会导致我的数据丢失。我应该怎么做才能确保Flink覆盖了所有的故障？
val env = StreamExecutionEnvironment.getExecutionEnvironment
env.setStateBackend(new FsStateBackend("file:///my-path", false))
env.setRestartStrategy(Restar
浏览 2提问于2019-09-24得票数 2
我使用的是Flink 1.12，我已经将时间特征指定为事件时间，如下所示： env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime) 我忘了指定水印策略，我想问一下，如果我只指定TimeCharacteristic，而不指定水印策略，flink将如何操作。
浏览 37提问于2021-04-30得票数 0
回答已采纳
你能给winforms 3d和wpf 3d一些建议吗？问:我试着在windows窗体中写一个3D模拟程序，我对CsGL (OpenGl wrapper)有一些了解
DirectX
OPenTk
也是
SlimDx
OgreDotNet
WPF：
巴尔德
我有两个问题: 1)你有一些关于上述引擎的建议，以创建一些模拟。或任何其他最好的引擎或包装器类
2)我可以在Windows窗体中使用Balder吗？
浏览 2提问于2011-05-20得票数 0
回答已采纳
我已经完成了桌面应用程序，该应用程序覆盖windows打印过程、访问打印事件、在创建打印作业时执行自己的应用程序，获得所有打印作业的详细信息，如：
打印机名称DocTime提交了No.要打印的页面的
所有这些都是使用c# .net和windows平台开发的，但现在我也想在.net平台上做同样的事情。我如何获得所有打印细节以及打印系统事件在Mac上使用DOT。
提前谢谢，
索梅什·帕蒂尔
浏览 2提问于2011-11-21得票数 0
我一直在使用WxPython，我也尝试过Tk，但是看起来，虽然这两个都很好，而且我可能会在其他项目中使用它们，但它们似乎都不能实现我当前项目想要的东西(这很好，它们擅长它们所做的事情)。
基本上，我正在寻找的是可以让我做出丰富的图形用户界面的东西。我的具体目标是一个可以绘制位图按钮的窗口，可以自动调整父窗口的大小以适应它们，可能还可以使用滑动效果来动态调整大小，并使按钮淡入。此外，能够拥有自己的窗口边框样式，而不是内置的样式，这对我来说很重要。
这个特定的项目将仅适用于Windows，因此在这种情况下非可移植的库是很好的，尽管可移植的库也会很好。
如果我错过了在WxPython或Tk中如何做到
浏览 1提问于2010-09-19得票数 18
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
