flink的开源技术
您好！您提到的 Flink 是一个流行的开源大数据处理引擎，它提供了数据流和批处理两种模式，并且具有高吞吐量、低延迟和容错性等优势。下面是关于 Flink 的一些信息：
- Flink 的全称是 Apache Flink，是一个由 Apache 软件基金会开发的开源流处理框架。
- Flink 的核心特点是流处理和批处理的统一，它可以同时处理批量数据和实时流数据，并且可以在同一个任务中进行时间窗口计算和分组聚合等操作。
- Flink 支持事件时间处理和状态管理，可以保证数据的一致性和可靠性，同时也支持窗口操作和数据分区等高级功能。
- Flink 的性能非常出色，它可以实现低延迟和高吞吐量的数据处理，并且可以在分布式环境中进行容错和恢复，保证系统的可靠性和稳定性。
- Flink 的社区非常活跃，有很多公司和开发者在使用和贡献代码，并且 Flink 已经成为了很多大数据处理项目的首选框架。
对于 Flink 的应用场景，它可以应用于各种大数据处理任务，例如实时数据分析、日志处理、数据转换、数据清洗、数据挖掘、实时流处理等等。
腾讯云提供了一些与 Flink 相关的产品和服务，例如 TKE RegisterNode，可以帮助用户快速部署和管理 Flink 集群，并且提供了丰富的插件和扩展，支持用户自定义开发。此外，腾讯云还提供了云上的大数据处理服务，可以支持用户使用 Flink 进行大数据处理和实时流处理。
总之，Flink 是一个非常强大的开源大数据处理引擎，它提供了丰富的功能和优势，可以应用于各种大数据处理任务。腾讯云提供了与 Flink 相关的产品和服务，可以帮助用户快速部署和管理 Flink 集群，并且提供了丰富的插件和扩展，支持用户自定义开发。
相关·内容
2回答
在使用Scala代码将数据从输出NiFi端口传输到Flink方面，我需要一些帮助。
我被.addSource()函数卡住了。它要求额外的参数(OUT)，但是当我提供它们时，我总是得到一个错误。Scala代码和错误消息如下所示。
package flinkTest
import java.nio.charset.{Charset, StandardCharsets}
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment
import org.apache.flink.streaming.api
浏览 0提问于2017-07-17得票数 0
回答已采纳
1回答
我试图使用Python 处理Apache提供的数据流，用于Apache和Flink运行器。在运行Kafka 2.4.0和Flink 1.8.3之后，我遵循以下步骤：
( 1)用Flink 1.8转轮编译运行梁2.16。
git clone --single-branch --branch release-2.16.0 https://github.com/apache/beam.git beam-2.16.0
cd beam-2.16.0
nohup ./gradlew :runners:flink:1.8:job-server:runShadow -PflinkMasterUrl=local
浏览 2提问于2019-12-27得票数 3
回答已采纳
1回答
理想情况下，我想运行一些实验来测量我的应用程序的输入使用者的压力(即，如果我的应用程序落后于输入数据主题，并且消息到达的速度快于它们的处理速度)。有人告诉我这很常见，但我不知道该怎么做 我正在阅读1.9版本的Metrics文档，从我得到的内容来看，我必须配置conf/flink-conf.yaml (在独立模式下)，假设jmx报告器是这样的： metrics.reporter.jmx.factory.class: org.apache.flink.metrics.jmx.JMXReporterFactory
metrics.reporter.jmx.port: 8789 那么，我是否应该使用
浏览 51提问于2020-06-15得票数 0
我试图使用Table在Flink应用程序中利用s3a文件系统。我在EMR6.1(预装有Flink 1.11.0)。
作为应用程序的一部分，我正在s3位置上创建一个表。当我运行这个程序时，我会得到以下错误：
org.apache.flink.core.fs.UnsupportedFileSystemSchemeException
指示s3://或s3a:// URI都不支持任何文件系统。
每一个，如果我在电子病历，我不需要配置任何文件系统作为一个插件。
我反复检查了我的应用程序中没有包含fs-s3-hadoop依赖项。
奇怪的是，当我按照上面的说明将文件系统安装为一个插件时，我可以将它用于s3:
浏览 2提问于2021-09-01得票数 0
回答已采纳
虽然Flink网站上的所有文档都没有提到“外部状态”，但我们在一篇论文中遇到了这个概念(http://www.vldb.org/pvldb/vol10/p1718-carbone.pdf 4.1节)。我们如何实现这一点？
浏览 26提问于2020-09-03得票数 0
回答已采纳
如何使用独立应用程序(本地执行环境或迷你集群)实现flink保存点。我在flink-config.yaml文件中配置了savepoint目录，但不确定如何在关闭应用程序之前获取保存点，以及如何在重新启动应用程序后恢复？
是否有任何方法或必须先使用flink群集，然后再使用CLI。
感谢你的帮助。谢谢
浏览 0提问于2020-08-18得票数 0
在Apache Flink 1.8.1上 我正在阅读https://flink.apache.org/news/2015/12/04/Introducing-windows.html，我正在尝试弄清楚使用countWindow(size: Int)是否适合我的用例:当N个用户访问我网站的帮助页面时，我想将他们都标记为客户服务扩展。我很困惑，因为关于.countWindow()的文档有限，而且我很难确认它是否已被弃用，转而采用另一种方法。 我正在尝试这个(忽略红色的高亮部分)： ? countWindow()的源代码如下所示： ? 然后，寻找文档是如此有限。在最好的情况下，我在1.3文
浏览 14提问于2020-03-31得票数 0
回答已采纳
我使用FlinkKafkaConsumer来使用kafka并启用检查点。现在，我对偏移管理和检查点机制有点困惑。我已经知道flink将开始从使用者组的. https://ci.apache.org/projects/flink/flink-docs-stable/dev/connectors/kafka.html#kafka-consumers-start-position-configuration读取分区，并且偏移量将存储到远程fileSystem中的检查点中。https://ci.apache.org/projects/flink/flink-docs-stable/dev/connec
浏览 6提问于2019-11-04得票数 2
回答已采纳
我正在试用卡夫卡和弗林克：
我用flink制片向kafka发送流推文。
我使用几个flink使用者来处理这些数据(atm只是解析，并保存来自tweet的主要消息)。现在，我想在我的web应用程序(angular2基础)中显示这些干净的消息。做这件事的好办法是什么？
如果我创建一个基本的REST网络服务，我想我会失去流的兴趣，对吗？
我应该用flink数据来填充我的webapp，还是应该将它发送到另一个kafka主题，以便将它提供给webapp？
谢谢,
安托万
浏览 1提问于2017-03-21得票数 0
1回答
谁能告诉我使用SNMP监控Docker容器是不是一个好主意？我的意思是，我正在考虑在每个容器上安装SNMP代理，并通过Flink/Kafka流收集数据，但我不知道这样做是否可以，就像在每个容器上安装SNMP代理一样。
谢谢!
浏览 1提问于2018-07-13得票数 1
我是新的Flink，并试图创建一个原型，可以做一个连续的查询以及按需的查询。第一部分已经起作用了(使用预定义的查询)，但与第二个部分斗争。有可以使用的SQL。但是，我们希望能够从web端点执行此操作。
我已经看到了Flink木星笔记本集成，这告诉我，这应该工作的方式从一个网页界面。但是，不知道如何做到这一点，每次都不提交一个完整的JAR。
到目前为止，我的研究已经使我广泛地找到了这两种资源：
有一项尚未落实的要求。见和
有一个开源的JDBC驱动程序(还没有尝试过)-- --不确定这是否得到了维护，并说“这个项目处于早期阶段”。
对我们还能探索什么有什么建议吗？
浏览 12提问于2022-01-15得票数 0
回答已采纳
我正在寻找一个可视化的编程工具，以抽象化的代码，当创建数据流流，以建立在Flink或束-Flink中的CEP应用程序。类似于Nifi或流设置数据收集器的图形设计器。
有人知道这样的计划吗？
浏览 5提问于2017-04-30得票数 4
回答已采纳
使用远程功能的Flink 涉及到Flink StateFun集群将计算任务的执行交给通过某种FaaS机制部署的远程员工，例如AWS Lambda。
正如所述，AWS lambda受到扩展限制(它们可以扩展的速度和限制)。请注意，并发的Lambda配额适用于帐户，而不是每个单独的lambda函数。
在大规模流传输系统中，特别是如果由单个Lambda调用执行的工作相对于在该时段中在数据流中遇到的密钥的数量而言相对较长，则可以想象Flink StateFun集群可能遇到Lambda节流事件。换句话说，当尝试通过API Gateway调用Lambda时，StateFun集群将收到来自API Gatew
浏览 9提问于2021-10-18得票数 0
2回答
我必须将文档管理服务实现为编排层，该编排层在底层服务之间进行编排，如存储、解析、防病毒扫描等。要求该层具有灵活性，以便可以快速实现不同类型文档的不同流
一种方法是将其建模为事件驱动系统，并使用Apache Flink等框架在事件上实现处理管道。
另一种思考方式是--工作流。将其设计为在Apache Airflow或Uber Cadence等工作流引擎上运行的工作流。
什么是更好的方法。
浏览 7提问于2019-10-23得票数 3
我正在开发一个POC，将现有的Flink应用程序/拓扑转换为使用KafkaStreams。我的问题是关于部署。
具体来说，在Flink中，可以向flink安装添加"Worker节点“，然后为拓扑添加更多的并行化，以跟上不断增长的数据速率。
如何随着数据速率的增加而增加KStreams容量？KStreams会自动处理这个问题吗？我是否启动更多的进程(ala微服务)？
还是我错过了这里的大局？
浏览 4提问于2016-08-17得票数 3
回答已采纳
我有一些数据传输作业运行在Flink中的有限流。这些作业每天通过纱线会话分离模式多次提交到Flink集群。每天都会发生一种奇怪的现象：随机少数作业(约5%不是内存密集型)失败，因为容器由于超出物理内存限制而被移除。
当容器被移除时，作业管理器已经打印了进程树。结果表明，有两个重复的TaskExecutorRunner进程共享相同的参数，一个是另一个的父进程。
Flink版本: 1.6.2
我任务经理的容器怎么了？你见过这个问题吗？
jobmanager.log：
2020-07-13 08:20:38,353 INFO org.apache.flink.yarn.YarnResourceMa
浏览 1提问于2020-07-13得票数 0
我试图遵循这个，但是当我试图编译它时，我有以下错误：
Error: Unable to initialize main class com.amazonaws.services.kinesisanalytics.aws
Caused by: java.lang.NoClassDefFoundError: org/apache/flink/streaming/api/functions/source/SourceFunction
此错误是由于以下代码所致：
private static DataStream<String> createSourceFromStaticConf
浏览 1提问于2019-01-09得票数 13
回答已采纳
2回答
我想尝试apache flink、hadoop和solr来进行非侵入性的日志摄取，以便对它们进行处理和索引，并进行一些分析和查询。我在考虑使用flink对几个应用程序的应用程序日志进行数据处理，然后将它们放到hadoop上，然后使用solr对它们进行查询。问题是:这真的是非侵入性的吗？Flink的行为类似于flume，在我喜欢监视的服务器中安装和配置代理。hadoop和solr是不是一个很好的组合，可以索引大量日志，然后以sql方式查询这些日志，以便深入了解数据并做出一些在创建警报时有用的预测？ 谢谢。
浏览 21提问于2019-04-11得票数 0
我认为斯派克比弗林克优越。下面是我的研究。
我看到星火的大部分功能都包含在Flink中，除了星火的“公平调度”。我试着搜索并查看Flink文档，但是没有运气。
另外，如果你看到吉顿，Apache的流行度几乎是Flink的两倍(明星和叉子的数量)。所以我很想知道为什么弗林克没有星火那么受欢迎。
我还看到写入Flink的连接器数量比Spark的连接器数量少/维护少。(例如: mongodb)这是否意味着Flink尚未成熟或获得市场吸引力？
以上问题的答案将帮助我们决定合适的技术。
编辑-1
在阅读了一些答案之后，我会给出更多的信息。
这将主要用于批处理。实时流可能占用例的1
浏览 4提问于2022-04-21得票数 -2
1回答
我是否使用了正确的框架？
、、、
我刚开始使用scala / flink / spark，我想问几个问题。现在正在使用带有flink的scala。
数据流的一般思想如下：
csv文件-> flink ->弹性-> flink(工艺数据) -> MongoDB -> Tableau
有大量的日志文件是分号分隔的。我想将这些文件写入elasticsearch作为我的数据库。(这已经奏效了)
现在需要进行各种分析(f.e。一致性报告/生产力报告)。对于这些报告，需要不同类型的列。
其思想是使用flink从elasticsearch导入基本数据，编辑数据并将其保存到mongodb中，这样就可以使用tabl
浏览 1提问于2017-08-08得票数 2
回答已采纳
我在一个关系数据库中有一些批处理的数据，我想使用Flink将它们推送到消息总线上。由于Flink同时支持批处理和流模式，因此它看起来非常适合。话虽如此，我不知道这项任务是属于StreamingJob还是BatchJob，以及如何将两者联系起来。此任务是否更适合FlinkSQL环境？ 这个是可能的吗？我需要注意什么？
浏览 25提问于2021-04-28得票数 0
回答已采纳
我设置了keyby PARALLESIZ30，怎样才能找到30个唯一的keys使数据流keyByed均匀? flink支持吗？因为我不想要太多的key，而且我会在influxdb中将key设为一个标签，所以我不想要太多的key，避免在influxdb.But中使用oom，我如何通过数据流均匀地使用最小的key到key呢？
我想使用flink来跟踪mysql.and中表的每次更改(如update/insert)我会计算每个seconds.but表的更改次数有些表有太多的更改会导致keyby数据倾斜，所以我想使用固定数量的key来负载平衡keyby流。
浏览 23提问于2019-08-06得票数 1
目前，我们使用Flink FsStateBackend检查点并设置fileStateSizeThreshold，将写入HDFS上avro/json文件的数据大小限制在128 on。在检查点操作延迟一定时间后也关闭文件。
由于我们在新项目中没有使用高级Flink特性，所以我们希望使用Kafka Connect HDFS Connector中的Kafka流直接将消息写入hdfs (而不是旋转Flink)。
但是，我无法找到限制卡夫卡连接器中hdfs文件的文件大小的选项，除了flush.size，它似乎限制了记录的#。
如果连接器上没有设置，人们如何以另一种方式管理hdfs上流数据中的文件大小？
浏览 0提问于2018-08-08得票数 1
回答已采纳
我的目标是调试这段代码，以便按照中的建议查看它的运行情况。
我的IDE是Visual代码，这个示例的语言是Java。我正在运行一个Flink Datastream API教程。
当我在任何一行放置一个断点时，我会得到以下错误：
Cannot find a class with the main method in the folder 'frauddetection'.
有人暗示我要创建一个launch.json文件，所以，这就是我所创建的：
{
// Use IntelliSense to learn about possible attributes.
//
浏览 15提问于2020-06-08得票数 1
回答已采纳
时间序列数据库可以完成流分析系统(如spark streaming / flink / kinesis analytics)所能做的一切吗？
其中一个包含另一个吗？我并不是在寻找哪一个更好。只需了解它们支持哪些不同的用例。
浏览 11提问于2017-08-18得票数 3
1回答
我的flink作业的一个参数是动态的，我有一个api来获取动态值。是否可以每次都在源端调用接口，根据参数拉取数据？这是正确的方式吗？这会在flink作业中造成任何麻烦吗？
浏览 0提问于2021-05-27得票数 0
我需要知道我们是否可以像我们在java中使用PreparedStatement进行sql查询一样参数化apache-flink sql query。 Select * from emp where emp_id=?
浏览 12提问于2019-05-04得票数 0
我的Flink作业有一个由客户端提供的jar文件，我可以将其存储在/lib文件夹中。有没有办法在不重启集群的情况下重新加载更新后的jar文件？
浏览 24提问于2017-12-15得票数 3
回答已采纳
我们正在为Kafka设置MirrorMaker 2.0。如果我没理解错的话，在复制集群中，主题偏移量是不相等的。这对于普通的Kafka应用程序来说不是问题，因为消费者群体也会被复制。Flink在状态内部存储Kafka偏移量-我认为在使用状态重新启动作业后，事情可能会出错。有没有办法设置Flink，以便我们可以在复制的Kafka集群上从集群故障中恢复？我认为我们应该以某种方式迁移状态，但没有这样做的经验。
浏览 0提问于2020-03-24得票数 3
1回答
如何在jvm之间分发代码
、、、
一些分布式计算引擎，如Spark或Flink，能够在计算机和jvm之间分发代码，例如(在scala中使用spark)：
sc.parallelize(1 to 10).map(i => i+1).collect
在这里，i => i+1在所有worker上被序列化、发送和执行。我想知道这是怎么做到的？
另外，如果有人能给我指出一些现有的分布式计算框架(如Spark/Flink )中与此问题相关的源代码(类)，我将不胜感激
浏览 4提问于2018-04-03得票数 2
使用来自Kafka主题的数据，Flink和SparkStreaming都提供了检查点机制，前提是auto.commit.enabled设置为false。火花博士说：
火花输出操作至少是一次。因此，如果您想要完全等同于一次语义，则必须在幂等输出之后存储偏移量，或者在原子事务中存储偏移量与输出一起。
但是Flink文档说：
在启用了Flink的检查点之后，Flink Kafka消费者将使用来自某个主题的记录，并定期检查其所有Kafka偏移量，以及其他操作的状态，以一致的方式。如果作业失败，Flink将恢复流程序到最新检查点的状态，并重新使用Kafka的记录，从存储在检查点中的偏移量开始。
浏览 6提问于2017-12-12得票数 1
支持多个运行程序后端，包括Apache和Flink。我很熟悉Spark/Flink，我正试图看到Beam批量处理的利弊。
从的角度来看，它觉得它非常类似于本机Spark/Flink的等价物，可能有一个稍微冗长一些的语法。
我目前不认为选择梁而不是火花/Flink来完成这样的任务有多大的好处。到目前为止，我能提出的唯一意见是：
支持:对不同执行后端的抽象。
Con:这种抽象的代价是减少了对在Spark/Flink中执行什么的控制。
是否有更好的例子突出梁模型的其他利弊？是否有任何关于失控如何影响性能的信息？
请注意，我并不是在请求流方面的差异，流方面的部分内容在中进行了介绍，并在
浏览 4提问于2017-04-24得票数 108
回答已采纳
我正试图遵循的官方教程。
安装先决条件之后，我执行以下命令：
$ mvn archetype:generate \
-DarchetypeGroupId=org.apache.flink \
-DarchetypeArtifactId=flink-walkthrough-datastream-java \
-DarchetypeVersion=1.15.0 \
-DgroupId=frauddetection \
-DartifactId=frauddetection \
-Dversion=0.1 \
-Dpackage=spendre
浏览 7提问于2022-06-24得票数 1
回答已采纳
1回答
最近，我一直在比较火花和Flink的一个全新的项目。在这个项目中，流功能不是那么重要。对~(90) is数据进行批量分析是最重要的。稍后，我将在数据分析中应用ML和数据挖掘。
在搜索时，我发现很多文章，演示和视频声称Flink是下一代的分析解决方案。没有多少文章能为火花辩护。另一方面，星火是(或曾经？)非常流行，并广泛部署在非常大的生产系统。
我的问题是：对于我的用例来说，流并不重要，我是拥抱Flink还是从Spark2开始？
顺便说一下，我读过。这不能给我一个好的答案。
更新，2018年4月，：我们最终选择了火花。显然，除了表现之外，还有更多的问题要解决。Cloudera、Hortonwor
浏览 5提问于2017-05-19得票数 3
回答已采纳
1回答
Flink码头图像
、、、
我是新来的码头，我正在努力创建Flink码头形象。码头形象正在显示成功创建。但是我有一个疑问，我不能像在Dockerfile中提到的那样在/opt路径中看到Flink二进制文件。
如何知道我的Flink码头形象是成功创建的。
屏幕截图从控制台，很少一组命令是突出显示红色，意味着它可以吗？
创建显示Flink码头图像的状态：
请帮帮我。谢谢你..。
全日志：
sudo /home/develk/cntx_eng/build.sh \
> --job-artifacts /home/develk/cntx_eng/FlinkContextEnginePoc-0.0.1-S
浏览 2提问于2019-12-09得票数 0
回答已采纳
2回答
我正在尝试创建一个sbt Scala项目，添加一些来自Flink的代码。我已经成功地添加了除Flink-ML以外的大多数Flink项目。
我尝试添加不同的依赖项，错误如下：
sbt.build配置：
resolvers += Resolver.mavenLocal
// I have downloaded the Flink project and compiled in local.
libraryDependencies += "org.apache.flink" % "flink-ml_2.10" % "1.0-SNAPSHOT"
错误如下
浏览 2提问于2016-02-23得票数 1
我以独立模式在k8s上部署了几个flink，并通过一个promethus-pushgateway导出它们的指标。
问题是：
度量数据间歇性地到达promethus，当在grafana中显示时，会导致点间的间隙。
目标：
monitoring/pushgateway/0 (1/1 up)
Endpoint: http://172.19.88.111:9091/metrics
State : UP
Labels: endpoint="tcp" instance="172.19.88.111:9091" job="pushgateway" na
浏览 8提问于2021-05-24得票数 0
我有一个容器化的flink集群，具有独立的JobManager和2个任务管理器。当我提交一个包含我需要的连接器和代码的胖jar时，一切都会正常运行，但是一个只有我的代码的jar将失败--尽管我已经将连接器jar添加到/opt/flink/lib，容器进程显示它们将被添加到类路径中。当我试图从IDE进行远程连接时，也会发生同样的失败；不用说，每次都要打包一个胖jar，这会带来糟糕的开发体验。
我需要做什么才能让flink理解我放置在/opt/flink/lib中的额外jars应该与所有新作业一起使用？
类加载程序异常：
org.apache.flink.streaming.runtime.ta
浏览 0提问于2019-04-12得票数 1
回答已采纳
在每次从流中获取数据时，我都必须从flink流程元素中获取Rest API中的数据，我如何才能做到这一点，我找不到足够的材料来异步调用Rest服务。请帮我写一些样本文章。
浏览 85提问于2020-04-28得票数 0
需要帮助！谁能给我指引一条正确的路？
以下是我的代码和日志的片段。
DataStream<ObjectNode> stream = env.addSource(KafkaConsumer.getKafkaConsumer());
DataStream<MyDataObject> dataStream = stream.flatMap(new DataTransformation());
我使用flatMapFunction来处理我的输入对象并获得多个对象。
以下是stackTrace：
java.lang.RuntimeException: Buffer pool is
浏览 8提问于2018-01-16得票数 4
2回答
快速描述：
其目标是创建一个网站，快速回答最受欢迎的法律相关问题。用户会转到页面，输入一个问题，并收到一个带有法律论证的答案。所有答案将由一组律师预先输入，不需要用户交互.
要求：
在数据库中搜索问题的可能性(问同一件事的许多可能方式！)
系统管理员轻松编辑问题和答案的可能性
视觉简单可读的设计
每个问题都应该有两个“文本部分”分配:法律解释，和代码段落来证明它的合理性。
没有用户输入
应该使用什么软件/技术来实现搜索栏？
浏览 0提问于2019-06-24得票数 0
我想在我的工作中添加一个JVM选项。因此，我在flink- line . the中添加了以下一行：
env.java.opts: "-Dspring.config.location=/root/application.properties"
当我使用命令./start-local.sh启动flink时，jobmanager和taskmanager很好地加载了JVM选项：
JobManager日志：
org.apache.flink.runtime.jobmanager.JobManager - JVM Options:
org.a
浏览 0提问于2018-03-01得票数 0
回答已采纳
我需要将表结果保存到S3上的orc中，我就是这样做的：
tEnv.createTemporaryTable("my_output_table", TableDescriptor.forConnector("filesystem")
.schema(outputSchema)
.option("path", s3OutputPath)
.format(FormatDescriptor.forFormat("orc").build())
浏览 15提问于2022-10-17得票数 0
回答已采纳
我正在尝试创建到oracle数据库的Flink JBDC接收器。当在本地运行时(从junit测试和minicluster)，它可以工作，但是当部署在k8s中时，它会抛出一个异常，说它找不到合适的驱动程序。Classpath是：
Classpath: /flink/lib/flink-cep-scala_2.12-1.13.5-stream1.jar:/flink/lib/flink-connector-jdbc_2.12-1.13.5.jar:/flink/lib/flink-csv-1.13.5-stream1.jar:/flink/lib/flink-json-1.13.5-stream1
浏览 16提问于2022-05-24得票数 1
回答已采纳
当我去https://cloud.google.com/dataproc的时候，我看到了这个... Dataproc是一种完全托管且高度可扩展的服务，用于运行Apache Spark、Apache Flink、Presto和30+开源工具和框架。 但是gcloud dataproc jobs submit并没有列出所有的内容。它只列出了8个(hadoop、hive、pig、presto、pyspark、spark、spark-r、spark-sql)。知道为什么吗？ ~ gcloud dataproc jobs submit
ERROR: (gcloud.dataproc.jobs.subm
浏览 34提问于2021-10-01得票数 3
回答已采纳
Added Depedency Pom Details :
<dependencies>
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-clients_2.11</artifactId>
<version>1.7.1</version>
</dependency>
<depe
浏览 0提问于2019-04-04得票数 2
回答已采纳
0回答
所以我用它安装了一个样例Flink项目。
我正在尝试使用这个模板，它让我可以开始编写一个Flink摄取应用程序，而不必担心依赖关系，但它适得其反。当我尝试与sbt同步时，我发现找不到Flink (不是要说谎，但这部分对我来说甚至是模糊的)。我想知道是否有人知道如何让我的项目找到Flink。使用这项技术非常令人兴奋。
Error while importing sbt project:
Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=384M; support was removed in 8.0
[
浏览 6提问于2017-12-05得票数 0
回答已采纳
我正在尝试使用我的felipeogutierrez/explore-flink:1.11.1-scala_2.12镜像可用here到kubernetes集群配置中，就像它说here一样。我用maven编译了我的项目https://github.com/felipegutierrez/explore-flink，并用这个Dockerfile扩展了默认的flink图像flink:1.11.1-scala_2.12 FROM maven:3.6-jdk-8-slim AS builder
# get explore-flink job and compile it
COPY ./java/expl
浏览 89提问于2020-09-21得票数 1
回答已采纳
我试图阅读卡夫卡主题的数据，并成功地阅读了它。但是，我希望提取数据并将其作为Tuple返回。因此，我尝试执行map操作，但它不允许我通过说cannot resolve overloaded method 'map'来执行。下面是我的代码：
package KafkaAsSource
import org.apache.flink.api.common.serialization.SimpleStringSchema
import org.apache.flink.streaming.api.datastream.DataStream
import org.apache.f
浏览 6提问于2021-12-27得票数 0
回答已采纳
我是新的Flink CEP，并试图测试基本的东西-在下面的代码，我的期望是所有的输入应该匹配模式，并应打印为匹配的结果。但不知何故，没有什么比('matechedStream.print()')更能说明原因吗？
任何建议/帮助都将不胜感激。
package com.o9.flink;
import com.o9.flink.asyncio.DemandSupply;
import org.apache.flink.cep.CEP;
import java.util.ArrayList;
import java.util.List;
import java.util.Map;
浏览 9提问于2022-08-09得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
