Apache Flink -外部Jar
Apache Flink是一个开源的流处理和批处理框架，它提供了高效、可靠、可扩展的数据处理能力。它的核心思想是将数据处理作为一个有状态的流，可以实时地处理和分析无界的数据流。
Apache Flink的主要特点包括：
- 高性能：Apache Flink使用了基于内存的数据处理模型，能够实现低延迟和高吞吐量的数据处理。
- 容错性：Apache Flink具有强大的容错机制，能够自动恢复故障，并保证数据处理的一致性。
- 灵活性：Apache Flink支持多种数据处理模式，包括流处理、批处理和迭代处理，可以适应不同的应用场景。
- 可扩展性：Apache Flink可以在大规模集群上运行，并且能够自动进行任务的并行化和负载均衡。
- 生态系统：Apache Flink拥有丰富的生态系统，包括各种连接器、库和工具，可以方便地与其他系统集成。
Apache Flink的应用场景包括实时数据分析、实时报表生成、欺诈检测、推荐系统、日志分析等。
腾讯云提供了Flink on Yarn服务，可以帮助用户快速部署和管理Apache Flink集群。您可以通过以下链接了解更多关于腾讯云Flink on Yarn的信息：https://cloud.tencent.com/product/flink
相关·内容
我有一个Flink会话集群(作业管理器+任务管理器)，版本为1.11.1，配置了log4j-控制台属性，包括Kafka appender。另外，在作业管理器和任务管理器中，我都支持flink-s3-fs-hadoop内置插件。
我将kafka客户端jar添加到flink/lib目录中，这是容器运行所必需的。但是，在实例化S3插件(并初始化记录器)时，我仍然会得到以下类加载错误。
由: org.apache.kafka.common.config.ConfigException:无效值org.apache.kafka.common.serialization.ByteArraySerialize
浏览 2提问于2020-12-06得票数 3
我开始开发齐柏林飞艇的机器算法。作为翻译，我正在使用Flink。
问题：
飞弹机学习库不包括在齐柏林飞艇中。
错误：
导入org.apache.flink.ml.common.LabeledVector org.apache.flink.ml.math.DenseVector :75: error: object ml不是包org.apache.flink导入org.apache.flink.ml.common.LabeledVector的成员
解决方案：
下面，在1ambda的答复中。
(您还可以从这里下载依赖项.jar :带有所需版本的，并将文件的路径添加到工件中
谢谢
浏览 4提问于2017-05-29得票数 1
回答已采纳
需要帮助！谁能给我指引一条正确的路？
以下是我的代码和日志的片段。
DataStream<ObjectNode> stream = env.addSource(KafkaConsumer.getKafkaConsumer());
DataStream<MyDataObject> dataStream = stream.flatMap(new DataTransformation());
我使用flatMapFunction来处理我的输入对象并获得多个对象。
以下是stackTrace：
java.lang.RuntimeException: Buffer pool is
浏览 8提问于2018-01-16得票数 4
1回答
我有一个flink工作，它消耗kafka的数据，做一些无状态的平面图，并产生数据到kafka，这是一个非常低的工作量的工作。
它通常会毫无问题地获取检查点，直到作业需要从检查点恢复为止，例如，它只是无法恢复具有下面堆栈跟踪的状态。
状态很小，我相信它只是卡夫卡的偏移量，它是用AT_LEAST_ONCE语义运行的。
所有的运算符都设置了.uid()，我完全没有想法。
这是尝试从检查点重新启动时出现的错误：
java.lang.Exception: Exception while creating StreamOperatorStateContext.
at org.apache.flin
浏览 3提问于2021-06-10得票数 0
更新
为了提供一些上下文，使用LZ4压缩启用了Kafka主题。
当识别压缩类型时，尝试将LZ4与运行时由于某种原因可以找到的KafkaLZ4BlockInputStream相关联。
@Override
public InputStream wrapForInput(ByteBuffer inputBuffer, byte messageVersion, BufferSupplier decompressionBufferSupplier) {
try {
return new KafkaLZ4BlockInputStream(inputBuffer, decompres
浏览 18提问于2021-12-09得票数 1
我尝试在Flink (版本1.14.0)上使用可查询状态，但不幸的是，我一直收到以下错误： 2021-11-07 11:10:55,795 ERROR org.apache.flink.queryablestate.network.AbstractServerHandler [] - Error while handling request with ID 1
java.lang.OutOfMemoryError: Direct buffer memory
at java.nio.Bits.reserveMemory(Bits.java:175) ~[?:?]
at java
浏览 31提问于2021-11-07得票数 0
我目前正在使用Flink 1.7 +gcs-连接器库。我试图让StreamingFileSink写到GCS桶中，并遇到以下异常：
我遇到了一个Jira： --但我不清楚代码是否曾经合并过。
在需要做什么方面有什么帮助是非常感谢的，以使这一工作？
java.lang.UnsupportedOperationException: Recoverable writers on Hadoop are only supported for HDFS and for Hadoop version 2.7 or newer
at org.apache.flink.runtime.fs.hdfs.Ha
浏览 3提问于2019-12-03得票数 1
回答已采纳
我使用Flink v.1.13.2来管理一个工作经理，三个任务经理。
由于某些原因(我无法找出原因)，任务管理器连接正在丢失。下面是我找到的日志：
2022-02-17 21:19:55,891 INFO org.apache.flink.runtime.executiongraph.ExecutionGraph [] - Sink: Print to Std. Out (13/32) (f0ff88713cc3ff5ce39e7073468abed4) switched from RUNNING to FAILED on 1.2.3.5:39309-f61daa @ serve
浏览 32提问于2022-02-18得票数 0
我正在尝试理解在zookeeper升级期间flink作业管理器的行为是否是预期的。 我在kubernetes中运行flink 1.11.2，使用zookeeper服务器3.5.4-beta。当我进行zookeeper升级时，zookeeper有20秒的停机时间。我希望flink作业在这20秒内重新启动，或者在日志中显示一些警告。相反，我看到整个flink JVM崩溃(后来pod重启)。 我以为flink会在内部重试zookeeper请求，所以我很惊讶它崩溃了。这是意料之中的，还是说这是一个bug？ 从日志中 org.apache.flink.shaded.zookeeper3.org.apa
浏览 75提问于2021-02-09得票数 0
回答已采纳
我正在尝试提交一个使用Scala 2.11创建的Flink作业，它通过在命令行中运行来使用本地Flink集群中的Twitter流API：
flink run -c org.myClass C:\path\to\jarFile.jar
2019-06-09 23:40:47,758 WARN org.apache.flink.runtime.webmonitor.handlers.JarRunHandler - Configuring the job submission via query parameters is deprecated. Please migrate to sub
浏览 2提问于2019-06-09得票数 2
我刚开始使用flink，我正在实现一个模式识别模块(不使用CEP实现模式匹配)，它将从EventHub主题读取json流，如果模式匹配，则推送到另一个事件中心主题。我的模块功能如下
从接收JSON负载
I使用的是一个RichSourceFunction，它将从API读取模式并发送到广播流
我正在使用Flink BroadcastProcessFunction来根据广播状态中可用的模式列表来处理数据，并且我没有使用键流或我的程序中的任何状态，因为没有状态的范围，我只需要检查某些值是否存在于JSON .中。
我读到flink在内部维护状态，即使没有状态显式实现
下面的设置为检查点，我平均每小时收到
浏览 8提问于2021-01-29得票数 0
在Flink SQL上使用带有Kerberos身份验证的Kafka数据源，Flink的本地测试已经通过，但当我将任务推到纱线上时，错误消息提示无法找到Kafka的JAAS文件！
与Flink SQL相关的代码如下：
create table source_sensor(
id VARCHAR,
ts bigint,
vc double)
WITH (
'connector' = 'kafka',
'topic' = 'huangfu_0110'
浏览 23提问于2022-01-24得票数 1
我使用flink监控hdfs中的新文件(文件为gzip格式)，并对其进行处理。 env.readFile(filePath) 它可以在文件有效时工作， 但如果gzip文件无效，flink作业将被终止。 有异常日志： java.io.IOException: Error opening the Input Split hdfs://mdw:8020/user/data/15_077_4.gz [0,-1]: Not in GZIP format
at org.apache.flink.api.common.io.FileInputFormat.open(FileInputFormat.
浏览 77提问于2021-04-17得票数 0
回答已采纳
我正在尝试创建到oracle数据库的Flink JBDC接收器。当在本地运行时(从junit测试和minicluster)，它可以工作，但是当部署在k8s中时，它会抛出一个异常，说它找不到合适的驱动程序。Classpath是：
Classpath: /flink/lib/flink-cep-scala_2.12-1.13.5-stream1.jar:/flink/lib/flink-connector-jdbc_2.12-1.13.5.jar:/flink/lib/flink-csv-1.13.5-stream1.jar:/flink/lib/flink-json-1.13.5-stream1
浏览 16提问于2022-05-24得票数 1
回答已采纳
1回答
嗨，我正在尝试运行一个flink scala应用程序，它从kafka读取，应用一些查找转换，然后写到kafka。
Flink版本1.12.1
我在当地测试过，效果很好。但是，当我尝试使用原生kubernetes集成在集群上运行它时，我会看到下面这样的奇怪错误。
集群看起来也很好，因为我试图在集群上运行一个wordcount应用程序，它运行得很好。
异常不清楚，堆栈跟踪也显示了任务管理器堆栈跟踪，因此不知道应用程序中的问题可能在哪里。这可能是序列化问题吗？是否有一种方法来调试这些问题，并在应用程序代码中找到有问题的实际点？
org.apache.flink.streaming.runtime.t
浏览 2提问于2021-09-01得票数 0
回答已采纳
当StreamingFileSink尝试重命名进程中的文件时，我偶尔会遇到一个问题。请参见下面的异常：
文件系统挂载在Google Cloud Storage buckets上。它在大多数情况下都工作得很好，但突然失败了。
我已经验证了inprogress文件是否存在。任何提示和建议都将非常有用--谢谢！
2019-11-12 01:26:44.908 [flink-akka.actor.default-dispatcher-77] INFO org.apache.flink.runtime.executiongraph.ExecutionGraph - Job kafka-ingestio
浏览 25提问于2019-11-12得票数 0
我正在跟踪，以便在本地Kubernetes中启动会话。
首先，我创建了一个干净的新集群。
但是，在运行之后
./bin/kubernetes-session.sh -Dkubernetes.cluster-id=my-first-flink-cluster
刚创建的pod my-first-flink-cluster-xxx日志中出现了错误：
2021-08-14 18:33:02,519 WARN io.fabric8.kubernetes.client.dsl.internal.WatchConnectionManager [] - Exec Failure: HTTP 403, Sta
浏览 7提问于2021-08-14得票数 2
回答已采纳
我目前正在尝试将Flink嵌入到一个Play Framework项目中。但是，当我尝试执行Flink文档中的WordCount示例时，我得到了这个错误：
play.api.http.HttpErrorHandlerExceptions$$anon$1: Execution exception[[JobExecutionException: Cannot initialize task 'DataSink (collect())': Deserializing the OutputFormat (org.apache.flink.api.java.Utils$CollectHel
浏览 12提问于2016-09-02得票数 2
我正在使用flink和kafka，我得到了这个错误。
java.lang.NoSuchMethodError: scala.Predef$.ArrowAssoc(Ljava/lang/Object;)Ljava/lang/Object;
at kafka.consumer.FetchRequestAndResponseMetrics.<init>(FetchRequestAndResponseStats.scala:32)
at kafka.consumer.FetchRequestAndResponseStats.<init>(FetchRequest
浏览 2提问于2016-06-30得票数 4
我已经使用Scala2.11.7创建了一个带有Apache 1.0.3的应用程序，我想在本地测试它(单个FLink )。因此，我按照网站上的说明执行了以下操作：
./bin/start-local.sh
tail log/flink-*-jobmanager-*.log
它启动得很好，我可以在localhost:8081上看到web界面。然后，我试图提交我的申请，但我得到了一个异常或奇怪的消息。例如，当我键入以下任一命令时：
./bin/flink run ./myApp.jar
./bin/flink run ./myApp.jar -c MyMain
./bin/flink run ./m
浏览 2提问于2016-05-26得票数 4
我目前有一个运行在独立Kubernetes (v1.16)中的Flink (1.12)集群。出于我们的目的，我们采用了application cluster模式部署。 为了使我们的flink集群对故障更有弹性，我们希望将HA添加到我们当前的设置中，我已经阅读了文档，并遵循了为我们的给定设置(here)推荐的示例配置。 flink-conf.yaml jobmanager.rpc.address: {{ $fullName }}-jobmanager
jobmanager.rpc.port: 6123
jobmanager.memory.process.size: 1600m
浏览 77提问于2021-08-24得票数 0
我需要将表结果保存到S3上的orc中，我就是这样做的：
tEnv.createTemporaryTable("my_output_table", TableDescriptor.forConnector("filesystem")
.schema(outputSchema)
.option("path", s3OutputPath)
.format(FormatDescriptor.forFormat("orc").build())
浏览 15提问于2022-10-17得票数 0
回答已采纳
我正在EKS中运行我的flink集群，我需要使用WebIdentityTokenCredentialsProvider进行身份验证。根据医生的说法，有两种方法：
普雷斯托
我试过在flink conf中设置这个：
presto.s3.credentials-provider: com.amazonaws.auth.WebIdentityTokenCredentialsProvider
但它显示了错误：
Caused by: java.lang.NoSuchMethodException: com.amazonaws.auth.WebIdentityTokenCredentialsProvide
浏览 13提问于2022-10-12得票数 0
回答已采纳
1回答
hadoop3.3.0 flink1.12 hive3.12我想集成hive和flink。在配置sql-client-dqfaults.yaml文件之后，
catalogs:
- name: default_catalog
type: hive
hive-conf-dir: /cdc/apache-hive-3.1.2-bin/conf
我启动了flink sql客户端，但报告了以下错误。
[root@dhf4 bin]# ./sql-client.sh embedded
SLF4J: Class path contains multiple SLF4J bindin
浏览 0提问于2021-01-18得票数 1
我在发布标签上:EMR-6.7.0 Hadoop发行版:Amazon3.2.1应用程序:Livy 0.7.1，ZooKeeper 3.5.7，Flink 1.14.2
我也在每个emr-6.X版本中尝试过这一点，并得到了相同的错误。
我试图提交一个简单的flink步骤，使用添加一个步骤，在电子病历上使用args，flink-session -d。
如果出现以下错误，则会失败。
2022-09-22 02:06:08,883 INFO org.apache.flink.runtime.entrypoint.ClusterEntrypoint [] - Shutting YarnS
浏览 57提问于2022-09-22得票数 1
这是我的build.sbt
resolvers ++= Seq("Apache Development Snapshot Repository" at "https://repository.apache.org/content/repositories/snapshots/",
Resolver.mavenLocal)
name := "flink-wiki-edits"
version := "1.0"
scalaVersion := "2.11.7"
val flinkVersion =
浏览 3提问于2017-01-19得票数 2
回答已采纳
我的apache流系统有一些问题。几天前，我们检测到flink在硬盘中占用了太多的空间，并对它们进行了探索，我们在作业管理器容器上的/tmp目录中找到了许多(大约1000)个/tmp文件。
.jar文件的名称总是相似的，但有不同的编号：
1695477181_3183563526079495551lib_org.eclipse.paho.client.mqttv3-1.1.0.jar1798263280_2346102789822957064lib_com.google.protobuf_2.6.0.jar
当我使用“提交新作业”菜单时，创建了.jar文件
在此菜单中，flink开始
浏览 4提问于2022-03-29得票数 2
1回答
我将avro序列化数据发布到kafka主题，然后尝试通过SQL接口从主题创建Flink表。我能够创建主题，但在执行SQL SELECT语句后无法查看主题数据。但是，我能够使用简单的kafka用户反序列化和打印已发布的数据。在SQL上获取此错误：
Flink SQL> SELECT * FROM test_flink2;
[ERROR] Could not execute SQL statement. Reason:
java.lang.ArrayIndexOutOfBoundsException: Index -3 out of bounds for length 2
表创建
Flink
浏览 4提问于2021-02-05得票数 1
回答已采纳
我正试图遵循的官方教程。
安装先决条件之后，我执行以下命令：
$ mvn archetype:generate \
-DarchetypeGroupId=org.apache.flink \
-DarchetypeArtifactId=flink-walkthrough-datastream-java \
-DarchetypeVersion=1.15.0 \
-DgroupId=frauddetection \
-DartifactId=frauddetection \
-Dversion=0.1 \
-Dpackage=spendre
浏览 7提问于2022-06-24得票数 1
回答已采纳
我试图使用flink 1.15.1编写一个简单的表API S3流接收器(csv格式)，并面临以下例外：
Caused by: org.apache.flink.util.SerializedThrowable: S3RecoverableFsDataOutputStream cannot sync state to S3. Use persist() to create a persistent recoverable intermediate point.
at org.apache.flink.fs.s3.common.utils.RefCountedBufferingFileStream
浏览 20提问于2022-07-11得票数 0
回答已采纳
我有一个基于flink的流媒体应用程序，它使用apache kafka源和接收器。因为有时候我会在开发过程中的随机时间得到异常，我不知道它们是从哪里来的。 我使用mainRunner类在IntelliJ中运行应用程序，并通过kafka向它提供消息。有时第一条消息会触发错误，有时只有在几条消息之后才会发生。 它看起来是这样的： 16:31:01.935 ERROR o.a.k.c.producer.KafkaProducer - Interrupted while joining ioThread
java.lang.InterruptedException: null
at
浏览 111提问于2019-01-29得票数 1
回答已采纳
当我使用pyflink hive sql read data insert into es时，抛出以下异常:环境: flink 1.11.2 flink-sql-connector-hive-3.1.2_2.11-1.11.2.jar hive 3.1.2 2020-12-17 21:10:24,398 WARN org.apache.flink.runtime.taskmanager.Task [] - Source: HiveTableSource(driver_id, driver_base_lc_p1, driver_90d_lc_p1, dr
浏览 338提问于2020-12-17得票数 0
在独立kubernetes模式(会话集群)中部署flink之后，我无法使用flink GUI上传任何新作业。在单击+Add New按钮并选择jar file之后，进度条结束，不会发生任何事情。作业管理器日志中没有关于此问题的信息/错误。当我尝试上传任何文件时(例如，文本文件)我收到一个错误，日志中有一条信息： "Exception occured in REST handler: Only Jar files are allowed." 我还尝试上传了伪jar (一个名为.jar的空文件)，它工作了--我可以上传这种类型的文件。 我有一个全新的、干净的Apache Flink
浏览 31提问于2021-09-01得票数 0
回答已采纳
我正在使用Kubernetes中的Flink操作符在应用模式下部署Apache集群，并且存在权限问题。我已经将Filestore实例挂载为ReadWriteMany卷。当我"kubectl exec“访问任务管理器荚时，我可以访问挂载的卷"/flink-data”。我也可以在里面创建目录。但是，每当触发检查点时，我仍然会得到以下错误：
Caused by: java.io.IOException: Mkdirs failed to create file:/flink-data/checkpoints/f6dc4b42c99ac5d25f4be4771a9c6889/chk-1
浏览 2提问于2022-08-10得票数 0
我已经创建了一个CICD进程来在flink服务器中部署我的flink应用程序。CD管道能够成功添加Jar，但无法提交jar。我检查了CD日志，发现了我在flink- 500 internal server error日志中检查过的服务器，在那里我发现了这个错误 Error while opening jar file '/tmp/flink-web-<someid>/flink-web-upload' 下面是完整的错误堆栈跟踪 2020-10-23 15:16:10,344 ERROR org.apache.flink.runtime.webmonitor.han
浏览 163提问于2020-10-25得票数 0
我有一个容器化的flink集群，具有独立的JobManager和2个任务管理器。当我提交一个包含我需要的连接器和代码的胖jar时，一切都会正常运行，但是一个只有我的代码的jar将失败--尽管我已经将连接器jar添加到/opt/flink/lib，容器进程显示它们将被添加到类路径中。当我试图从IDE进行远程连接时，也会发生同样的失败；不用说，每次都要打包一个胖jar，这会带来糟糕的开发体验。
我需要做什么才能让flink理解我放置在/opt/flink/lib中的额外jars应该与所有新作业一起使用？
类加载程序异常：
org.apache.flink.streaming.runtime.ta
浏览 0提问于2019-04-12得票数 1
回答已采纳
我正在尝试使用我的felipeogutierrez/explore-flink:1.11.1-scala_2.12镜像可用here到kubernetes集群配置中，就像它说here一样。我用maven编译了我的项目https://github.com/felipegutierrez/explore-flink，并用这个Dockerfile扩展了默认的flink图像flink:1.11.1-scala_2.12 FROM maven:3.6-jdk-8-slim AS builder
# get explore-flink job and compile it
COPY ./java/expl
浏览 89提问于2020-09-21得票数 1
回答已采纳
我需要提交一个flink sql程序来运行纱线，
我根据flink官方网站打包的
在flink目录下将依赖项添加到/lib时，它正常工作，但如果我希望从jar包加载依赖项，而不是在/lib下加载依赖项
java.lang.NoClassDefFoundError将在我执行flink run时发生
这是我的pom.xml
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:x
浏览 64提问于2021-12-13得票数 1
版本: Flink 1.12，java 1.11。在本地环境中运行时没有问题。在具有以下配置的独立集群中运行时 INFO [] - Loading configuration property: jobmanager.rpc.address, localhost
INFO [] - Loading configuration property: jobmanager.rpc.port, 6123
INFO [] - Loading configuration property: taskmanager.cpu.cores, 1.79
INFO [] - Loading con
浏览 348提问于2020-12-30得票数 0
我的机器正在使用代理连接互联网。但是在运行maven build命令时，我得到了以下错误。当我禁用代理时，它会起作用。我不明白为什么代理在这里很重要。
[ERROR] Failed to execute goal on project flink-dist_2.11: Could not resolve dependencies for project org.apache.flink:flink-
dist_2.11:jar:1.7-SNAPSHOT: Failed to collect dependencies at
org.apache.flink:flink-sha
浏览 6提问于2018-10-24得票数 1
我有一个Flink作业，它在本地运行得很好，但当我尝试在集群上运行flink作业时失败。当尝试通过'connector‘= ' Kafka’从kafka加载数据时发生错误。我使用Flink-Table API和confluent-avro格式从Kafka读取数据。 所以基本上我创建了一个从kafka主题中读取数据的表： val inputTableSQL =
s"""CREATE TABLE input_table (
| -- key of the topic
| key BYTES NOT
浏览 299提问于2021-10-22得票数 0
回答已采纳
1回答
版本: cdh(6.2.1)，flink(1.13.1)，kafka(2.1.0-cdh6.2.1) 数据管道:kafka(源) -> flink -> kafka(宿) 提交的作业运行正常。在I savepoint之后，当我通过savepoint恢复它时发生异常。 2021-11-22 16:39:52,556 INFO org.apache.flink.runtime.executiongraph.ExecutionGraph [] - Job Flink Streaming Job (daf7707813d79b884b2c7b1897801248) swit
浏览 566提问于2021-11-23得票数 0
在启动我的Java应用程序时，我会收到以下错误。
在启动应用程序以使其正常工作之前，我需要将一些hadoop相关目录导出到类路径中(我不能跳过这一步)，我得到了以下错误。
由: castjar:file:/usr/hdp/3.0.0.0-1634/hadoop/lib/jsr311-api-1.1.1.jar!/javax/ws/rs/ext/RuntimeDelegate.class :ClassCastException引起的：试图在javax.ws上实现对jar:file:/tmp/blobStore-634df1c1-ffc8-4610-86af-8f39b33e4250/job_ac
浏览 7提问于2019-09-20得票数 1
回答已采纳
我有两个关于在Kubernetes上运行的StateFun应用程序的高可用性的问题。
下面是有关我的设置的详细信息：
使用StateFun v3.1.0
检查点存储在HDFS上(state.检查点-存储:文件系统)
检查点模式是EXACTLY_ONCE
状态后端为rocksdb，并且启用了增量检查点。
1-我尝试了动物园管理员和Kubernetes HA设置，结果是一样的(下面的日志来自动物园管理员HA )。当我杀死作业经理吊舱时，minikube启动另一个吊舱，当它试图加载最后一个检查点时，这个新吊舱就失败了：
...
2021-12-11 14:25:26,426
浏览 54提问于2021-12-11得票数 0
回答已采纳
1回答
我正在尝试运行，但我不想将数据转移到Elasticsearch，我想使用InfluxDB。
注意:演练中的代码(上面的链接)正在按预期工作。
为了使这个工作，我们需要把InfluxDB连接器内的码头容器。其他Flink连接器被放置在容器中，在中使用以下命令
# Download connector libraries
RUN wget -P /opt/flink/lib/ https://repo.maven.apache.org/maven2/org/apache/flink/flink-json/${FLINK_VERSION}/flink-json-${FLINK_VERSION}.ja
浏览 3提问于2022-06-13得票数 1
回答已采纳
我正在研究方向，将现有的风暴拓扑转换为flink作业。我通过git安装了flink 1.0 (快照)，并且在本地运行git服务器和流服务器。
我通过gradle将拓扑构建到一个.jar文件中，并通过flink web接口提交它，并得到以下消息：“没有指定的条目类”。
所以-错过了一个入口？.jar需要什么特别的东西吗？舱单？
当提交到风暴集群时，此.jar正在工作。我添加了(看起来像)相关的flink .jar文件。
编辑：
通过cmd行提交作业给我显示了以下消息：
org.apache.flink.client.program.ProgramInvocationException:文件中
浏览 2提问于2015-10-25得票数 3
回答已采纳
我尝试使用flink的表和sql作为一个简单的示例，在这个示例中，我从文件中读取字符串，将其转换为Tuple2，并尝试将其插入表中。这是我的密码。
import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.java.table.StreamTableEnvironment;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.api.table.Table;
import org.ap
浏览 1提问于2016-12-21得票数 2
使用Flink 1.7.1为kubernetes flink上的单个作业集群构建它无法加载核心站点xml，尽管在类路径上，导致忽略配置，但是，如果我将ENV变量放入AWS_SECRET_ACCESS_KEY AWS_ACCESS_KEY_ID，它通过找到它来工作，但如果我依赖于core-site.xml，它永远不会在没有环境变量的情况下工作。 我目前正在复制core-site.xml，就像Dockerfile文件中显示的那样，并且正如文档中所说的那样，将HADOOP_CONF_DIR作为指向它的环境变量。它仍然不会加载它，从而导致NoCredentialsProvider。 例外情况是： C
浏览 128提问于2019-01-25得票数 1
我正在跟踪Flink 。打开Flink SQL客户端看起来很好，但是SELECT 'hello world'不能工作。
$ /data/apache/flink/flink-1.12.0/bin/sql-client.sh embedded
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/data/apache/flink/flink-1.12.0/lib/log4j-slf4j-impl-2.12.1.jar!/org/slf4j/impl/Stati
浏览 14提问于2021-03-26得票数 1
回答已采纳
我们使用的是Flink 1.4.1，这是我们的一个项目。我们通过Flink向处理节点发送一些图像处理任务。Flink任务管理器安装在每个处理节点上。我们的主要应用程序将作业发送给Flink作业管理器，Flink作业管理器根据可用性将作业发送给Flink任务管理器。我们实现了一个java应用程序(比如节点应用程序)，Flink在节点上执行这个应用程序。这个应用程序执行我们在处理节点上运行的处理器。这是正常工作的，但是在我们将Flink从1.4.1版本迁移到1.13.2之后，我们收到了下面的错误。
2021-09-30 14:45:56,107 INFO org.apache.flink.run
浏览 38提问于2021-10-01得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
