Flink中名为“conf/master”的文件有什么用？
在Flink中，名为“conf/master”的文件是用来配置Flink的主节点（Master Node）的。主节点是Flink集群中的一个特殊节点，负责协调和管理整个集群的运行。该文件中包含了主节点的配置信息，如主节点的IP地址、端口号、日志文件路径等。
主节点的作用包括但不限于以下几个方面：
- 集群管理：主节点负责启动和停止整个Flink集群，以及监控集群中各个任务的状态和健康状况。
- 任务调度：主节点根据任务的优先级和资源需求，将任务分配给集群中的工作节点（Worker Node）进行执行。
- 故障恢复：主节点会监控工作节点的状态，一旦发现某个工作节点宕机或任务执行失败，会重新分配任务或启动备用节点来保证任务的可靠性和高可用性。
- 资源管理：主节点负责管理集群中的资源分配，包括CPU、内存、网络带宽等，以便合理利用集群资源，提高任务的执行效率。
对于Flink中的“conf/master”文件，可以通过修改该文件来配置主节点的相关参数，以满足不同场景下的需求。例如，可以通过修改文件中的端口号来改变主节点的通信端口，或者修改文件中的日志文件路径来指定主节点的日志输出位置。
推荐的腾讯云相关产品：腾讯云Flink Serverless计算引擎（Tencent Cloud Flink Serverless Compute Engine），该产品是腾讯云提供的一种无服务器的Flink计算引擎，可以帮助用户快速构建和部署Flink应用，无需关注底层的基础设施和资源管理。产品介绍链接地址：https://cloud.tencent.com/product/flink
相关·内容
既然我们可以通过"flink-conf.yaml“中的"jobmanager.rpc.address”来指定一个主文件，那么名为“conf/ master”的文件有什么用呢？
浏览 13提问于2017-08-03得票数 0
回答已采纳
新手到弗林克。
我能够在远程hdfs集群中的文件上运行示例wordcount.jar，而无需在flink中声明fs.hdfs.hadoopconf变量。
所以想知道上面提到的变量的目的到底是什么。
声明它是否改变了运行示例jar的方式？
指挥：
flink-cluster.vm ~]$ /opt/flink/bin/flink run /opt/flink/examples/batch/WordCount.jar --input hdfs://hadoop-master:9000/tmp/test-events
输出：
.......
07/13/2016 00:50:13 Job exec
浏览 2提问于2016-07-13得票数 3
回答已采纳
1回答
我已经在本地以HA集群模式2 JobManagers 1 TaskManager安装了Flink 1.2，但它一直拒绝在这种模式下实际启动，并显示“正在启动集群”。消息，而不是"Starting HA cluster with 2 master and 1 peers in ZooKeeper quorum“。
显然，在bin/config.sh中，它的配置如下：
# High availability
if [ -z "${HIGH_AVAILABILITY}" ]; then
HIGH_AVAILABILITY=$(readFromConfig ${KEY
浏览 13提问于2017-03-15得票数 0
回答已采纳
使用flink版本1.13.1
我写了一个自定义的度量报告，但在我的flink中似乎不起作用。启动flink时，JobManager显示警告日志，如下所示：
2021-08-25 14:54:06,243 WARN org.apache.flink.runtime.metrics.ReporterSetup [] - The reporter factory (org.apache.flink.metrics.kafka.KafkaReporterFactory) could not be found for reporter kafka. Available f
浏览 10提问于2021-08-25得票数 2
回答已采纳
我正在将persistentvolumeclaim绑定到我的Job的pod中，它显示： persistentvolumeclaim "flink-pv-claim-11" is being deleted 但持久的销量声明是存在的，并绑定了成功。 ? 并且pod没有log输出。我应该怎么做才能解决这个问题？这就是yaml的工作： apiVersion: batch/v1
kind: Job
metadata:
name: flink-jobmanager-1.11
spec:
template:
metadata:
labels:
浏览 86提问于2020-08-19得票数 1
回答已采纳
2回答
如何在flink run命令中从命令行传递自定义log4j属性？我已经讨论了其他问题和，但是我仍然不能覆盖现有的log4j文件，在这个文件中我有自定义的日志配置。
我也尝试过。/bin/flink运行Dlog4j.configuration=file:///path/to/log4j.properties“- -m -yn 1 -yD env.java.opts="- examples。/examples/batch/WordCount.jar
这样，我看到它被添加到jobmanager日志中，但是flink客户端日志仍然使用conf/log4j.properties。
我已经尝试过在
浏览 2提问于2018-04-03得票数 3
1回答
hadoop3.3.0 flink1.12 hive3.12我想集成hive和flink。在配置sql-client-dqfaults.yaml文件之后，
catalogs:
- name: default_catalog
type: hive
hive-conf-dir: /cdc/apache-hive-3.1.2-bin/conf
我启动了flink sql客户端，但报告了以下错误。
[root@dhf4 bin]# ./sql-client.sh embedded
SLF4J: Class path contains multiple SLF4J bindin
浏览 0提问于2021-01-18得票数 1
我需要为不同的应用程序指定不同的Flink设置。换句话说，每个应用程序都应该使用它的自定义文件flink-conf.yaml运行。正确的方法是什么？
我找到了一些旧的建议来声明FLINK_CONF_DIR，指向具有Flink配置文件的自定义目录(例如：)。但是，官方的Flink文档根本没有提到FLINK_CONF_DIR变量(从Flink 1.13开始)。因此，我有疑问，这种方式是正式推荐和支持的Flink开发人员。
更新1:运行的应用程序详细信息
我正在的纱线上运行Flink。下面是我如何启动应用程序：
"$flink_home/bin/flink" \
run-appl
浏览 23提问于2021-05-05得票数 0
回答已采纳
我在flink- line .line中添加了以下一行：
env.java.opts：“-Ddy.pros.path=/PATH/TO/PROPS/FILE”
在启动作业管理器(jobmanager.sh启动集群)时，我在日志中看到确实识别了jvm选项。
2017-02-20 12:19:23,536 INFO org.apache.flink.runtime.jobmanager.JobManager - JVM Options:
2017-02-20 12:19:23,536 INFO org.apache.flink.runtime.jobmanage
浏览 6提问于2017-02-20得票数 8
回答已采纳
我有一个Flink流应用程序，它是用JAR中的application.conf文件开发的。但是，当我使用application.conf选项调用flink run时，我希望能够显式指定外部yD，如下所示：
flink run -m yarn-cluster -yid "appName" -yD "env.java.opts=-Dconfig.file=/path/to/application.conf" -yn 1 -yjm 1024 -ytm 7000 -p 8 -d /usr/lib/flink/lib/MyFlinkApp.jar
然而，JAR中的配置仍在
浏览 1提问于2017-09-11得票数 2
1回答
电子病历上S3的外部检查点
、、、、
我正在尝试为我的Flink程序部署一个生产集群。我使用的是一个安装了Flink 1.3.2的标准hadoop-core EMR集群，使用YARN来运行它。
我正在尝试将我的RocksDB配置为将检查点写入S3存储桶。我正在尝试浏览这些文档：。问题似乎是让依赖关系正常工作。我在尝试运行程序时收到以下错误：
java.lang.NoSuchMethodError: org.apache.hadoop.conf.Configuration.addResource(Lorg/apache/hadoop/conf/Configuration;)V
at com.amazon.ws.emr.had
浏览 1提问于2017-09-11得票数 1
我使用Yarn来运行Flink作业。对于每个Flink作业，我都要创建一个检查点。
我提交一个在我的Yarn集群中运行的Flink作业。我有一个轮询作业，它检查一个作业是否在Yarn上失败并重新启动它。当作业再次提交时，Yarn为该Flink作业创建一个新的application_id。如何配置重新提交的Flink作业以使用重新启动的Flink作业的检查点。
我已将conf state.savepoints.dir = hdfs://localhost:9000/checkpoint/设为flink-conf. have‘
创建Flink作业时，streamExecutionEnvironme
浏览 0提问于2018-05-22得票数 0
回答已采纳
我已经能够使用Flink运行JMX，并将以下配置应用于集群中所有节点的flink-conf.yaml文件：
metrics.reporters: jmx
metrics.reporter.jmx.class: org.apache.flink.metrics.jmx.JMXReporter
metrics.reporter.jmx.port: 9020-9022
env.java.opts: -Dcom.sun.management.jmxremote -
Dcom.sun.management.jmxremote.port=9999 -
Dcom.sun.managemen
浏览 4提问于2017-11-19得票数 2
是否可以为flink中的不同作业配置不同的保存点路径？
我在flink-conf.yaml文件下找到了一个配置flink-conf.yaml，但它适用于所有作业。因此，我无法区分特定任务的保存点状态。
有没有办法在Flink的Java程序中配置该路径？
浏览 2提问于2018-04-12得票数 0
Flink-kafka-consumer有两种类型的消费者，例如： 这两个消费者层次结构都扩展了相同的FlinkKafkaConsumerBase类。我想知道维护编号类背后的设计决策是什么？我们应该在什么时候使用其中一个呢？ 我注意到带有编号后缀的类有一些更多的功能(例如，分级限制)。 https://github.com/apache/flink/blob/master/flink-connectors/flink-connector-kafka/src/main/java/org/apache/flink/streaming/connectors/kafka/FlinkKafkaCons
浏览 6提问于2020-09-14得票数 0
我使用Flink 1.9.1和PrometheusPushGateway来报告我的指标。在flink-conf.yaml文件中定义了用于报告指标的jobName，该文件使集群上运行的所有作业的jobName相同，但我希望为每个正在运行的作业报告不同的jobName。为此，我尝试在执行Stream之前覆盖作业内部的配置值：
Configuration conf = GlobalConfiguration.loadConfiguration();
conf.setString(
"metrics.reporter.promgateway.jobName
浏览 1提问于2019-12-17得票数 2
根据此链接，https://ci.apache.org/projects/flink/flink-docs-stable/dev/table/hive/#connecting-to-hive需要本地配置单元配置文件夹路径，但我需要在yarn提交Flink作业，因此Flink尝试在纱线容器中查找路径，例如/mnt/volume4/yarn/nm/usercache/akashkumar.patel/appcache/application_1594626939821_80078/container_e83_1594626939821_80078_01_000002/hdfs:/warehous
浏览 26提问于2020-07-19得票数 0
回答已采纳
2回答
首先，这与非常相似，但并不相同。这个问题的答案似乎解决不了我的问题。如果我在答案中遗漏了什么，那么请重新表述答案，因为我显然遗漏了一些东西。
问题是完全一样的，尽管-- Flink (卡夫卡连接器)重新运行它在关闭之前看到的最后3-9条消息。
我的版本
Flink 1.1.2
Kafka 0.9.0.1
Scala 2.11.7
Java 1.8.0_91
我的密码
import java.util.Properties
import org.apache.flink.streaming.api.windowing.time.Time
import org.apache.flink.strea
浏览 4提问于2016-09-12得票数 7
回答已采纳
1回答
我正在通过亚马逊的EMR上的纱线运行一个Flink应用程序，有一个主人和一个奴隶。
我试图将ssh插入主节点，然后访问Flink REST，但无法让EMR静态地使用同一个主机/端口。
我尝试将此配置添加到EMR中，并从当前主节点的私有DNS中获取主机。它正在运行的实际端口与每个yarn-session不同。
[
{
"Classification": "flink-conf",
"Properties": {
"rest.port": "44477",
"job
浏览 0提问于2018-09-06得票数 1
回答已采纳
我是新的flink用户，我有以下问题。使用flink将从关系数据库中提取的相关数据传输到HBase中。我用多个ExecutionEnvironments (每个RDB表一个用于并行传输表行)在java上编写flink批处理应用程序，以便按表顺序地传输表(因为调用env.execute()是阻塞的)。
我像这样开始纱线会话
export YARN_CONF_DIR=/etc/hadoop/conf
export FLINK_HOME=/opt/flink-1.3.1
export FLINK_CONF_DIR=$FLINK_HOME/conf
$FLINK_HOME/bin/yarn-sessi
浏览 1提问于2018-01-16得票数 7
回答已采纳
我正在尝试使用我的felipeogutierrez/explore-flink:1.11.1-scala_2.12镜像可用here到kubernetes集群配置中，就像它说here一样。我用maven编译了我的项目https://github.com/felipegutierrez/explore-flink，并用这个Dockerfile扩展了默认的flink图像flink:1.11.1-scala_2.12 FROM maven:3.6-jdk-8-slim AS builder
# get explore-flink job and compile it
COPY ./java/expl
浏览 89提问于2020-09-21得票数 1
回答已采纳
1回答
我有三个物理节点安装了码头。我有一个码头集装箱与梅索斯，马拉松，Hadoop和Flink。我为Mesos、动物园管理员和马拉松配置了主节点和从节点。我一步一步地做这些工作。首先，在主节点中，我使用以下命令输入docker容器：
docker run -v /home/user/.ssh:/root/.ssh --privileged -p 5050:5050 -p 5051:5051 -p 5052:5052 -p 2181:2181 -p 8082:8081 -p 6123:6123 -p 8080:8080 -p 50090:50090 -p 50070:50070 -p 9000:900
浏览 6提问于2019-04-28得票数 0
回答已采纳
我们在Flink中开发了一个系统，该系统从目录中读取文件，按客户端对文件进行分组，并根据信息的类型，将这些文件推送到接收器。我们在本地机器上安装了Flink，它工作正常，没有任何问题。但是，当我们将项目停靠时，我们的作业被正确提交，并且UI显示它正在运行，但作业实际上从未启动过。当我们转到详细信息时，在UI中显示如下：Flink dashboard screenshot 作业中的日志显示以下内容： 2021-10-15 12:13:50,247 INFO org.apache.flink.runtime.jobmaster.JobMaster [] - Ru
浏览 449提问于2021-10-15得票数 1
回答已采纳
1回答
我有一个读取文本文件的脚本，该文件中列出了所有节点：
node1
node2
node3
.
.
.
它为/etc/icinga2/zones.d.d/master/hosts/.conf/目录中的每个节点创建一个".conf“文件
将文件名linux-template的内容复制到每个新的conf文件中。
一切都像我预期的那样工作，但我也得到了每个节点的错误：
有人能帮帮忙吗？
谢谢
这是我的脚本：
#!/bin/bash
cd /etc/icinga2/zones.d/master/hosts/new
while read f; do
cp -v "$f"
浏览 19提问于2018-07-19得票数 1
1回答
我的Flink日志哪儿也没出现。所以我在读如何解决这个问题。我读过一些关于如何在flink/conf文件中更改日志级别的文章，以帮助我解决这个问题。
但后来我读到flink有两个日志框架选项。他们是: Log4j & logback。
那么现在如何确定我的Flink应用程序使用的是哪个框架呢？
浏览 18提问于2022-06-02得票数 2
回答已采纳
1回答
如何在Flink中传递配置？我尝试过在flink-conf.yaml中添加这个配置，但是它没有工作。我们需要在哪里设置这个配置？
我试着用下面的代码编程地设置它，但不知怎么的，它并没有减少我的延迟。我只想知道我是否可以通过一个配置文件来设置这个
StreamExecutionEnvironment env = StreamExecutionEnvironment.createRemoteEnvironment(hots, port, null));
env.setBufferTimeout(2);
StreamTableEnvironment tableEnv = StreamTableEnv
浏览 4提问于2021-04-14得票数 0
我正在运行一个Flink应用程序，作为 Analytics服务的一部分。Flink构建了对度量的支持，我有一个简单的计数器设置，我可以看到它正在工作，它可以在flink仪表板中使用。
现在，我想将石墨配置为用于收集我的指标。根据Flink，这是可能的：
我的问题是我无法让Flink应用程序读取我的配置。我试过：
与java代码一起创建文件conf/flink-conf.java的ignored.Passing ，但它在配置覆盖StreamExecutionEnvironment.getExecutionEnvironment(configuration)时似乎是，但似乎也被忽略了。
如何向石墨
浏览 2提问于2022-01-25得票数 1
flink运行/home/admin/Documents/flink_cep/Flink-master/dist/Kinesis.jar
当我试图在命令行中运行Jar文件时，会出现错误，但我的代码在Netbeans IDE中运行得很好：
浏览 0提问于2018-08-17得票数 0
回答已采纳
当我启动一个flink独立集群时，它会在conf/log4j.properties文件中提到的文件中记录守护进程日志，当我在该集群中提交flink作业时，它会使用相同的属性文件来记录应用程序日志并在任务管理器上写入相同的日志文件。我希望为在flink独立集群中提交的每个应用程序都有单独的日志文件。有什么办法可以做到这一点吗？
浏览 1提问于2016-11-08得票数 1
我无法在Amazons中启动Apache的纱线会话。我得到的错误信息是
$ tar xvfj flink-0.9.0-bin-hadoop26.tgz
$ cd flink-0.9.0
$ ./bin/yarn-session.sh -n 4 -jm 1024 -tm 4096
...
Diagnostics: File file:/home/hadoop/.flink/application_1439466798234_0008/flink-conf.yaml does not exist
java.io.FileNotFoundException: File file:/home/hado
浏览 4提问于2015-08-13得票数 8
回答已采纳
我正在尝试使用Linux和Windows上的Flink local来完成我的学士论文。我找到了用于本地设置的以下步骤：
当我尝试这样做的时候，我只得到了这样的错误：
-bash: bin/start-local.sh: No such file or directory
当我转到start-local.sh文件的目录时，我得到
/flink-1.1.2/flink-dist/src/main/flink-bin/conf/flink-conf.yaml: No such file or directory
Windows也有同样的问题。
我必须改变什么才能让它正常工作？
浏览 12提问于2016-09-21得票数 2
回答已采纳
我想在我的工作中添加一个JVM选项。因此，我在flink- line . the中添加了以下一行：
env.java.opts: "-Dspring.config.location=/root/application.properties"
当我使用命令./start-local.sh启动flink时，jobmanager和taskmanager很好地加载了JVM选项：
JobManager日志：
org.apache.flink.runtime.jobmanager.JobManager - JVM Options:
org.a
浏览 0提问于2018-03-01得票数 0
回答已采纳
使用Flink 1.7.1为kubernetes flink上的单个作业集群构建它无法加载核心站点xml，尽管在类路径上，导致忽略配置，但是，如果我将ENV变量放入AWS_SECRET_ACCESS_KEY AWS_ACCESS_KEY_ID，它通过找到它来工作，但如果我依赖于core-site.xml，它永远不会在没有环境变量的情况下工作。 我目前正在复制core-site.xml，就像Dockerfile文件中显示的那样，并且正如文档中所说的那样，将HADOOP_CONF_DIR作为指向它的环境变量。它仍然不会加载它，从而导致NoCredentialsProvider。 例外情况是： C
浏览 128提问于2019-01-25得票数 1
我想对Apache和进行一些修改，并在本地机器上测试这一点。我阅读了文档，但我仍然不确定要在本地设置什么才能运行。我已经做的是，我有一个本地启动的docker-compose文件，一个hadoop和-datanode，以及一个在Postgres中存储元数据的蜂窝服务器。
此外，我还设置了一个本地Flink项目(使用Scala2.12的Java项目)。在我的IDE中，除了默认的Flink依赖项之外，我还添加了版本为2.8.3的flink-clients、flink-table-api-java-bridge、flink-table-planner、flink-connector-hive、hiv
浏览 15提问于2022-03-16得票数 0
当运行我的代码时，在python或colaborator中出现以下错误，我输入了apache中的所有库，有人在一瞬间给出了这个错误，或者知道它。
用途: aaa_users_py.py -h --流式-beam_ BEAM_SERVICES -类型_check_ TYPE_CHECK_ADDITIONAL
-no_管线_type_check-性能_运行时_type_check-允许不安全_触发器-直接_runner_bundle_重复DIRECT_RUNNER_BUNDLE_REPEAT
-标签标签-转换_名称_映射TRANSFORM_NAME_MAPPING -数据流_kms_key DA
浏览 9提问于2022-06-02得票数 0
回答已采纳
启动集群时，TaskManager中的日志如下所示：
INFO org.apache.flink.runtime.taskmanager.TaskManager -试图在JobManager akka.tcp://flink@master1 1:6123/user/作业管理器注册(尝试1，超时时间: 500毫秒)
INFO org.apache.flink.runtime.taskmanager.TaskManager -试图在JobManager akka.tcp://flink@master1 1:6123/user/作业管理器注册(尝试2，超时: 1000毫秒)
INFO org.ap
浏览 0提问于2018-03-21得票数 0
我有一个使用docker-compose构建的docker镜像felipeogutierrez/tpch-dbgen，并使用travis-CI将其推送到docker-hub注册表。 version: "3.7"
services:
other-images: ....
tpch-dbgen:
build: ../docker/tpch-dbgen
image: felipeogutierrez/tpch-dbgen
volumes:
- tpch-dbgen-data:/opt/tpch-dbgen/data/
- da
浏览 55提问于2020-09-22得票数 0
回答已采纳
1回答
flink网站上的文档以及AWS的Flink部署都说我的配置在flink-conf.yaml文件中，但是我应该将这个文件存储在我的项目中的什么地方，以及如何让flink获取它？ 特别是，我想启用检查点，当我的项目树如下所示时，我该如何做： .
├── pom.xml
└── src
├── main
│ ├── java
│ │ └── xyz
│ │ └── foobar
│ │ └── foo
│ │ └── Main.java
│ └── re
浏览 222提问于2021-05-05得票数 1
回答已采纳
我试图使用来自s3的Flink读取IntelliJ中的一个文件，并获得以下异常：
原因: java.lang.ClassNotFoundException:未找到类org.apache.hadoop.fs.s3a.S3AFileSystem
我的代码是这样的：
import org.apache.flink.api.scala.createTypeInformation
import org.apache.flink.streaming.api.functions.source.SourceFunction
import org.apache.flink.streaming.api.s
浏览 0提问于2021-03-02得票数 1
尝试按照Flink Kubernetes说明here在minikube上运行word count example，但作业从未完成。Python Beam SDK worker pooler似乎不做任何工作。 除了配置Flink Kubernetes集群的说明之外，我还在taskmanager部署中添加了一个Python SDK工作池。如果我理解正确的话，worker池的目的是执行管道的Python部分。请参阅完整的k8s部署。 apiVersion: apps/v1
kind: Deployment
metadata:
name: flink-taskmanager
namespac
浏览 39提问于2020-09-29得票数 0
回答已采纳
是否有办法在flink-conf.yaml文件中编码参数？“例如，以加密格式存储像'security.ssl.internal.keystore‘这样的参数。
浏览 44提问于2020-03-31得票数 0
我是新的火花，我试图安装一个3节点集群独立的火花。我已经完成了从主节点到其他节点的无密码SSH。
我尝试了以下配置更改
更新了conf/slves.sh文件中2个节点的主机名。创建星星之火-env.sh文件，并使用主URL更新SPARK_MASTER_IP，并尝试更新火花-defaults.conf文件中的spark.master值。
下面列出的每台机器上都将启动conf/slves.shA火花工作者的快照。星星之火-WorkerNode1.hadoop.com火花-WorkerNode2.hadoop.com
星火快照-defaults.conf
# Example:
浏览 3提问于2016-02-28得票数 0
在配置文件(job-manager- config /flink-conf.yaml，task-manager-config/flink-conf.yaml，job-manager-config/zoo.cfg，...)为了将Flink应用程序部署从会话模式更改为作业模式？ 此外，我们通过一个ansible角色在openshift上设置了flink集群，但不幸的是，它不是从ansible galaxy存储库中获取的，所以我不能引用任何已发布的设置。可能，大多数配置更改都必须在上面提到的配置flink文件之外的地方完成。 我不明白的是，如何控制提交新作业会自动为每个作业派生一对新的作业管理器和
浏览 33提问于2019-09-06得票数 1
回答已采纳
我尝试将我的应用程序部署到cli纱线上的flink，不幸的是，它在下面的例外情况下失败了
java.lang.NoClassDefFoundError: Lredis/clients/jedis/JedisCluster;
at java.lang.Class.getDeclaredFields0(Native Method)
at java.lang.Class.privateGetDeclaredFields(Class.java:2583)
at java.lang.Class.getDeclaredFields(Class.java:1916)
at o
浏览 3提问于2018-03-22得票数 1
回答已采纳
我试图连接卡夫卡与Flink和运行通过sql-client.sh。但是，无论我如何处理.yaml和库，我都会得到错误：
Exception in thread "main" org.apache.flink.table.client.SqlClientException: Unexpected exception. This is a bug. Please consider filing an issue.
at org.apache.flink.table.client.SqlClient.startClient(SqlClient.java:201)
浏览 46提问于2021-11-30得票数 0
回答已采纳
我有一个flink作业，它使用logback作为日志框架，因为需要将日志发送到logstash，而logback有一个logstash (Logstash appender )。当flink作业从Eclipse这样的IDE运行时，我可以在logstash中看到应用程序日志。日志配置文件logback.xml放在src/main/resources中，并包含在类路径中。即使在IDE之外的命令行运行作业时，日志记录也可以正常工作。
但是，当我通过flink仪表板将此作业部署到flink集群(独立，开始使用./start-cluster.bat)时，logback配置将被忽略，日志不会发送到logs
浏览 1提问于2018-11-29得票数 3
回答已采纳
我想使用flink sql client创建一个配置单元表。 我可以成功创建表t2，但是当我查询t2时，它会报错 Table options do not contain an option key 'connector' for discovering a connector. 我已经在conf/sql-client-defaults.yaml文件中设置执行类型为batch。 我会问这里有什么问题。谢谢! Flink SQL> use testdb1;
Flink SQL> create table t2(id int,name string);
[INFO
浏览 103提问于2020-12-21得票数 0
回答已采纳
我是Flink的新手，所以这个问题可能很简单...
Flink版本为1.5.0。
我创建了一个样例项目，从Flink样例代码复制SocketWindowWordCount。
我的pom.xml文件是从官方网站：复制的
我只是添加了一些简单的log.info(...)语句。无论是在项目资源文件夹中添加log4j.properties，还是在flink conf文件夹中修改log4j-cli.properties。我添加的日志不会输出到日志文件。
log4j-cli.properties修改：
log4j.logger.test.flink=INFO, file, console
在log4j-c
浏览 3提问于2018-07-09得票数 0
回答已采纳
我正在kubernetes (会话集群)上部署一个flink集群，我想知道是否有任何配置(在flink-conf.yaml上)可以将外部jars加载到集群中。
据我所知，flink将加载lib/ folder下的所有jar，但假设我想上传用于指标的jar，并且我不想手动将其放入lib文件夹(因为每次部署都会将其删除)，并且我不希望将lib/ folder挂载。
我想要的解决方案是创建一个/mnt/external-jars库(这将是一个挂载)，flink将把这个目录中的所有jars加载到它的类路径中。
这在某种程度上是可能的吗？
浏览 148提问于2020-03-14得票数 0
1回答
为了丰富数据流，我们计划将MySQL (MemSQL)服务器连接到现有的flink流应用程序
正如我们所看到的，Flink提供了一个带有JDBC连接器https://nightlies.apache.org/flink/flink-docs-master/docs/connectors/table/jdbc/的Table
此外，我还发现了另一个名为Flink-CDC https://ververica.github.io/flink-cdc-connectors/master/content/about.html的MySQL连接器，允许以流的方式处理外部数据库。
他们之间有什么区别？在我的情况
浏览 19提问于2022-02-07得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
