我正在使用flink从Azure数据湖中读取数据。但flink无法找到Azure数据湖文件系统。我已经实现了spark来读取Azure Data Lake文件系统文件。
因此，我尝试从flink中触发火花，从Azure数据湖中读取数据，并执行一些逻辑操作，然后将列表返回给flink。所以flink可以使用这些数据？
是否可以从flink触发spark作业？或者如何配置flink来理解Azure数据湖文件系统。有人能在这方面给我指点一下吗？
浏览 2提问于2017-07-11得票数 0
如何测量Apache Spark和Flink的能耗有没有什么工具或技术可以测量Spark和Flink的能耗
浏览 1提问于2020-09-01得票数 0
1回答
我想创建一个带有一些逻辑(Scala)的Flink Job，并在文档中找到了几种启动Flink的方法。例如，独立模式： ./bin/flink run ./examples/streaming/TopSpeedWindowing.jar 它可能是从Intellij Idea启动和调试Flink作业，就像使用主类启动和调试简单的Spark job一样吗？ val spark = SparkSession.builder()
.appName("Agg")
.master("local")
.getOrCreate()
def s
浏览 42提问于2021-01-30得票数 0
比较Flink和Spark Streaming，Flink和Storm，Storm和Heron有很多问题。
这个问题的来源是Apache Flink和Twitter Heron都是真正的流处理框架(而不是像Spark Streaming这样的微批处理框架)。Storm已于去年被Twitter淘汰，他们改用Heron (基本上是Storm重新制作的版本)。
在Flink和Flink vs Spark上有斯利姆·巴尔塔吉的精彩演讲：
Ilya Ganelin对各种流媒体框架的出色研究：
关于Flink vs Storm的有趣想法：
但我还没有看到新的Storm/Heron与Apache Flink
浏览 27提问于2016-06-05得票数 9
2回答
我得到了以下SBT文件：
.
-- root
-- plugins.sbt
-- build.sbt
其中plugins.sbt包含以下内容：
addSbtPlugin("com.eed3si9n" % "sbt-assembly" % "0.12.0")
和包含以下内容的build.sbt：
import sbt.Keys._
resolvers in ThisBuild ++= Seq("Apache Development Snapshot Repository" at "https://reposito
浏览 1提问于2016-08-09得票数 1
我正在尝试将Storm拓扑提交到群集，但不断收到相同的错误： Exception in thread "main" java.lang.NoClassDefFoundError: kafka/api/OffsetRequest
at org.apache.storm.kafka.KafkaConfig.<init>(KafkaConfig.java:48)
at org.apache.storm.kafka.trident.TridentKafkaConfig.<init>(TridentKafkaConfig.java:30)
浏览 23提问于2020-01-28得票数 1
回答已采纳
Flink是否有避免每次提交作业时都上传扩展jars的配置，就像spark-submit中的spark.yarn.archive一样？ 我知道处理外部jars的方法，比如How to Reference the External Jar in Flink中的答案。例如fat jar、将jar复制到$FLINK/lib、-yt配置，但它们不够灵活或不够方便。
浏览 78提问于2019-10-14得票数 0
回答已采纳
支持多个运行程序后端，包括Apache和Flink。我很熟悉Spark/Flink，我正试图看到Beam批量处理的利弊。
从的角度来看，它觉得它非常类似于本机Spark/Flink的等价物，可能有一个稍微冗长一些的语法。
我目前不认为选择梁而不是火花/Flink来完成这样的任务有多大的好处。到目前为止，我能提出的唯一意见是：
支持:对不同执行后端的抽象。
Con:这种抽象的代价是减少了对在Spark/Flink中执行什么的控制。
是否有更好的例子突出梁模型的其他利弊？是否有任何关于失控如何影响性能的信息？
请注意，我并不是在请求流方面的差异，流方面的部分内容在中进行了介绍，并在
浏览 4提问于2017-04-24得票数 108
回答已采纳
3回答
我要使用apache运行简单的worcount示例。使用$SPARK_HOME/jars中的本地jar文件，它正确运行，但使用maven依赖于它的错误：
java.lang.NoSuchMethodError: org.apache.hadoop.fs.FileSystem$Statistics.getThreadStatistics()Lorg/apache/hadoop/fs/FileSystem$Statistics$StatisticsData;
at org.apache.spark.deploy.SparkHadoopUtil$$anonfun$1$$anonfun$apply$m
浏览 19提问于2017-11-28得票数 0
回答已采纳
Flink是流媒体的一个明显的选择，然而Spark已经成熟了ML pipelines，它可以在spark中训练模型，将其保存为CrossValidatorModel并部署到Flink中的流媒体数据吗？全部在scala中
浏览 16提问于2017-03-16得票数 0
回答已采纳
1回答
我一直在研究flink。我对flink中的内存管理有疑问。在flink中内存是如何管理的。在flink中是否也有类似的功能，比如"blocks in spark“？请让我知道，如果有好的地方阅读flink中的内存管理。
浏览 12提问于2019-02-15得票数 0
回答已采纳
我计划了一个从Apache读取的应用程序，经过(可能耗时的)处理后，将数据保存到数据库中。
我的例子是消息，而不是流，但为了可伸缩性，我正在考虑将其插入Spark或Flink，但无法理解这些扩展:我的应用程序，当Spark/Flink的一部分读取了Kafka的一些数据，然后退出或继续阅读吗？
那么，Spark/Flink将如何决定他们必须生成更多的我的应用程序实例来提高吞吐量呢？
谢谢!
浏览 4提问于2017-09-20得票数 0
回答已采纳
1回答
对于Flink的，有没有等同于Spark的？
经过几个小时的搜索，似乎什么都没有。
Flink的Spark有一个aggregate(agg: Aggregations, field: String): AggregateDataSet[T]，但从它的文档来看，它似乎与DataSet并不相似。
我是否必须实现自定义
浏览 0提问于2018-07-13得票数 0
我听说Flink job Manager类似于Spark Driver，在Spark中，对于不同的作业，它可以使用不同的Driver节点。 而对于Flink，由于只有一个作业管理器，当提交的作业太多时，它会不会太忙？ 非常感谢。
浏览 8提问于2019-02-20得票数 0
我想知道Spark或Flink执行引擎(主调度程序)如何为每个块找到合适的工作人员。
namenode将能够告诉他们块的确切位置，但是这个任务是由Spark和Flink的工作经理完成的，还是在这里纱线发挥作用？
浏览 2提问于2015-08-23得票数 1
回答已采纳
我负责EMR的Flink作业。在我的EMR集群中，我可以在s3 Log URI:s3://aws-logs-xxxxx/elasticmapreduce/中看到我的作业日志，我的主节点中也有一些/usr/lib/flink/log/下的日志。因为我们只为根空间配置了20G，所以由于这些日志文件(flink-flink-historyserver-xxxxx.log)在/usr/lib/flink/log/下很容易达到限制。
我的问题是：
在/usr/lib/flink/log/As中定义写入日志文件的--只要我们已经登录了s3，我们还需要/usr/lib/flink/log/下的日志吗？，有什
浏览 3提问于2021-09-23得票数 0
我正在创建流分析应用程序使用火花，Flink和卡夫卡。每个分析/功能都将实现为Microservice，以便该分析可以在以后的不同项目中使用。
我在简单的Scala应用程序中完美地运行了我的Spark/Flink作业，并分别在Spark & Flink集群上提交了这个作业。但是，当REST将startJob()请求调用到web服务时，我必须启动/运行此作业。
如何在面向web服务的应用程序中集成我的Spark & Flink数据处理功能？
直到现在，我尝试了，但我发现了很多问题，您可以检查
我认为我对流处理微服务应用没有采取正确的方向。寻找正确的方向来实现这
浏览 3提问于2017-04-25得票数 1
目前在阅读flink的文档时，我发现flink中有很多支持，比如翻滚窗口、滑动窗口、会话窗口和自定义窗口的实现
谁能告诉我现在或将来有多少窗口语义是在spark structured或spark streaming中内置或定义的？是否有可能在spark structured streaming中的上实现一个应用程序？
谢谢你的点子和建议~
浏览 0提问于2018-11-05得票数 0
有没有一种方法可以在分布式文件系统上运行Spark或Flink，比如lustre，或者除了HDFS或者S3之外的任何东西。
因此，我们可以使用Unix集群创建分布式文件系统框架，我们是否可以在集群模式下运行spark/flink，而不是独立运行。
浏览 1提问于2020-03-31得票数 0
我需要在flink中使用foreach。有没有人可以举例说明如何在flink中使用map()来实现spark中的foreach？
浏览 1提问于2016-12-15得票数 0
我已经在IDE (Intellij)和独立集群中运行了我的Flink程序(在Scala中)。在我的程序中，我打印出运行时间。在IDE中运行时，我得到了20多个，在独立集群中运行的是74s。我非常困惑，为什么在一个具有10个并行性的集群中运行这么多次。我试图比较Flink性能与火花基本上。有人能帮我弄清楚怎么会发生这种事吗？谢谢。
添加了：
我的程序示例可以找到。此特定代码在控制台中打印的时间如下所示：
Flink (IDE，Windows)：2550 IDE
Flink (独立集群，WSL2 Ubuntu)：9076
我已经更改的Flink独立集群的配置：
jobmanag
浏览 3提问于2021-07-11得票数 0
Spark有mapPartition API，而Flink DataStream API没有。有谁能帮助解释原因吗？我想要做的是在Flink上实现一个类似于星火reduceByKey的API。
浏览 2提问于2015-10-28得票数 7
回答已采纳
1回答
如何在jvm之间分发代码
、、、
一些分布式计算引擎，如Spark或Flink，能够在计算机和jvm之间分发代码，例如(在scala中使用spark)：
sc.parallelize(1 to 10).map(i => i+1).collect
在这里，i => i+1在所有worker上被序列化、发送和执行。我想知道这是怎么做到的？
另外，如果有人能给我指出一些现有的分布式计算框架(如Spark/Flink )中与此问题相关的源代码(类)，我将不胜感激
浏览 4提问于2018-04-03得票数 2
谁能把Flink和Spark作为机器学习的平台进行比较呢？对于迭代算法，哪一种可能更好？链接到一般Flink与火花讨论：
浏览 3提问于2015-04-21得票数 27
回答已采纳
1回答
我只是大数据领域的新手，所以我不知道如何构建仪表板应用程序来可视化Hadoop中的日志文件中的数据。在四处搜索之后，我可以想出一些解决方案：
1/使用Kafka获取流数据
2/流数据处理:流Spark或Apache Flink
3/前端-->可视化数据:使用d3js
我是不是遗漏了什么？Spark和Flink我应该使用哪一个？我有一个机器集群，我已经安装了Ambari，HDP 2.4.2，HDFS 2.7，YARN 2.7，Spark 1.6，Kafka。
如果可能的话，你们能给我看一些构建这样一个应用程序的教程吗？有什么书或课程吗？
非常感谢。
P/s：
我读过databrick的gi
浏览 0提问于2016-07-07得票数 0
当Spark 2.3带来延迟为1ms的“连续处理”时，选择Flink而不是新的Spark 2.3用于流媒体应用有什么好处吗？
浏览 1提问于2018-06-12得票数 3
有没有一个地方我们可以快速参考和查看Apache beam和运行时环境(Flink，Spark等)之间的版本兼容性。我正在以一种艰难的方式学习它：我不确定我的问题有多少是由版本错误造成的。
目前我使用的是光束2.4.0，看看flink runner pom ()，它使用的是flink 1.4.0 jars。所以我假设Apache beam 2.4.0可以与Apache Flink 1.4.0一起工作。这是正确的解释吗？
不幸的是，Flink 1.4.0 ()没有官方的docker镜像
浏览 0提问于2018-06-14得票数 0
我需要开始一个新的项目，我不知道是否火花或Flink会更好。目前，该项目需要微批处理，但以后可能也需要流事件处理。
假设火花是最好的，是否有缺点使用梁代替选择火花/Flink作为跑步者/引擎？
Beam是否会增加任何开销，或者在Spark/Flink中缺少某些API/功能？
浏览 2提问于2019-04-29得票数 1
回答已采纳
使用来自Kafka主题的数据，Flink和SparkStreaming都提供了检查点机制，前提是auto.commit.enabled设置为false。火花博士说：
火花输出操作至少是一次。因此，如果您想要完全等同于一次语义，则必须在幂等输出之后存储偏移量，或者在原子事务中存储偏移量与输出一起。
但是Flink文档说：
在启用了Flink的检查点之后，Flink Kafka消费者将使用来自某个主题的记录，并定期检查其所有Kafka偏移量，以及其他操作的状态，以一致的方式。如果作业失败，Flink将恢复流程序到最新检查点的状态，并重新使用Kafka的记录，从存储在检查点中的偏移量开始。
浏览 6提问于2017-12-12得票数 1
我是Flink的新手，目前正在致力于将Spark中的一些代码示例转换为Flink。对于JavaSparkContext中的并行化方法，Flink中类似的功能是什么？我试图转换以下代码：
JavaRDD<Integer> workload = ctx.parallelize(Arrays.asList(init_val), parallel).map(new Function<Integer, Integer>() {
@Override
public Integer call(Integer s) throws InterruptedExcept
浏览 3提问于2016-04-26得票数 0
回答已采纳
有没有人可以在Scala中分享Flink Kafka的工作示例(主要是从Kafka接收消息)？我知道在Spark中有一个的例子。我只需要在Flink中打印出Kafka消息。这将是非常有帮助的。
浏览 2提问于2015-07-16得票数 6
在我的MacOS中安装hadoop后，我发现每次打开一个新的终端窗口时，都会显示警告"-bash: hadoop: command not found“。怎么了？我怎么才能修复它呢？谢谢。 Last login: Fri Jan 8 20:13:00 on ttys010
-bash: hadoop: command not found
SJ-DN0393:github admin$ 下面是我的/etc/profile文件的内容： # System-wide .profile for sh(1)
if [ -x /usr/libexec/path_helper ]; then
浏览 82提问于2021-01-08得票数 0
2回答
如何将此示例scala spark代码转换为apache flink？
reduceByKey( (x, y) => (x._1 + y._1, ( (x._2) ++ y._2) ) )
我意识到reduceByKey在flink中并不存在，但它显示了我正在努力实现的目标。
谢谢你的帮助！
浏览 3提问于2015-12-08得票数 2
我们讨论了以下问题：
但是Spark Structured Streaming是在Spark2.2上添加的，它给流媒体带来了很多变化，而且它是非常出色的。
我们可以说Spark Strutured Streaming是流处理，还是仍然是批处理？
现在Apache Flink和Apache Spark Structured Streaming的最大区别是什么？
浏览 3提问于2017-09-01得票数 13
我是Apache Flink的新手，我找不到从文件系统中读取拼图文件的方法。我来自Spark，一个简单的"spark.read.parquet("...")“完成了任务。有可能吗？
提前谢谢你
浏览 1提问于2020-10-06得票数 1
我对Mahout很陌生，我正在努力理解不同项目的“领域”，以及它们之间的关系。我理解摒弃了许多MapReduce算法，它将基于Apache或Spark或其他引擎，比如h2o (基于"Apache : Beyond MapReduce“的介绍)。
我想尝试一些推荐算法，但我不太确定什么是新的，什么是“不推荐的”。我看到了以下链接，
指spark-rowsimilarity和spark-itemsimilarity。(我不明白这些链接是在谈论一个非自我的算法还是一个设计.这可能是一个设计，因为他们没有列出在mahout点apachedot /user/basic/ori
浏览 5提问于2016-05-14得票数 0
回答已采纳
我正在考虑在我的项目中使用Apache Flink来处理一些流数据。 然而，我的一个朋友告诉我Flink可能需要很多RAM。此外，我还发现了一些东西，告诉我同样的事情：https://www.quora.com/What-is-the-difference-between-Apache-Flink-and-Apache-Spark 到目前为止，我还没有学到很多关于Flink的知识，我只是成功地安装了它并运行了字数统计示例。 所以我想知道为什么Flink需要很多RAM。主要原因是什么？Flink本身有什么缺点吗？还是保存历史数据？或者别的什么？ 我可以使用像Redis这样的东西来避免这个问题吗
浏览 19提问于2020-04-29得票数 0
回答已采纳
我会在一台机器上运行我的flink应用程序，我想为这个应用程序指定20个核心。实际上，我想做的是，以火花为例：
spark-submit --master local[20]
我会问我如何像火花一样在一台机器上提交我的flink申请。
浏览 3提问于2019-09-23得票数 0
回答已采纳
Spark有的概念，这样您就能够执行部分聚合，从而减少(双关意外)洗牌。
Flink中有类似的东西吗？
浏览 2提问于2018-07-11得票数 0
回答已采纳
我想对Spark和Flink进行基准测试，为此我做了几个测试。然而，Flink不适用于Kafka，而Spark适用于完美。
代码非常简单：
val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment
val properties = new Properties()
properties.setProperty("bootstrap.servers", "localhost:9092")
properties.setProperty("
浏览 0提问于2016-06-16得票数 0
Spark streaming提供了销毁awaitTermination()的接口。有没有类似的API可以在t秒后优雅地关闭flink流？
浏览 4提问于2017-07-26得票数 0
1回答
如何将PyFlink性能与Flink + Scala进行比较？
大照片。我们的目标是建立冷和热层的Lambda架构。冷(批)层将用Apache (PySpark)实现。但是对于热(流)层有不同的选择:火花流或Flink。
因此，Apache是纯流的，而不是Spark的微批，我倾向于选择Apache。但我唯一关心的是PyFlink的性能。PySpark流的延迟会更少吗？它比Scala编写的Flink代码慢吗？在什么情况下更慢？
提前谢谢你！
浏览 3提问于2021-11-05得票数 1
回答已采纳
1回答
我是Fink和Gelly的新手。我们需要在图本身由于增量更新(频繁)而不断变化时进行图计算。因为这个图太大了，我们用TinkerPop对Spark做了一些调查。但是这种方法的问题是RDD是不可变的，这使得图上的增量更新变得难以处理(IndexRDD已经维护了很长一段时间，所以我们不想走这个方向)。这让我们想到了Flink和Gelly。有没有专家可以帮我回答这些问题: 1. Gelly/Flink可以本机处理增量更新，对吧？我的意思是，图遍历->图突变->图遍历不需要像spark这样的额外努力来重新加载整个RDD，对吗？但是如果是这样，在Flink中如何保持数据一致性? 2.如果在图
浏览 0提问于2018-10-04得票数 1
1回答
我正在与apache和spark以及一个twitter连接器( flink -连接器-twitter_2.12和apache.bahir的火花流-twitter)合作，接收实时twitter并通过svm预测它们。
Flink
val streamSource: DataStream[String] = strEnv.addSource(new TwitterSource(properties))
...
火花
TwitterUtils.createStream(streamingContext, auth)
...
但是，这两个应用程序都是使用上述API在集群上运行的。
我的问题是推特的输入率
浏览 3提问于2019-11-19得票数 0
回答已采纳
我用Apache Flink在HDFS上创建了一些归档数据文件，生成的文件名具有类似part-{parallel-task}-{count}的模式，但我期望的应该有".gz“后缀，可以由Apache Spark直接加载。
在Apache Flink中找不到给BucketingSink生成的最终完成文件添加后缀的接口，只能给InProgress、Pending和ValidLength状态添加后缀。谁能帮上忙？ &
浏览 27提问于2018-01-11得票数 0
1回答
有没有办法在Flink中自动推断Kafka主题DDL而不需要手动CREATE TABLE查询，就像spark的情况一样。
浏览 21提问于2021-11-16得票数 1
我编写了Kafka流应用程序，我想将它部署到Kafka集群上。因此，我构建了一个jar文件并使用以下命令运行它：
java -jar KafkaProcessing-1.0-SNAPSHOT-jar-with-dependencies.jar testTopic kafka1:9092,kafka2:9092 zookeeper1:2181,zookeeper2:2181 output
它运行正常，但作业运行在我在命令上运行的机器上！我想当我指定BOOTSTRAP-SERVERS时，它会自动在集群上进行计算，而不是在主机上！
那么，我的问题是如何在Kafka集群上提交kafka流作业呢？就像
浏览 1提问于2017-12-01得票数 5
回答已采纳
不好意思给您带来不便，但我在“医生”或“互联网”上没有找到答案。
我有一个平台，上面有：
Hadoop 2.7.3
蜂箱2.1.0
Hbase 1.2.4
火花1.6
我已经集成了Flink 1.1.3在本地模式和纱线模式上使用它。
我有兴趣使用带有Hive的Flink (如hiveContext和Spark)来读取shell中的数据，有可能吗？怎么做呢？
致以问候。
浏览 11提问于2017-01-16得票数 0
1回答
梁中转轮依赖关系的冲突
、、、、
我希望使用Beam测试不同的流处理引擎，但是当包含Flink 和 Samza依赖项时无法运行程序。如果只包含其中的一个，那么它对所有其他运行程序都能正常工作。
我的pom.xml包含以下内容：
<properties>
<maven.compiler.release>1.11</maven.compiler.release>
<beam.version>2.20.0</beam.version>
<flink.version>1.9</flink.version>
浏览 2提问于2020-04-26得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
