我正在使用flink从Azure数据湖中读取数据。但flink无法找到Azure数据湖文件系统。我已经实现了spark来读取Azure Data Lake文件系统文件。因此，我尝试从flink中触发火花，从Azure数据湖中读取数据，并执行一些逻辑操作，然后将列表返回给flink。所以flink可以使用这些数据？
是否可以从flink触发spark作业？或者如何配置flink来理解Azure数据湖文件系统。有人能在这方面给我指点一下吗
浏览 2提问于2017-07-11得票数 0
如何测量Apache Spark和Flink的能耗有没有什么工具或技术可以测量Spark和Flink的能耗
浏览 1提问于2020-09-01得票数 0
比较Flink和Spark Streaming，Flink和Storm，Storm和Heron有很多问题。这个问题的来源是Apache Flink和Twitter Heron都是真正的流处理框架(而不是像Spark Streaming这样的微批处理框架)。在Flink和Flink vs Spark上有斯利姆·巴尔塔吉的精彩演讲：关于Flink vs Storm的有趣想法：
但我还
浏览 27提问于2016-06-05得票数 9
1回答
我想创建一个带有一些逻辑(Scala)的Flink Job，并在文档中找到了几种启动Flink的方法。例如，独立模式： ./bin/flink run ./examples/streaming/TopSpeedWindowing.jar 它可能是从Intellij Idea启动和调试Flink作业，就像使用主类启动和调试简单的Spark job一样吗？val spark = SparkSession.builder()
.appN
浏览 42提问于2021-01-30得票数 0
Flink是流媒体的一个明显的选择，然而Spark已经成熟了ML pipelines，它可以在spark中训练模型，将其保存为CrossValidatorModel并部署到Flink中的流媒体数据吗？
浏览 16提问于2017-03-16得票数 0
回答已采纳
2回答
org.apache.avro" % "avro-mapred" % "1.7.7" % "provided" "org.apache.flink" %% "flink-scala" % flinkVersion % "provided",
"org.apache.flink" %% "flink
浏览 1提问于2016-08-09得票数 1
火花ML和Flink ML以及火花和Flink在一般情况下有什么区别？这两个项目都是Apache的项目，我想知道为什么Foundation有两个类似的项目。
浏览 0提问于2016-10-13得票数 2
回答已采纳
" %% "spark-sql-kafka-0-10" % sparkVersion, "org.apache.spark" %% "spark-streamin
浏览 23提问于2020-01-28得票数 1
回答已采纳
Flink是否有避免每次提交作业时都上传扩展jars的配置，就像spark-submit中的spark.yarn.archive一样？我知道处理外部jars的方法，比如How to Reference the External Jar in Flink中的答案。例如fat jar、将jar复制到$FLINK/lib、-yt配置，但它们不够灵活或不够方便。
浏览 78提问于2019-10-14得票数 0
回答已采纳
支持多个运行程序后端，包括Apache和Flink。我很熟悉Spark/Flink，我正试图看到Beam批量处理的利弊。从的角度来看，它觉得它非常类似于本机Spark/Flink的等价物，可能有一个稍微冗长一些的语法。
是否有更好的例子突出梁模型的其他利弊？是否
浏览 4提问于2017-04-24得票数 108
回答已采纳
当Spark 2.3带来延迟为1ms的“连续处理”时，选择Flink而不是新的Spark 2.3用于流媒体应用有什么好处吗？
浏览 1提问于2018-06-12得票数 3
3回答
</groupId> <version>1.3.2</version><dependency> <artifactId>flink-clients_2.11&
浏览 19提问于2017-11-28得票数 0
回答已采纳
1回答
我一直在研究flink。我对flink中的内存管理有疑问。在flink中内存是如何管理的。在flink中是否也有类似的功能，比如"blocks in spark“？请让我知道，如果有好的地方阅读flink中的内存管理。
浏览 12提问于2019-02-15得票数 0
回答已采纳
我的例子是消息，而不是流，但为了可伸缩性，我正在考虑将其插入Spark或Flink，但无法理解这些扩展:我的应用程序，当Spark/Flink的一部分读取了Kafka的一些数据，然后退出或继续阅读吗？那么，Spark/Flink将如何决定他们必须生成更多的我的应用程序实例来提高吞吐量呢？
谢谢!
浏览 4提问于2017-09-20得票数 0
回答已采纳
我使用spark和scala，我想创建一个窗口操作，在对象的数量中设置长度，即窗口开始为空，因为流启动时，对象一直存储在窗口中，直到它容纳10个对象，当第11个对象到来时，第一个对象被丢弃。
浏览 2提问于2016-04-19得票数 1
1回答
对于Flink的，有没有等同于Spark的？
经过几个小时的搜索，似乎什么都没有。Flink的Spark有一个aggregate(agg: Aggregations, field: String): AggregateDataSet[T]，但从它的文档来看，它似乎与DataSet并不相似
浏览 0提问于2018-07-13得票数 0
我听说Flink job Manager类似于Spark Driver，在Spark中，对于不同的作业，它可以使用不同的Driver节点。而对于Flink，由于只有一个作业管理器，当提交的作业太多时，它会不会太忙？ 非常感谢。
浏览 8提问于2019-02-20得票数 0
在Apache Spark中，很多时候我们使用RDD forEach来评估或处理RDD中的每个数据...我想知道在Apache Flink中相同的等价物是什么？
浏览 3提问于2016-06-27得票数 1
我想知道Spark或Flink执行引擎(主调度程序)如何为每个块找到合适的工作人员。namenode将能够告诉他们块的确切位置，但是这个任务是由Spark和Flink的工作经理完成的，还是在这里纱线发挥作用？
浏览 2提问于2015-08-23得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
