1回答
我有一个简单的pyspark代码： {'userId': 'u1', 'itemId': 'a1', 'click': 1}, {'userId': 'u2', 'itemId': 'b2', 'click': 1
浏览 10提问于2017-01-18得票数 1
2回答
有没有可能在python中实现扁平的懒惰生成？os.path.join(directory, file_path) for file_path in file_paths if srt_check(file_path)]
对os_walk_transcript的结果进行延迟评估很重要，但我希望能够以一种扁平的方式对其进行评估，而不是它当前的嵌套列表评估。"]我在一个项目中工作，其中的数据足够大，并且
浏览 0提问于2013-06-13得票数 0
回答已采纳
Spark Transformations被懒惰地评估-当我们调用动作时，它会执行基于谱系图的所有转换。懒惰地评估转换有什么缺点吗？
浏览 3提问于2016-06-25得票数 21
回答已采纳
但是它完全失去了ADX和Databricks-Spark的延迟加载特性。我尝试了以下代码(在安装了相关的库之后)format("com.microsoft.kusto.spark.datasource"). \
option("kustoCluster然而，就性能而言，它与ADX中的直接查询相去甚远。一个有60万条记录的表中的计数在ADX中是子秒，而在DS3_V2 14 on 4核上
浏览 7提问于2022-06-19得票数 1
回答已采纳
我利用Spark的JDBC功能如下：
在DataFrame的整个生命周期中，不对其执行**。它曾经像预期的那样起作用，但最近我遇到了一些问题。由于Spark的懒惰评估，coalesce减少了读取操作的并行性。因此，如果我使用带有DataFrame的DataFrameReader.jdbc(..num
浏览 2提问于2018-04-18得票数 2
回答已采纳
1回答
由于我使用Spark1.6，所以需要注册一个临时表，因为将数据直接写入Hive表不是sc = SparkContext(conf=spark_conf我有多种想法，这可能会导致问题：
这可能是由于对registerTempTable的懒惰评估造成的吗？斯派克认为我不使用那些记录吗？我熟悉生成器中的惰性计算，但我无法想象在registerTemp
浏览 6提问于2018-03-05得票数 0
1回答
首先，我想让您知道，我在spark方面仍然是一个新手，并且正在习惯惰性评估的概念。 这里是我的问题： 我有两个通过读取CSV.GZ文件加载的spark DataFrames。我试图做的是合并这两个表，以便根据我在第二个表上的键拆分第一个表。Y个不相交的表，其中Y是我在合并后的表中找到的不同'Dept‘值的数量。： sp_df_A = spark.read
浏览 35提问于2019-01-22得票数 1
回答已采纳
如果Haskell懒惰，为什么在以下两种情况下都要对getLine进行评估？由于懒惰，我希望在fa的情况下，不会对getLine进行评估，因为其结果随后不会被使用： x <- getLine;}
let fb
浏览 1提问于2016-02-17得票数 1
回答已采纳
我在spark-shell中使用Apache spark时，执行SQL查询时会得到不同的输出
我有一个包含一个主节点和一个从节点的spark集群。在主节点上有一个工作节点，在从节点上有一个工作节点。现在，当我持久化一些数据，然后对这些持久化数据执行一些筛选时，每次我都会得到两个不同的输出，但这两个不同的输出是不同的，它们不会每次都改变，简而言之，我为一个SQL查询得到了两个不同的输出。我在主节点和从节点上都有MySQL数据库，在从节点
浏览 4提问于2017-08-09得票数 0
回答已采纳
在spark中，cache是延迟计算的，直到调用一个操作为止。同样的懒惰评估也适用于unpersist吗？
浏览 0提问于2019-07-01得票数 0
回答已采纳
2回答
我有一些混合的列名，比如sum(TXN_VOL)，我想把它们转换成大写字母，比如SUM(TXN_VOL)我尝试的是: Dataset<Rowx = finalBcDF.withColumnRenamed(columnName, columnName.toUpperCase());但是这每次都会创建新
浏览 1提问于2019-01-02得票数 0
回答已采纳
这是我的代码； from pyspark import SparkContextsql_sc = SQLContext(sc)df.show() ## here is where error occurs 当我试图显示数据帧的内容时，出现如下所示的错误： Py4JJavaError
浏览 25提问于2020-03-20得票数 1
由于Spark中的计算是惰性的，跟踪执行语句的时间的日志可能会出错。例如:如果用户在读取文本文件之前和读取文件之后捕获开始时间(在sc.textFile()之前和之后)，这将导致错误的信息，因为日志将被记录，但由于延迟计算，文件尚未读取。对此有什么解决方案吗，比如懒惰日志记录？
浏览 0提问于2016-05-09得票数 0
2回答
根据
有时，我需要对我的数据文件立即执行某些操作。但是，由于dataframe是“延迟计算的”(如上文所述)，所以当我在代码中编写这些操作时，很难保证Spark实际上将按照代码的其余部分执行这些操作。因此，我的解决方法(到目前为止)一直是在我的
浏览 3提问于2016-09-08得票数 10
回答已采纳
1回答
我在试着理解斯派克的评价。val df = spark.read.table(table_name).filter(partition_column=partition_value)
由于斯帕克的懒惰评估，它是否会应用谓词下推，只扫描partition_column=partition_value所在的文件夹？
浏览 3提问于2019-11-07得票数 2
回答已采纳
2回答
我如何强制Spark执行对map的调用，即使它认为由于其懒惰的计算而不需要执行？
我已经尝试将cache()与地图调用放在一起，但这仍然不起作用。我的map方法实际上是将结果上传到HDFS。所以，它不是无用的，但Spark认为它是无用的。
浏览 1提问于2015-07-13得票数 33
回答已采纳
我担心Haskell懒惰评估的效率。考虑以下代码 where x = head [1..]在这里，由于懒惰，x首先保留head [1..]的表达式而不是结果1，但是当我调用x + x时，表达式head [1..]会被执行两次吗？我在haskell.org上找到了以下描述
另一方面，惰性评估意味着只在需要表达式结果时才对其进行评估(注意从“约简”到“评估</em
浏览 0提问于2014-05-23得票数 3
回答已采纳
我正在阅读Functional Programming in Scala的书，并且正在学习关于懒惰评估的部分。有一个使用takeWhile实现foldRight函数的练习。我能够成功地完成它，但是当我添加了print语句时，我发现它似乎在进行我意想不到的处理。我对此感到非常困惑。，然后如果谓词匹配，则将当前处理的尾连接到下一个元素，或者用空的McStream替换它。此时，它应该只是返回列表，而不是执行额外的foldRight和
浏览 1提问于2020-02-18得票数 2
回答已采纳
2回答
如何计时星火程序的执行速度
、、、、
我想时间我的火花程序执行速度，但由于懒惰，这是相当困难的。让我们在这里考虑以下(无意义的)代码：val graph_degs = graph.outerJoinVerticesSystem.currentTimeMillis
println("It took " +
浏览 9提问于2017-04-20得票数 6
回答已采纳
使用Spark2.0，我尝试在pyspark ML管道中运行一个简单的VectorAssembler，如下所示： 288
/usr/local/spark20/python/lib/sql/catalyst/InternalRow;Lorg
浏览 5提问于2016-08-18得票数 5
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
实时音视频活动推荐
腾讯云开发者
