1回答
我在spark上使用了以下代码： dataframe.withColumn("diffDate",col("current_time").minus( col("tracking_time")).divide(60*1000).mod(60)); 但是我得到了以下输出 +---------------+----------------+-----------------+
|tracking_time |1594110202934 |56.089116666466 |
浏览 19提问于2020-07-07得票数 0
回答已采纳
2回答
使用spark实现散列
、、、、
因此，我用Java语言实现了分离链接散列：https://github.com/Big-data-analytics-project/Static-hashing-closed/blob/main/Static%20hashing%20closed 下一步是使用spark实现它，我试着阅读教程，但我仍然迷失方向。
浏览 21提问于2020-11-04得票数 0
1回答
我已经在多节点集群上设置了Spark，如本文所解释的：我还测试了是否可以启动星火外壳，执行Scala命令，并在上查看作业结果。') import numpy as nppri
浏览 2提问于2019-05-01得票数 2
3回答
我有一个数据文件，如下所示 (0, ['This','is','Spark']),|-- words: array (nullable = true)我正在应用一个def lower(token):
浏览 5提问于2022-09-01得票数 1
2回答
我使用PySpark训练了一个模型，并希望将它的性能与现有启发式的性能进行比较。
我只想硬编码一个系数为0.1、0.5和0.7的LR模型，调用测试数据的.transform来获得预测，并计算准确性。
浏览 3提问于2018-06-25得票数 2
回答已采纳
事件经过多次尝试和谷歌搜索后，如果我使用流上下文，则无法获取fileName。我可以使用SparkContext的wholeTextFiles，但是，我必须重新实现流上下文的功能。注意: FileName (错误事件作为json文件)是系统的输入，因此在输出中保留该名称非常重要，以便在审计期间可以跟踪任何事件。
注意: FileName的格式如下。可以从事件json中提取SerialNumber部分，但是时间是以毫秒为单位存储的，很难以可靠的方式在下面
浏览 0提问于2015-11-22得票数 2
我正在尝试使用Spark构建一个推荐系统，其中的数据如下276725;034545104;0276729;052165615;3我使用Spark2.1.0和mongoldb来加载数据。下面是我的代码，它定义了数据格式和转换后的</em
浏览 3提问于2017-01-16得票数 2
1回答
我尝试在yarn-client上运行pyspark，我不确定可能的原因以及无法正确解释日志 import sysfrom pysparkimport SparkContext, SparkConfconf.setMaster('yarn-client')sc = SparkContext(conf=conf)
# sc= SparkContext.
浏览 3提问于2019-02-12得票数 1
1回答
我正在使用Spark对用户提交的数据调用函数。如何将已存在的函数重命名为其他名称，如将REGEXP_REPLACE重命名为REPLACEss.udf.register("REPLACE", REGEXP_REPLACE)// This doesn't workss.udf.register("mod
浏览 11提问于2017-12-11得票数 0
回答已采纳
我正在为我的PySpark应用程序编写一个自定义库，它需要对一些CSV文件使用Pandas库进行一些预处理。但是，在我使用addPyFile函数将库作为包添加、导入所需的方法并执行该函数之后，它将引发一个ImportError。_1.py，我有from sub_module_1 import sub_mod_1
input_local_file问题
浏览 4提问于2019-04-26得票数 0
回答已采纳
3回答
如何在配置单元中将unix的毫秒纪元转换为毫秒的时间戳？cast()和from_unixtime()函数都无法以毫秒为单位获取时间戳。我试过.SSS，但是这个函数只是增加了年份，并没有把它作为毫秒的一部分。scala> spark.sql("select from_unixtime(1598632101000, 'yyyy-MM-dd hh:mm:ss.SSS')").show(false)
+-----
浏览 84提问于2020-08-31得票数 1
回答已采纳
我从下载了源代码，并使用但是当我做jar -tf spark-assembly-1.4.0-hadoop2.6.0.jar |grep pyspark时，它没有显示任何结果，我正在CentOS 6.6上构建它。我看过，它看起来就像他的程序集JAR显示了一个吡火花类。请告诉我以下几点：
要在纱线上
浏览 6提问于2015-09-28得票数 0
我有一个名为RDD[Long]的mod，我希望使用Spark2.2和Scala2.11.8计算这个RDD的标准差和平均值。 avg($"col").as("avg")
val stddev_val=
浏览 3提问于2018-01-07得票数 0
回答已采纳
1回答
Traceback (most recent call last):
loader = get_loader(mod_na
浏览 24提问于2021-12-23得票数 0
1回答
我试着读python中的拼图文件。我用地板和json进口的。我使用了下面的代码，因为我不想使用熊猫。我想在R中实现相同的功能，所以我尝试使用“网状”，在R中使用python函数，我使用了以下代码：py <- import_builtins()
pq <- import，我得到了不同的错误。，或者用任何其他的方式来读取R.中的拼图
浏览 1提问于2018-08-12得票数 3
我的PYTHONPATH看起来像这样： C:\spark\spark-2.3.4-bin-hadoop2.7\python;C:\spark\spark-2.3.4-bin-hadoop2.7\pythonlast): mod_name,mod_spec, code = _get_m
浏览 125提问于2019-10-12得票数 1
我在Azure上有一个Greenplum集群，我正尝试从本地计算机使用spark连接到该集群(使用Pivotal Greenplum Spark Connector)。我在我的scala代码中做了这样的事情： var options = Map[String, String]()options += ("user"(id,7)=1;
update sample set stuff = su
浏览 134提问于2020-03-25得票数 0
将两个array<string>合并成一个array<string>在2.4.x版本中是可能的，也很容易，但在2.3.0版本中找不到这样做的方法。输入-预期输出-有人能解释一下如何使用Java在Spark中实现这一点吗？
浏览 9提问于2021-09-22得票数 1
re Spark文档2.3：
将Java用户定义函数注册为SQL函数。参数：javaClassName - java类的全限定名
returnType -注册的Java函数的返回类型。阅读上面我链接的文档，你会发
浏览 76提问于2018-08-11得票数 0
云服务器
ICP备案
对象存储
即时通信 IM
云直播
腾讯云开发者
