如何使用Spark Scala从GeneralizedLinearRegressionModel计算pValue
Spark是一个开源的大数据处理框架，Scala是一种运行在Java虚拟机上的编程语言。GeneralizedLinearRegressionModel是Spark MLlib库中的一个模型类，用于进行广义线性回归分析。
要使用Spark Scala从GeneralizedLinearRegressionModel计算pValue，可以按照以下步骤进行：
- 导入必要的库和模块：
import org.apache.spark.ml.regression.GeneralizedLinearRegressionModel
import org.apache.spark.ml.linalg.DenseVector
import org.apache.spark.ml.stat.ChiSquareTest- 获取GeneralizedLinearRegressionModel的系数和标准误差：
val coefficients: DenseVector = model.coefficients
val standardErrors: DenseVector = model.summary.coefficientStandardErrors- 计算pValue：
val numFeatures: Int = coefficients.size
val tValues: DenseVector = coefficients.toArray.zip(standardErrors.toArray).map {
case (coefficient, standardError) => coefficient / standardError
}
val pValues: DenseVector = ChiSquareTest.test(tValues, numFeatures).pValues- 打印或使用pValue：
println("pValues: " + pValues)这样就可以使用Spark Scala从GeneralizedLinearRegressionModel计算pValue了。
推荐的腾讯云相关产品和产品介绍链接地址：
- 腾讯云Spark服务：https://cloud.tencent.com/product/spark
- 腾讯云机器学习平台：https://cloud.tencent.com/product/tiia
- 腾讯云大数据分析平台：https://cloud.tencent.com/product/dca
相关·内容
我正在尝试使用GeneralizedLinearRegression计算pValue，并得到以下异常。val lrModel_general = pipeline.fit(indexedDF)
val sum = lrModel_general.stages.last.asInstanceOf[GeneralizedLinearRegressionModelException in thread "main" java.lang.UnsupportedOperationException: No
浏览 24提问于2018-12-28得票数 1
6回答
我在星火中有这个数据，我想计算其中可用列的数量。我知道如何计数列中的行数，但我希望计数列数。val df1 = Seq( ("spark", "scala", "2015-10-15", 11,"abhishek"),
浏览 0提问于2018-07-27得票数 17
回答已采纳
2回答
分布式互相关矩阵计算
、、、、
如何计算大型(>10TB)数据集的皮尔逊互相关矩阵，可能是分布式的？任何有效的分布式算法建议都将受到赞赏。更新:我阅读了apache spark mlib关联的实现/home/d066537/codespark/spark/mllib/src/main/scala/org/apache/spark/mllib/
浏览 20提问于2017-02-18得票数 9
1回答
我使用，它很棒：我看到了IntelliJ您可以拥有新的-> jupyter，但我认为它只是python。或者它是否适用于scala和？
我还看到IntelliJ有一
浏览 1提问于2017-06-28得票数 5
通过ssh-ing将必要的python包安装到主节点上，并使用例如据我所知，这应该在所有节点上安装该包。0.3366941400375204# calculate anova p-value s = scipy.stats.f_oneway(normal_cols, tumor_cols).pvalue
ret
浏览 14提问于2019-07-31得票数 1
回答已采纳
我使用的是play framework 2.2.0，并使用salat为play+ scala配置了mongo。" %% "spark-mllib" % "1.1.0"这是我的简单类，不包含mongo部分。{JsValue, Json}
import sca
浏览 1提问于2014-12-10得票数 2
1回答
我有下面的代码，一般来说，map函数是一个高阶函数，它在参数中接受一个函数，并使用函数计算元素。但在本例中，map不是一个函数，而是一个Map类型。不能理解map函数是如何工作的？scala> val pws = Map("Apache Spark" -> "http://spark.apache.org/", "Scala" -> "http:
浏览 2提问于2016-09-23得票数 0
我正试图在一台远程机器上用Scala写一个程序，但那台机器没有互联网接入。因为我使用的是Hadoop的预编译版本，所以我能够运行预编译的示例：但是我不能在机器上编译任何引用spark的东西：PiEstimate.scala:1: error: not found: object spark<
浏览 0提问于2013-06-11得票数 2
回答已采纳
我试图使用星火红移库，并且无法操作由sqlContext.read()命令创建的数据(从redshift读取)。(DataFrame.scala:178)at org.apache.spark.sql.DataFrame.show(DataFrame.scala:362)
at org.apache.spark.sql.DataFr
浏览 4提问于2015-11-04得票数 1
回答已采纳
1回答
当我们在Hortonworks集群上通过木星笔记本处理以下步骤时，我们遇到了一个奇怪的情况：
用pivot_column (pivoted_df)旋转这个表语句添加一些计算字段需要很长时间。例如，我们成功地处理了作业，从75.430.000行和1.600列开始。当我们使用另一个包含较少行(50.000)和更多列(2.433)的数据集处理作业时，它也在工作。我们使用一些show()操作调试了单个步骤，以检查作业到底在哪里失败。我们发现，直到步骤4中的联接，一切
浏览 2提问于2018-08-06得票数 1
我用自制的方式在我的Mac上安装了Scala(2.12.8版)和Spark(2.4.3)。我已经在我的机器上安装了Java1.8。当我发射火花壳时，我看到徽标上写着：为什么说ScalaVersion2.11.12而不是安装在我的计算机上的Scala (2.12.8版本)呢？Spark2.4.3附带S
浏览 2提问于2019-05-18得票数 4
回答已采纳
32.0414966| 32.0414966| 10| 3.80|val Array(trainingData, testData) = DF.randomSplit(Array(0.7 , 0.3), seed = 1234L)at org.apache.spark.sql.Data
浏览 1提问于2020-02-27得票数 0
2回答
自日期起的周数
、、
意思是四个星期一个月，我想计算一下我所有的约会时间。(TimestampFormatter.scala:110) at org.apache.spark.sql.catalyst.util.TimestampFormatter$.apply(TimestampFormatter.sc
浏览 0提问于2020-12-01得票数 0
回答已采纳
我是Maven的新手，我正在尝试用它在VSCode上构建一个Apache Spark项目。import java.io.FileNotFoundException;import org.apache.spark.SparkConf-- https://mvnrepository.com/artifact/org.apache.spark/spark
浏览 0提问于2021-12-01得票数 0
AFAIK调用像count这样的操作并不能确保所有的Columns都是实际计算的，show可能只计算所有Rows的一个子集(参见下面的示例) 我的解决方案是使用df.write.saveAsTable将nabble.com/Will-count-always-trigger-an-evaluation-of-each-row-td21018.html 我做了一个小例子，表明DataFrame上的count不会计算所有东西(使用Spark 1.6.3和spark
浏览 62提问于2017-03-10得票数 20
回答已采纳
3回答
我写了一个类，它得到一个DataFrame，在它上面做一些计算，并可以导出结果。数据帧由密钥列表生成。列表中的foreach是不平行的，那么我如何避免在这里使用foreach呢？DataFrames的计算可以并行进行，因为计算结果不是下一个DataFrame的输入-我如何实现这一点？rdd.foreach(data =>)Invalid tree; null:编辑2:好吧，我不明
浏览 1提问于2016-06-28得票数 12
我已经尝试使用从HDFS加载文件，但我不能使用命令map reduce。我用来计算文件字数的命令： .flatMap(line => line.split((HadoopRDD.scala:202)
at org.apache.spark.rdd.RDD$$anonfun$parti
浏览 1提问于2018-07-13得票数 0
1回答
我目前正在使用ApacheCassandra2.1.2集群和Spark1.2.0连接器。对于一些初始测试，我需要通过Spark命令从Cassandra表中选择一些行。我们在键空间 ks中使用了一个名为tabletest的表。例如，这个表包含一个id (bigint)和一个ts (时间戳)。即使我试图在不显示行的情况下计算行数，也会遇到同样的问题。java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.ja
浏览 5提问于2015-01-29得票数 0
1回答
从R到scala:导入库
、、、、
我来自R，我正在尝试使用scala来探索数据科学的可能性。我没有任何编程或计算机科学的背景，我的背景主要是统计学。到目前为止，我只使用REPL中的scala，我喜欢它，因为它让我想起了R控制台。在R控制台中的R中，我只需输入在scala中，我正在尝试做一些类似的事情，但是它并不能真正工作。下面是我所看到的：
Welcome to Scala 2.12.6 (Java HotSpot(TM) 64-Bit Server VM, Ja
浏览 0提问于2018-06-27得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
