如何解释Spark PCA输出？
Spark PCA（Principal Component Analysis）是一种在大规模数据集上进行降维和特征提取的技术。PCA是一种统计学方法，通过线性变换将原始数据映射到一个新的坐标系中，使得在新的坐标系下数据的方差最大化。Spark PCA输出是指PCA算法在Spark平台上的计算结果。
Spark PCA的输出通常包括以下几个方面：
- 主成分（Principal Components）：主成分是PCA算法计算得到的新的特征向量，它们是原始数据在新的坐标系中的投影。每个主成分都代表了原始数据中的一种模式或特征。
- 方差解释比例（Variance Explained Ratio）：方差解释比例是指每个主成分所解释的原始数据方差的比例。它可以帮助我们理解每个主成分对原始数据的重要性。
- 特征值（Eigenvalues）：特征值是PCA算法计算得到的主成分的重要性度量。特征值越大，表示对应的主成分所包含的信息越多。
- 降维结果：降维是PCA的一个重要应用，通过选择最重要的主成分，可以将高维数据集映射到低维空间中。降维结果是指将原始数据集映射到新的低维空间后得到的数据。
Spark提供了一些用于PCA计算的API和工具，例如：
- MLlib：Spark的机器学习库MLlib提供了PCA算法的实现，可以用于大规模数据集的降维和特征提取。具体使用方法可以参考腾讯云的MLlib文档：MLlib文档。
- SparkR：SparkR是Spark的R语言接口，也提供了PCA算法的实现。使用SparkR可以在R语言环境中进行PCA计算。具体使用方法可以参考腾讯云的SparkR文档：SparkR文档。
Spark PCA的应用场景包括但不限于：
- 数据降维：PCA可以将高维数据降低到较低的维度，从而减少数据的存储和计算开销。
- 特征提取：PCA可以提取数据中的主要特征，帮助我们理解数据的结构和模式。
- 数据可视化：通过PCA可以将高维数据映射到二维或三维空间中，方便进行可视化展示和分析。
总结起来，Spark PCA是一种在大规模数据集上进行降维和特征提取的技术，通过计算主成分、方差解释比例、特征值和降维结果等输出，可以帮助我们理解数据的结构和模式，并在数据分析和可视化等领域发挥重要作用。
相关·内容
1回答
火花PCA顶部元件
、、、
在用于的spark文档中，有一个关于PCA的部分，描述了如何在spark中使用PCA。computePrincipalComponents方法需要一个参数来确定我们想要的顶级组件的数量。
问题是我不知道我需要多少个组件。我是说尽可能少。在其他一些工具中，PCA给出了一个表格，显示如果我们选择这3个组件，我们将覆盖95 %的数据。那么，星火在它的库中有这个功能吗?或者如果它没有，我如何在星火中实现它？
浏览 8提问于2015-11-06得票数 0
回答已采纳
1回答
我正在Spark中尝试主成分分析( PCA )。
data = [(Vectors.dense([1.0, 1.0]),),
(Vectors.dense([1.0, 2.0]),),
(Vectors.dense([4.0, 4.0]),),
(Vectors.dense([5.0, 4.0]),)]
df = spark.createDataFrame(data, ["features"])
pca = PCA(k=1, inputCol="features", outputCol="pcaFeatures")
model =
浏览 2提问于2017-12-12得票数 6
我正在降低Spark DataFrame的维数(使用spark ml库)，并使用PCA模型(使用ml库)如下：
pca = PCA(k=3, inputCol="features", outputCol="pca_features")
model = pca.fit(data)
其中data是一个Spark DataFrame，其中有一个标有features的列，它是一个三维的DenseVector：
data.take(1)
Row(features=DenseVector([0.4536,-0.43218, 0.9876]), label=u'cla
浏览 0提问于2015-10-30得票数 25
回答已采纳
我尝试使用结构内部的Vector作为spark mllib转换的输入列。像这样..。
import org.apache.spark.ml.linalg._
case class State(id: String, features: Vector)
val ds = Seq[(State,State)]().toDS
ds.printSchema()
root
|-- _1: struct (nullable = true)
| |-- id: string (nullable = true)
| |-- features: vector (nullable = true)
|
浏览 21提问于2019-07-16得票数 0
我有一个火花数据，我想使用运行一个简单的PCA例子。我看过并注意到了这一点，因为它们将特性转换为向量：
from pyspark.ml.linalg import Vectors
>>> data = [(Vectors.sparse(5, [(1, 1.0), (3, 7.0)]),),
... (Vectors.dense([2.0, 0.0, 3.0, 4.0, 5.0]),),
... (Vectors.dense([4.0, 0.0, 0.0, 6.0, 7.0]),)]
>>> df = spark.createDataFrame
浏览 1提问于2018-03-21得票数 0
回答已采纳
2回答
我在斯派克斯卡拉进行主成分分析。
我的输出只显示主成分分数向量。但是(1)如何显示主分量负载，以及(2)选择对第1和第2分量贡献最大的变量(即对组件具有特别高的负载)。我建议查看前两个组件，因为它们通常捕获的方差最大。
感谢您的任何帮助和建议！
到目前为止，我实施的是：
// import org.apache.spark.ml.feature.{PCA, VectorAssembler, StandardScaler}
// import org.apache.spark.ml.linalg.Vectors
val dataset = (spark.createDataFrame(
浏览 1提问于2018-03-06得票数 2
回答已采纳
我有一个包含id和features列的拼花文件，我想应用pca算法。
val dataset = spark.read.parquet("/usr/local/spark/dataset/data/user")
val features = new VectorAssembler()
.setInputCols(Array("id", "features" ))
.setOutputCol("features")
val pca = new PCA()
.setInputCol("feature
浏览 3提问于2020-01-26得票数 2
回答已采纳
我正在对我的数据进行主成分分析，我从上阅读了指南
相关代码如下：
import org.apache.spark.mllib.feature.PCA
import org.apache.spark.mllib.linalg.Vectors
import org.apache.spark.mllib.regression.LabeledPoint
import org.apache.spark.rdd.RDD
val data: RDD[LabeledPoint] = sc.parallelize(Seq(
new LabeledPoint(0, Vectors.dense(1, 0, 0
浏览 19提问于2021-03-12得票数 0
回答已采纳
我使用了
我的错误是：
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
17/02/03 20:39:24 INFO SparkContext: Running Spark version 2.1.0
17/02/03 20:39:25 WARN NativeCodeLoader: Unable to load native-hadoop
library for your platform... using builtin-java classes where appl
浏览 7提问于2017-02-04得票数 11
我尝试将PCA应用于我的数据，然后将RandomForest应用于转换后的数据。然而，PCA.transform(数据)给了我一个DataFrame，但我需要一个mllib LabeledPoints来供给我的RandomForest。我该怎么做呢？我的代码：
import org.apache.spark.mllib.util.MLUtils
import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.mllib.tree.RandomForest
import org.a
浏览 0提问于2016-03-13得票数 14
回答已采纳
1回答
基于PySpark的主成分分析
、、、、
我正在使用PySpark作为工具进行主成分分析，但由于从csv文件读取的数据的兼容性，我遇到了错误。我该怎么办？你能帮帮我吗？
from __future__ import print_function
from pyspark.ml.feature import PCA
from pyspark.ml.linalg import Vectors, VectorUDT
from pyspark.sql import SparkSession
from pyspark import SparkConf, SparkContext
from pyspark.sql.functions impor
浏览 3提问于2017-02-24得票数 1
回答已采纳
1回答
我正在尝试运行来自的示例pyspark PCA代码
我在DataFrame上加载了5,000,000条记录，23,000个特征。运行PCA代码后，我得到了以下错误
Py4JJavaError: An error occurred while calling o908.fit.
: java.lang.OutOfMemoryError
at java.io.ByteArrayOutputStream.hugeCapacity(ByteArrayOutputStream.java:123)
at java.io.ByteArrayOutputStream.grow(ByteArra
浏览 0提问于2018-05-24得票数 1
1回答
我用三个变量运行Spark (2.2) PCA : x，y和z。我得到：
+-----------------------------------------------------------+
|pcaFeatures |
+-----------------------------------------------------------+
|[4192.998527751072,7.815744760976605,2.064076348440629] |
|[934.998785749
浏览 11提问于2018-03-02得票数 2
回答已采纳
我正在尝试降低我的维度(我有120列)，因此我想应用PCA方法：
val data = sc.textFile("data")
val header = data.first
val rows = data.filter(l => l != header)
import org.apache.spark.mllib.feature.PCA
import org.apache.spark.mllib.linalg.Vectors
import org.apache.spark.mllib.regression.{LabeledPoint, LinearRegressi
浏览 0提问于2016-11-04得票数 0
我想使用pyspark运行PCA，但它给出了这个奇怪的错误。我使用的是带有python 3.6.3和pyspark 2.3.1的MAC。我也尝试过使用虚拟环境，同样的错误也出现了。当我进行随机森林模型拟合时，同样的错误也会发生。请让我知道如何解决这个问题!？
from pyspark.ml.feature import PCA
from pyspark.mllib.linalg import Vectors
from pyspark import SparkContext
from pyspark import SQLContext
sc = SparkContext()
sqlConte
浏览 1提问于2018-08-23得票数 0
2回答
我正在用PySpark处理csv文件的PCA。我得到了一些奇怪的行为；我的代码有时运行良好，但有时返回此错误：
File "C:/spark/spark-2.1.0-bin-hadoop2.7/bin/pca_final2.py", line 25, in <module>
columns = (fileObj.first()).split(';')
File "C:\spark\spark-2.1.0-bin-hadoop2.7\python\lib\pyspark.zip\pyspark\rdd.py", line 1361,
浏览 1提问于2017-03-14得票数 4
回答已采纳
1回答
我有很多维度(数千)的数据，并成功地对其进行了主成分分析。
输出如上图所示。我的问题是(如X轴所示)，一个主成分解释了所有的方差。我担心它掩盖了所有其他的主要组成部分。因此，我想找出主成分对应于哪个维度，然后将其从我的数据中删除。有没有办法找出它对应的维度？
如果需要任何代码来帮助理解，那就是：
print(fdata.shape)
# scale data
scaled_fdata = preprocessing.scale(fdata.T)
# setting up PCA
pca = PCA()
pca.fit(scaled_fdata)
pca_data = pca.t
浏览 15提问于2019-11-09得票数 0
我正在用分类学习工具箱在Matlab中建立一个logistic回归模型。
我在Matlab中运行了PCA：
coeff，得分，潜伏期，T平方，解释=主成分分析(CreditNumeric)；
这是coeff，得分，潜在的和解释的输出：
我想使用PCA的结果来减少我在分类学习器中使用的输入特性(基于我的PCA结果)。如何使用PCA结果来选择(例如5-7)最能描述数据95%方差的特征？
浏览 2提问于2015-09-13得票数 1
我目前正在学习主成分分析和R prcomp函数。我的代码如下：
library(dplyr)
iris1 = mutate( iris,
Species = factor( Species),
logSepalLength = log10( Sepal.Length ),
logSepalWidth = log10( Sepal.Width ),
logPetalLength = log10( Petal.Length ),
浏览 2提问于2021-02-19得票数 0
回答已采纳
我正在阅读这篇文章，我想要理解下面这行代码的输出：
pd.DataFrame(pca.components_, columns=subset.columns)
首先，我认为sklearn的PCA分量应该是每个特征解释的方差的多少(我猜这是pca的解释，对吧？)。然而，我认为这实际上是错误的，解释的方差是由pca.explained_variance给出的。
此外，使用上面的脚本构建的数据帧的输出对我来说非常混乱，因为它有几行，而且还有负数。
此外，上面构造的数据帧与以下图有何关系：
plt.bar(range(pca.explained_variance_), pca.explained_va
浏览 4提问于2021-04-10得票数 0
1回答
我正在做PCA，我对哪些原始特征是最重要的感兴趣。让我举个例子来说明一下：
import numpy as np
from sklearn.decomposition import PCA
X = np.array([[1,-1, -1,-1], [1,-2, -1,-1], [1,-3, -2,-1], [1,1, 1,-1], [1,2,1,-1], [1,3, 2,-0.5]])
print(X)
以下哪项输出：
[[ 1. -1. -1. -1. ]
[ 1. -2. -1. -1. ]
[ 1. -3. -2. -1. ]
[ 1. 1. 1. -1. ]
浏览 4提问于2017-02-24得票数 7
我得到了一个pca模型
> library(sparklyr)
> library(dplyr)
> sc <- spark_connect("local", version="2.0.0")
> iris_tbl <- copy_to(sc, iris, "iris", overwrite = TRUE)
The following columns have been renamed:
- 'Sepal.Length' => 'Sepal_Length' (#1)
- &
浏览 6提问于2016-12-11得票数 2
回答已采纳
我想在pyspark中运行这段代码(Spark2.1.1)：
from pyspark.ml.feature import PCA
bankPCA = PCA(k=3, inputCol="features", outputCol="pcaFeatures")
pcaModel = bankPCA.fit(bankDf)
pcaResult = pcaModel.transform(bankDF).select("label", "pcaFeatures")
pcaResult.show(truncate= f
浏览 3提问于2017-06-01得票数 6
1回答
我使用PCA将矩阵m*n简化为矩阵m*2。
我在我的项目中使用了中的代码片段，它可以工作。
import org.apache.spark.mllib.linalg.Matrix
import org.apache.spark.mllib.linalg.distributed.RowMatrix
val mat: RowMatrix = ...
// Compute the top 2 principal components.
val pc: Matrix = mat.computePrincipalComponents(2) // Principal component
浏览 5提问于2015-08-05得票数 4
回答已采纳
1回答
我正在使用PCA进行数据分析，我用PySpark编写了这段代码，它工作得很好，但它只适用于从一个csv文件中读取的数据，该文件包含精确的5列"a“、"b”、"c“、"d”、"e"，我想编写一个通用代码来计算从csv文件读取的列数的PCA。我该补充些什么？这是我的代码：
#########################! importing libraries !########################
from __future__ import print_function
from pyspark.ml.linalg import
浏览 1提问于2017-03-08得票数 0
回答已采纳
2回答
我试图将PCA应用于包含头和字段的数据集，这里是我使用的代码，任何帮助都可以选择我们应用PCA的特定列。
val inputMatrix = sc.textFile("C:/Users/mhattabi/Desktop/Realase of 01_06_2017/TopDrive_WithoutConstant.csv").map { line =>
val values = line.split(",").map(_.toDouble)
Vectors.dense(values)
}
val mat: RowMatrix = new RowMa
浏览 3提问于2017-06-01得票数 0
回答已采纳
1回答
我想看看PCA如何处理我的数据。
我将PCA应用于训练集，并使用返回的pca对象对测试集进行转换。pca对象有一个变量pca.explained_variance_ratio_，它告诉我训练集的每个选定组件所解释的方差百分比。在应用pca变换之后，我想看看这在测试集上的效果如何。我尝试了返回原始值的inverse_transform()，但是我无法比较它在火车集和测试集上的工作方式。
pca = PCA(0.99)
pca.fit(train_df)
tranformed_test = pca.transform(test_df)
inverse_test = pca.inverse_tr
浏览 0提问于2019-08-14得票数 3
回答已采纳
我正在使用spark mllib训练朴素贝叶斯分类器模型，在那里我创建了一个管道来索引我的字符串特征，然后归一化并应用PCA进行降维，之后我训练我的朴素贝叶斯模型。当我运行管道时，我在PCA组件vector.On谷歌中得到负值。我发现我必须应用非负矩阵分解( NMF )来获得正向量，并且我发现ALS将使用方法.setnonnegative(true)实现NMF，但是我不知道如何在PCA之后将ALS集成到我的管道中。感谢您的帮助。谢谢。
以下是代码
import org.apache.spark.SparkConf;
import org.apache.spark.SparkContext;
i
浏览 2提问于2017-07-31得票数 0
据我所知，pyspark提供的PCA API如下：
from pyspark.ml.feature import PCA
pca = PCA(k=3, inputCol="features", outputCol="pcaFeatures")
model = pca.fit(data_frame)
然而，在现实中，我发现解释方差比是更广泛的使用。例如，在滑雪中：
from sklearn.decomposition import PCA
pca_fitter = PCA(n_components=0.85)
有人知道如何在火花放电中实现解释的方差比吗？谢谢!
浏览 2提问于2018-01-09得票数 4
回答已采纳
1回答
我正试图在火花毫升库中散布由主成分分析产生的两个特征。更确切地说，我正试图将结果转化为这样的东西：
_________
id | X | Y
__________
1 |0.1|0.1
2 |0.2|0.2
3 |0.4|0.4
4 |0.3|0.3
...
from something like this
_________
id | pca
__________
1 |[0.1,0.1]
2 |[0.2,0.2]
3 |[0.4,0.4]
4 |[0.3,0.3]
...
但似乎火花矢量是不可迭代的或类似的东西。我不明白怎么回事。如果有人知道答案的话
import or
浏览 5提问于2022-06-07得票数 0
我使用VectorAssembler库创建了一个spark，这是一个示例，输出如下：
| features|
--------------------
|(2446,[2,3,4,9,12...|
|(2446,[2,4,9,12,5...|
|(2446,[335,338,34...|
|(2446,[172,208,22...|
|(2446,[2,3,4,9,53...|
--------------------
数据框架并不大(538045，1)，我可以在Python上的标准Mac上运行它。
然后我适用常设仲裁法院：
from pyspark.ml.fea
浏览 12提问于2022-03-22得票数 0
回答已采纳
1回答
如何在进行PCA时保留标签？我看了两个教程，他们把这个完全抛在脑后：
这是我的代码：
combinedOutputDataFrame = pd.DataFrame(resultArray)
# Separating out the features
x = combinedOutputDataFrame.loc[:, 0:31].values
# Separating out the target
y = combinedOutputDataFrame.loc[:,[32]].values
from sklearn.decomposition import PCA
pca = PCA(n_
浏览 1提问于2020-03-25得票数 0
回答已采纳
1回答
我正在寻找一种方法来运行spark.ml.feature.PCA函数，该函数是在数据访问上的groupBy()调用返回的分组数据上运行的。但我不确定这是否可能，也不知道如何实现。这是一个基本的例子，希望能说明我想做什么：
from pyspark.ml.feature import VectorAssembler
from pyspark.ml.feature import PCA
df = spark.createDataFrame([[3, 1, 1], [4, 2, 1], [5, 2, 1], [3, 3, 2], [6, 2, 2], [4, 4, 2]], ["Va
浏览 6提问于2017-07-21得票数 10
在对一堆栅格( &在2014年光栅包文档中)进行PCA之后，我想回顾一下我的特征值、特征向量和加载。
典型的princomp调用返回屏幕图、变化比例、累积比例--汇总()、print()、hist() --似乎没有从我的RasterBrick输出中提取信息。下面是示例代码：
#bring in rasterBrick
logo <- brick(system.file("external/rlogo.grd", package="raster"))
#select random samples & do PCA
sr <- samp
浏览 2提问于2014-10-15得票数 0
回答已采纳
1回答
核主成分分析与结肠癌数据的分类
、、、、
我需要对数据集执行内核PCA：
然后
我需要用PCA数据绘制主成分数与分类精度之间的关系。
对于第一部分，我在R中使用，如下所示(让特性的数量为2，然后我将改变它，比如2-100)
kpc <- kpca(~.,data=data[,-1],kernel="rbfdot",kpar=list(sigma=0.2),features=2)
我很难理解如何使用PCA数据进行分类(我可以使用任何分类器进行支持向量机)
编辑:我的问题是如何将PCA的输出输入到分类器中
数据看起来如下(已清理的数据)
未清理的原始数据如下所示
浏览 1提问于2015-03-19得票数 2
回答已采纳
我正在使用(pyspark) mllib (Spark 2.2.0)中的奇异值分解和主成分分析函数，如以下链接所述：
假设我们得到了以下数据对象：
[(2, 2), (3, 1), (2, 2), (1, 3), (1.0, 1.0), (3.0, 3.0)]
应用computeSVD()函数会产生以下结果：
对于U：[DenseVector([-0.3922, -0.0]), DenseVector([-0.3922, -0.7071]), DenseVector([-0.3922, -0.0]), DenseVector([-0.3922, 0.7071]), DenseVector([-
浏览 1提问于2019-05-07得票数 2
1回答
我希望将要在dataframe中选择的列作为参数传递，因为我每次执行此操作时都会更改。它实际上是有效的
object PCA extends App{
val spark = SparkSession.builder.master("local").appName("my-spark-app").getOrCreate()
val strPath="C:/Users/mhattabi/Desktop/testBis2.txt"
val intial_Data=spark.read.option("header",true).cs
浏览 2提问于2017-01-11得票数 1
我尝试在Bluemix Spark服务中执行我的scala代码，一旦我可以运行它并从我的本地虚拟机获得正确的结果。当我在Bluemix Spark中运行它时，我在notebook中得不到任何响应。
import org.apache.spark.mllib.linalg.{Vector, Vectors}
import org.apache.spark.mllib.linalg.distributed.RowMatrix
import org.apache.spark.mllib.linalg.Matrix
val input = sc.textFile("swift://notebo
浏览 2提问于2015-12-03得票数 0
我试图用PCA计算一个指数。我使用‘mtcar’作为我的数据集。这是我的密码：
pca_mt<- prcomp(mtcars[,c(1:7,10,11)], center = TRUE,scale. = TRUE)
我如何获得每个变量的权重，以求它们之和以计算索引？如果有人能解释一下pca_mt$rotation，pca_mt$x是什么，我很感激。
浏览 7提问于2021-12-09得票数 1
回答已采纳
我使用这个简单的代码在一个有10个特征的数据帧上运行PCA：
pca = PCA()
fit = pca.fit(dfPca)
pca.explained_variance_ratio_的结果显示：
array([ 5.01173322e-01, 2.98421951e-01, 1.00968655e-01,
4.28813755e-02, 2.46887288e-02, 1.40976609e-02,
1.24905823e-02, 3.43255532e-03, 1.84516942e-03,
4.503141
浏览 1提问于2017-11-19得票数 25
回答已采纳
1回答
我想进行PCA，以减少总共14个项目的数量。在获得主成分之后，我将使用这些成分作为逻辑回归中的自变量。 这14个项目属于两个结构:资源(5项)和文化(9项)。 我的问题是，我是应该对所有14个项目进行一个PCA，还是对每两个结构进行两个不同的PCA并获取组件。最后，我希望能够在逻辑回归输出中分别解释两个不同的结构(资源和文化)。 提前谢谢你。
浏览 11提问于2020-07-24得票数 0
1回答
我有一个问题，我想要应用PCA的不同数量的组件到同一个数据集。
我假设可以创建一个具有不同组件大小的PCA对象数组，然后在数据上使用它们。
但是，当我试图运行下面的代码时，我得到了一个错误。
pca_sizes = np.array([10,50,100,250,500])
samples = np.shape(pca_sizes)
for i in range(len(pca_sizes)):
pca_comp[i] = PCA(n_components = pca_sizes[i])
我得到以下错误
TypeError
浏览 4提问于2022-06-27得票数 0
我使用主成分分析将一个Nx3数组简化为一个Nx2数组。这主要是因为主成分分析变换(Nx2矩阵)对于在原始Nx3阵列上执行的旋转或平移是不变的。让我们以下面的例子为例。 import numpy as np
from sklearn.decomposition import PCA
a = np.array([[0.5 , 0.5 , 0.5 ],
[0.332, 0.456, 0.751],
[0.224, 0.349, 0.349],
[0.112, 0.314, 0.427]])
pca = PCA
浏览 41提问于2021-04-22得票数 2
回答已采纳
1回答
进行PCA前后数据的维数
、、、
我正在尝试使用Python和scikit-学习。
从培训数据中删除标签后，我将CSV中的每一行添加到如下列表中：
for row in csv:
train_data.append(np.array(np.int64(row)))
我对测试数据也是这样。
我使用PCA对这些数据进行预处理，以便进行降维(以及特征提取？)：
def preprocess(train_data, test_data, pca_components=100):
# convert to matrix
train_data = np.mat(train_data)
# reduce b
浏览 3提问于2013-11-15得票数 6
1回答
如何比较PCA和NMF的预测能力
、、、、
我想比较一种算法的输出与不同的预处理数据: NMF和PCA。为了得到一个可比较的结果，而不是为每个PCA和NMF选择相同数量的分量，我想选择的数量解释了95%的保留方差。
我想知道是否有可能识别NMF的每个组成部分中所保留的方差。
例如，使用PCA，这将由：retainedVariance(i) = eigenvalue(i) / sum(eigenvalue)给出。
有什么想法吗？
浏览 3提问于2018-01-08得票数 15
当我运行以下代码行时
>model_pca <- tbl(sc, "flights") %>% select(air_time,distance,dep_time) %>%
ml_pca()
结果导致阶段失败，但我不能理解原因
org.apache.spark.SparkException: Failed to execute user defined function($anonfun$3: (struct<air_time:double,distance:double,dep_time_double_vector_assembler_
浏览 0提问于2018-03-08得票数 0
我知道主成分分析可以使用base R中的prcomp()函数，或者caret包中的preProcess()函数，等等。 首先，如果我们只对prcomp(<SOME_MATRIX>)或preProcess(<SOME_MATRIX>, method = "pca")类型的操作使用默认设置，那么我们结果中唯一的区别就是prcomp()在执行PCA之前不会对数据进行居中和缩放，而preProcess()会这样做。因此，prcomp(scale(<SOME_MATRIX>))和preProcess(<SOME_MATRIX>, meth
浏览 21提问于2020-06-17得票数 0
回答已采纳
1回答
因此，我有一个由700个文本组成的数据集，这些文本按难度级别进行标注。每个文本有150个特征：
feature_names = ['F1','F2','F3'...] shape (1, 150)
features_x = ['0.1','0,765', '0.543'...] shape (700, 150)
correct_answers_y = ['1','2','4'...] shape (1,700)
我想使用PCA找
浏览 0提问于2018-02-13得票数 2
我使用prcomp在r中运行PCA。当我输出汇总时，即标准差、方差比例、累积比例，结果总是排序的，实际的列名被PC1，PC2替换。因此，我不能说出每一列的确切方差比例。 有没有人可以向我展示或者给我一些提示，告诉我在输出汇总结果时如何显示列。这里附了两张结果图： ? ?
浏览 36提问于2019-10-15得票数 0
我一直在使用scikit-learn中的普通PCA，并获得每个主成分的方差比，没有任何问题。
pca = sklearn.decomposition.PCA(n_components=3)
pca_transform = pca.fit_transform(feature_vec)
var_values = pca.explained_variance_ratio_
我想使用内核PCA探索不同的内核，也想要解释的方差比，但我现在发现它没有这个属性。有人知道如何获取这些值吗？
kpca = sklearn.decomposition.KernelPCA(kernel=kernel, n_comp
浏览 3提问于2015-04-14得票数 24
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
