如何在Scala/Spark中打印RowMatrix？
在Scala/Spark中打印RowMatrix可以使用以下步骤：
- 导入必要的Spark相关库和类：
import org.apache.spark.mllib.linalg.distributed.RowMatrix
import org.apache.spark.sql.SparkSession- 创建一个SparkSession对象：
val spark = SparkSession.builder()
.appName("Print RowMatrix")
.master("local")
.getOrCreate()- 创建一个RowMatrix对象：
val rows = Seq(
Vectors.dense(1.0, 2.0, 3.0),
Vectors.dense(4.0, 5.0, 6.0),
Vectors.dense(7.0, 8.0, 9.0)
)
val rdd = spark.sparkContext.parallelize(rows)
val rowMatrix = new RowMatrix(rdd)- 使用RowMatrix的rows属性获取行向量RDD，并使用collect()方法将其转换为数组：
val rowArray = rowMatrix.rows.collect()- 打印RowMatrix的行向量：
rowArray.foreach(row => println(row))完整的示例代码如下：
import org.apache.spark.mllib.linalg.Vectors
import org.apache.spark.mllib.linalg.distributed.RowMatrix
import org.apache.spark.sql.SparkSession
object PrintRowMatrix {
def main(args: Array[String]): Unit = {
val spark = SparkSession.builder()
.appName("Print RowMatrix")
.master("local")
.getOrCreate()
val rows = Seq(
Vectors.dense(1.0, 2.0, 3.0),
Vectors.dense(4.0, 5.0, 6.0),
Vectors.dense(7.0, 8.0, 9.0)
)
val rdd = spark.sparkContext.parallelize(rows)
val rowMatrix = new RowMatrix(rdd)
val rowArray = rowMatrix.rows.collect()
rowArray.foreach(row => println(row))
}
}这样就可以在Scala/Spark中打印RowMatrix的行向量了。请注意，这只是一个简单的示例，实际应用中可能需要根据具体需求进行适当的调整和扩展。
相关·内容
16/01/13 15:34:07 INFO DAGScheduler: Job 3 finished: first at RowMatrix.scala:65, took 0.013421 s
Exception in thread "main" java.lang.IllegalArgumentException: Argument with more than 65535 cols: 262144
at org.apache.spark.mllib.linalg.distributed.RowMatrix.checkNumColumns(RowMatrix.sca
浏览 0提问于2016-01-13得票数 0
我正尝试在一个有2168列和大量行的RowMatrix上执行Scala(使用Scala)。然而，我观察到，即使矩阵中只有2行(一个112KB的文本文件)，在相同的作业步骤中也总是会产生以下错误：
Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
at breeze.linalg.svd$.breeze$linalg$svd$$doSVD_Double(svd.scala:92)
at breeze.linalg.svd$Svd_DM_Impl$.app
浏览 0提问于2015-04-17得票数 2
1回答
当我试图用下面的代码编写我的矩阵时，我会得到代码下面定义的不匹配错误。我希望能够将它打印到csv文件中，因为在控制台上很难观察到这么大的矩阵。所以我的问题是: 1-如何修复这个错误? 2-如何将"correlMatrix“打印到csv文件中？(我尝试了多种方法，但错误发生了)你的帮助是非常感谢的！
import org.apache.spark.mllib.linalg._
import org.apache.spark.mllib.stat.Statistics
import org.apache.spark.rdd.RDD
import scala.io.Source
import
浏览 1提问于2018-03-24得票数 0
回答已采纳
我有一个很大的数据文件(大约4 GB)，我在一台pc上使用spark分析它。
scala> x
res29: org.apache.spark.mllib.linalg.distributed.RowMatrix = org.apache.spark.mllib.linalg.distributed.RowMatrix@5a86096a
scala> x.numRows
res27: Long = 302529
scala> x.numCols
res28: Long = 1828
当我尝试计算主成分时，我得到一个内存错误：
scala> val pc: Matri
浏览 3提问于2015-03-30得票数 1
1回答
我正在尝试运行来自的示例pyspark PCA代码
我在DataFrame上加载了5,000,000条记录，23,000个特征。运行PCA代码后，我得到了以下错误
Py4JJavaError: An error occurred while calling o908.fit.
: java.lang.OutOfMemoryError
at java.io.ByteArrayOutputStream.hugeCapacity(ByteArrayOutputStream.java:123)
at java.io.ByteArrayOutputStream.grow(ByteArra
浏览 0提问于2018-05-24得票数 1
我在一次游戏中运行ApacheSpark1.0.1有问题！应用程序。目前，我正试图在游戏中运行星火！应用和使用一些基本的机器学习在星火中。
这是我的应用程序创建：
def sparkFactory: SparkContext = {
val logFile = "public/README.md" // Should be some file on your system
val driverHost = "localhost"
val conf = new SparkConf(false) // skip loading exter
浏览 6提问于2014-07-20得票数 3
回答已采纳
1回答
我正在纠结于一些非常基本的spark代码。我想定义一个有2列的矩阵x。这是我尝试过的：
scala> val s = breeze.linalg.linspace(-3,3,5)
s: breeze.linalg.DenseVector[Double] = DenseVector(-3.0, -1.5, 0.0, 1.5, 3.0) // in this case I want s to be both column 1 and column 2 of x
scala> val ss = s.toArray ++ s.toArray
ss: Array[Double] = Arr
浏览 2提问于2015-02-06得票数 1
1回答
我有rowMatrix xw
scala> xw
res109: org.apache.spark.mllib.linalg.distributed.RowMatrix = org.apache.spark.mllib.linalg.distributed.RowMatrix@8e74950
我想对它的每一个元素应用一个函数：
f(x)=exp(-x*x)
矩阵元素的类型可以可视化为：
scala> xw.rows.first
res110: org.apache.spark.mllib.linalg.Vector = [0.008930720313311474,0.017169
浏览 8提问于2015-02-10得票数 2
回答已采纳
在我的一个项目中，我需要计算文档相似性，我使用的是spark。
我首先使用mllib的transform将文档转换为向量，然后将其转换为RowMatrix并使用columnSimilarities()方法。
我参考了文档，并使用实现来实现余弦相似性。
在shell中，这是执行scala代码：
import org.apache.spark.rdd.RDD
import org.apache.spark.SparkContext
import org.apache.spark.mllib.feature.HashingTF
import org.apache.spark.mllib.linalg
浏览 3提问于2016-03-28得票数 2
回答已采纳
我需要parallelize我的数据集，但是，当我试图使用重新分区的数据实例化一个RowMatrix时，会发生type mismatch错误。
下面是读取和重新分区数据的代码：
val data = sc.textFile("data.txt.gz").flatMap(r => r.split(' ') match {
case Array(doc, word, count) => Some((doc.toInt, (word.toInt - 1, count.toDouble)))
case _ => None
}).groupByK
浏览 3提问于2017-04-20得票数 0
回答已采纳
1回答
如何在Scala中查看/打印到屏幕上的小RowMatrix？
val A = new RowMatrix(sparkContext.parallelize(Seq(
Vectors.dense(1, 2, 3),
Vectors.dense(4, 5, 6))))
浏览 16提问于2018-02-26得票数 1
我有这样一个RDD：byUserHour: org.apache.spark.rdd.RDD[(String, String, Int)]，我想创建一个稀疏的数据矩阵，用于像中位数、平均值等的计算。我有两个数组，包含用于查找的row_id和column_id字符串。
以下是我的尝试：
import breeze.linalg._
val builder = new CSCMatrix.Builder[Int](rows=BCnUsers.value.toInt,cols=broadcastTimes.value.size)
byUserHour.foreach{x =>
val ro
浏览 0提问于2014-06-10得票数 4
回答已采纳
我有一个Scala Spark DataFrame (变量df)： id, values
"a", [0.5, 0.6]
"b", [0.1, 0.2]
... 我正在尝试利用RowMatrix高效地计算成对余弦相似度。 final case class dataRow(id: String, values: Array[Double])
val rows = df.as[dataRow].map {
row => {
Vectors.dense(row.values)
}
}.rdd 我遇到了以下编译错误 Unable t
浏览 20提问于2019-02-12得票数 0
我尝试在Bluemix Spark服务中执行我的scala代码，一旦我可以运行它并从我的本地虚拟机获得正确的结果。当我在Bluemix Spark中运行它时，我在notebook中得不到任何响应。
import org.apache.spark.mllib.linalg.{Vector, Vectors}
import org.apache.spark.mllib.linalg.distributed.RowMatrix
import org.apache.spark.mllib.linalg.Matrix
val input = sc.textFile("swift://notebo
浏览 2提问于2015-12-03得票数 0
当我运行以下代码行时
>model_pca <- tbl(sc, "flights") %>% select(air_time,distance,dep_time) %>%
ml_pca()
结果导致阶段失败，但我不能理解原因
org.apache.spark.SparkException: Failed to execute user defined function($anonfun$3: (struct<air_time:double,distance:double,dep_time_double_vector_assembler_
浏览 0提问于2018-03-08得票数 0
我正在尝试使用sbt包和sbt run运行以下代码。我收到一个运行时错误，这对我来说没有任何意义。这段代码在spark-shell上运行得很好。执行computeSVD行时出现错误。如果这一行被注释掉，程序就能正常工作。我在MLlib库的其他应用程序接口中也看到过类似的问题。如果有人能提供对这个问题的见解，那就太好了。
代码：
package com.sracr.test
import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.mllib.linalg.Matrix
import org.apache
浏览 4提问于2017-07-07得票数 0
我使用的是Apache-Spark和Scala的MLlib。我需要转换一组向量
import org.apache.spark.mllib.linalg.{Vector, Vectors}
import org.apache.spark.mllib.regression.LabeledPoint
为了将MLLib的算法应用到LabeledPoint中
每个向量由两个值0.0 (假)或1.0 (真)组成。所有向量都保存在RDD中，因此最终的RDD类型为
val data_tmp: org.apache.spark.rdd.RDD[org.apache.spark.mlli
浏览 0提问于2014-11-09得票数 6
我正在尝试在spark和scala中实现神经网络，但无法执行任何向量或矩阵乘法。Spark提供了两个向量。Spark.util向量支持点运算，但已弃用。mllib.linalg向量不支持scala中的操作。
使用哪一个来存储权重和训练数据？
如何使用mllib在spark scala中执行向量乘法，如w*x，其中w是向量或权重矩阵，x是输入。pyspark向量支持点积，但在scala中我无法在向量中找到这样的函数
浏览 0提问于2016-01-20得票数 8
1回答
我有一个RDD[MatrixDouble]，想把它转换成RDDVector。 我已经看过像Convert Matrix to RowMatrix in Apache Spark using Scala这样的相关答案，但它是向量的RDD的一个矩阵。而我的案例是矩阵的RDD。
浏览 41提问于2021-10-12得票数 1
回答已采纳
2回答
分布式互相关矩阵计算
、、、、
如何计算大型(>10TB)数据集的皮尔逊互相关矩阵，可能是分布式的？任何有效的分布式算法建议都将受到赞赏。
更新:我阅读了apache spark mlib关联的实现
Pearson Computaation:
/home/d066537/codespark/spark/mllib/src/main/scala/org/apache/spark/mllib/stat/correlation/Correlation.scala
Covariance Computation:
/home/d066537/codespark/spark/mllib/src/main/scala/org/apa
浏览 20提问于2017-02-18得票数 9
我有以下Scala星火DataFrame df of (String, Array[Double])：注意，id是String类型( base64哈希)
id, values
"a", [0.5, 0.6]
"b", [0.1, 0.2]
...
数据集相当大(45k)，为了提高性能，我希望使用org.apache.spark.mllib.linalg.distributed.RowMatrix执行一对余弦相似性。这是可行的，但由于索引已经变成整数(输出列i和j)，所以我无法识别成成对的相似之处。如何使用IndexedRowMatrix保存原始索引？
val r
浏览 0提问于2019-02-12得票数 1
我在Scala中有这样的代码：
val mat: CoordinateMatrix = new CoordinateMatrix(data)
val rowMatrix: RowMatrix = mat.toRowMatrix()
val svd: SingularValueDecomposition[RowMatrix, Matrix] = rowMatrix.computeSVD(100, computeU = true)
val U: RowMatrix = svd.U // The U factor is a RowMatrix.
val S: Vector = svd.s //
浏览 3提问于2015-04-29得票数 4
回答已采纳
2回答
我还有一个关于CosineSimilarity / ColumnSimilarities在Spark2.1的第二个问题。我对scala和所有的星火环境都很陌生，这一点对我来说还不太清楚：
如何从星星之火中的ColumnSimilarities中的每个列组合中获得rowMatrix。以下是我尝试过的：
数据：
import org.apache.spark.sql.{SQLContext, Row, DataFrame}
import org.apache.spark.sql.types.{StructType, StructField, StringType, IntegerType, Dou
浏览 4提问于2017-02-25得票数 2
回答已采纳
我在互联网上找遍了，却找不到如何简单地将spark中的数据帧转换成矩阵，这样我就可以对其进行矩阵运算。
我如何在Spark 2中简单地实现这一点？
浏览 0提问于2017-02-18得票数 2
我对scala还不熟悉，对文档还有点纠结。我查看了spark代码库中的一段代码(RowMatrix的余弦相似性)，并看到它们使用Iterator.tabulate。不知道这个函数是什么，我在中查看了它，结果发现这个函数不存在。除了它确实存在，因为我可以在repl中使用它(嗯，也许我看错了API文档版本.不，这是目前的版本)。
经过一些搜索，我发现tabulate是在scala.collection.generic.SeqFactory和scala.collection.generic.TraversableFactory中定义的(至少)。然而，这两者在依赖关系图中似乎没有连接。我在这两者之间找
浏览 24提问于2016-05-02得票数 0
回答已采纳
RowMatrix mat = new RowMatrix(parsedData.rdd());
Matrix pc = mat.computePrincipalComponents(1);
RowMatrix projected = mat.multiply(pc);
我需要使用java打印RowMatrix投影中的元素。
浏览 3提问于2016-02-17得票数 2
回答已采纳
正如标题所述，我有一个向量序列(在DataFrame列中，但可以使用.collect()将其转换为RDD或序列)。我想把这些矢量收集到一个本地SparseMatrix中。为了与Spark1.6.3兼容，我需要它成为的mllib版本。
作为SparseVectors的序列收集，我得到
val seq_of_vectors = df_with_vectors.select("sparse").map(_.getAs[SparseVector](0)).collect()
seq_of_vectors: Array[org.apache.spark.mllib.linalg.Spar
浏览 0提问于2018-09-10得票数 0
回答已采纳
在Spark中，我创建了一个CoordinateMatrix：
import org.apache.spark.mllib.linalg.distributed.{
CoordinateMatrix, MatrixEntry}
val entries = sc.parallelize(Seq(
Array(0, 1, 1), Array(0, 2, 2), Array(0, 3, 3),
Array(0, 4, 4), Array(1, 2, 5), Array(1, 3, 6),
Array(1, 4, 7), Array(2, 3, 8), Array(2, 4, 9),
浏览 2提问于2015-12-24得票数 2
回答已采纳
有没有办法在Apache Spark中创建一个空的RowMatrix。我尝试过以下几种方法
double[] empty = new double[0];
Vector vector = Vectors.dense(empty);
但是我不能从向量创建向量的JavaRDD，所以我可以从它创建RowMatrix。
提前谢谢。
浏览 4提问于2015-09-25得票数 0
1回答
我需要将每个矩阵元素(i，j)除以对角线元素(i，i)和(j，j)乘积的平方。
换句话说，对于所有的i、和j，我需要执行：
mat(i, j) = mat(i, j)/sqrt(mat(i,i)*mat(j,j))
因此矩阵：
4 0 12
0 1 1
12 0 9
变成：
1 0 2
0 1 1
2 0 1
到目前为止，我拥有的是行/列索引对的列表，其中包含一个权重，并将其转换为CoordinateMatrix (以及后来的RowMatrix)。我通过过滤行==列中的元素来提取对
浏览 1提问于2017-03-17得票数 1
回答已采纳
我试图从RowMatrix的RDD中创建一个SparseVectors，但得到了以下错误：
<console>:37: error: type mismatch;
found : dataRows.type (with underlying type org.apache.spark.rdd.RDD[org.apache.spark.mllib.linalg.SparseVector])
required: org.apache.spark.rdd.RDD[org.apache.spark.mllib.linalg.Vector]
Note: org.apache.spar
浏览 6提问于2016-02-06得票数 1
回答已采纳
我是初学者，如果我哪里出了问题，请纠正我。
我有一个一百万乘以一百万的方阵。我想在pyspark中找到它的特征向量。我知道computeSVD给了我特征向量，但这些是通过奇异值分解得到的，结果是一个密集的矩阵，这是一个本地数据结构。我想要scipy.linalg.eig给出的结果。
我看到java中有一个使用ARPACK的函数EigenValueDecomposition，spark的scala api。它会给出与scipy中的eig相同的特征向量吗？如果是，有什么方法可以在pyspark中使用它吗？或者，对于同样的问题，是否有其他解决方案。我可以以某种方式直接在我的代码中使用ARPACK吗?
浏览 0提问于2017-09-21得票数 2
1回答
我是一个新手，这里是下面的例子，我正在尝试复制。
val A = DenseMatrix((1.0, 1.0, 1.0), (4.0, 2.0, 1.0), (16.0, 4.0, 1.0))
val QR(_Q, _R) = qr(A)
我在scala中的实现是：
object qr_factorization {
def qr_factor(A: RowMatrix,nrows: Int, ncols: Int):(Any, Any) = {
val rows = A.rows.map(_.toArray).collect().flatten
val d
浏览 2提问于2014-12-30得票数 1
1回答
我要重建(逼近)在奇异值分解中的原始矩阵。有没有办法做到这一点而不必将V factor本地Matrix转换为DenseMatrix？
下面是基于的分解(注意，注释来自于文档示例)
import org.apache.spark.mllib.linalg.Matrix
import org.apache.spark.mllib.linalg.SingularValueDecomposition
import org.apache.spark.mllib.linalg.Vector
import org.apache.spark.mllib.linalg.distributed.RowMatrix
浏览 0提问于2016-11-26得票数 3
1回答
我有包含id的文件，特征.id是int，特征是双重的，我想应用主成分分析算法来减少维数。
val lData = sqlContext.read.parquet("/usr/local/spark/dataset/model/data/user")
val vecData = lData.rdd.map(s => Vectors.dense(s.getInt(0),s.getDouble(1))).cache()
val mat = new RowMatrix(vecData)
val pc = mat.computePrincipalCompon
浏览 3提问于2019-12-25得票数 0
回答已采纳
3回答
带点火花的列名
、、、、
我正在尝试从DataFrame中获取列，并将其转换为RDD[Vector]。
问题是，我有一些列的名称中有一个“点”，如下面的数据集：
"col0.1","col1.2","col2.3","col3.4"
1,2,3,4
10,12,15,3
1,12,10,5
这就是我要做的：
val df = spark.read.format("csv").options(Map("header" -> "true", "inferSchema" -> "
浏览 1提问于2017-06-05得票数 30
我正在尝试使用columnSimilarities()构建基于条目的协作过滤模型。在使用columnsSimilarities()之后，我希望将原始列名重新分配给scala中的结果。
运行用于计算数据帧上的columnSimilarities()的代码。
数据
// rdd
val rowsRdd: RDD[Row] = sc.parallelize(
Seq(
Row(2.0, 7.0, 1.0),
Row(3.5, 2.5, 0.0),
Row(7.0, 5.9, 0.0)
)
)
// Schema
val schema = new StructTy
浏览 0提问于2017-03-05得票数 2
回答已采纳
我正在尝试这段代码，这也是我在堆栈溢出中找到的代码。
from pyspark.mllib.linalg.distributed import RowMatrix
rows = sc.parallelize([(1, 2, 3), (4, 5, 6), (7, 8, 9), (10, 11, 12)])
# Convert to RowMatrix
mat = RowMatrix(rows)
# Calculate exact and approximate similarities
exact = mat.columnSimilarities()
approx = mat.columnS
浏览 2提问于2018-02-04得票数 0
回答已采纳
1回答
我正在尝试运行由Target创建的称为数据验证器的数据验证框架，以验证Azure databricks中一个parquet文件中的数据。
我已经创建了一个火花作业，它将使用数据验证器fat jar文件。
如果我给出一个参数--帮助，我可以获得关于如何使用数据验证器的帮助，但是当我传递--config test_config.yaml文件时，数据验证器找不到该文件。
OpenJDK 64-Bit Server VM warning: ignoring option MaxPermSize=512m; support was removed in 8.0
Warning: Ignoring non
浏览 3提问于2021-12-30得票数 1
我是Spark新手。我正在尝试读取CSV文件，并使用PySpark将其转换为RowMatrix。以下是我的数据格式：
1.,2.,3.,4.,5.
6.,3.,2.,1.,5.
10.,20.,40.,70.,1.
5.,3.,1.,2.,9.
我将此文件作为RDD读取的代码如下：
rows = sc.textFile('testmatrix.txt').map( lambda line: line.split(",").map(lambda values: float(values)))
我从Spark示例中了解到，在创建RowMatrix之前，我需要创
浏览 0提问于2017-09-15得票数 0
我有一个包含单个列的RowMatrix实例。我正在尝试将这个RowMatrix转换成一个数据格式，但我不太确定如何将org.apache.spark.rdd.RDD[org.apache.spark.mllib.linalg.Vector]转换成一个数据格式。
val mat: RowMatrix = new RowMatrix(centred)
val mat_rows = mat.rows // RDD[Vector]
我知道，如果我有两个(或更多)列，我可以使用下面的代码
val mat_rdd = mat_rows.map(_.toArray).map{case Array(p0, p
浏览 3提问于2017-05-05得票数 1
回答已采纳
我真的很想把我的org.apache.spark.mllib.linalg.Matrix转换成org.apache.spark.mllib.linalg.Matrix
我可以这样做：
val xx = X.computeGramianMatrix() //xx is type org.apache.spark.mllib.linalg.Matrix
val xxs = xx.toString()
val xxr = xxs.split("\n").map(row => row.replace(" "," ").replace("
浏览 8提问于2015-05-11得票数 5
回答已采纳
我是斯帕克和斯卡拉的新手，我正试着阅读它关于MLlib的文档。
关于的教程，
import org.apache.spark.mllib.linalg.Vector
import org.apache.spark.mllib.linalg.distributed.RowMatrix
val rows: RDD[Vector] = ... // an RDD of local vectors
// Create a RowMatrix from an RDD[Vector].
val mat: RowMatrix = new RowMatrix(rows)
// Get its size.
浏览 3提问于2015-10-05得票数 5
回答已采纳
我通过这个文件树从一个项目创建了一个jar包：
build.sbt
src/main
src/main/scala
src/main/scala/Tester.scala
src/main/scala/main.scala
其中，Tester是一个函数的类(名称是print())，main有一个要运行的对象，它打印"Hi!“(来自spark文档) sbt成功创建了一个jar文件，并且在spark-submit中工作良好
现在我想把它添加到spark-shell中，并使用Tester类作为一个类来创建对象和...我将jar文件添加到spark-default.conf中，但是：
scal
浏览 12提问于2016-10-26得票数 36
回答已采纳
2回答
Spark 2.4是否有支持基本线性代数运算的Vector和Matrix类，如点积、范数、矩阵和向量乘法？我在向量、DenseVector或RowMatrix这样的类中找不到任何线性代数支持。 老版本的Spark有org.jblas.DoubleMatrix，但在Spark 2.4中不存在，我也找不到他们用什么取代了它。 我在哪里可以找到spark 2.4中线性代数的例子？ 我不需要RDDs来满足我当前的需要(余弦相似性)。
浏览 57提问于2019-02-04得票数 3
1回答
在某些文本挖掘之后，我试图进行一次k均值聚类，但是我找不到如何在ParseWikipedia.termDocumentMatrix方法所需的数据集中转换kmean.fit的结果
scala> val (termDocMatrix, termIds, docIds, idfs) = ParseWikipedia.termDocumentMatrix(lemmas, stopWords, numTerms, sc)
scala> val kmeans = new KMeans().setK(5).setMaxIter(200).setSeed(1L)
scala> termDoc
浏览 3提问于2018-01-05得票数 1
回答已采纳
1回答
我使用spark任务来计算文本文档之间的相似度：
RowMatrix rowMatrix = new RowMatrix(vectorsRDD.rdd());
CoordinateMatrix rowsimilarity=rowMatrix.columnSimilarities(0.5);
JavaRDD<MatrixEntry> entries = rowsimilarity.entries().toJavaRDD();
List<MatrixEntry> list = entries.collect();
for(MatrixEntry s : l
浏览 6提问于2017-07-27得票数 4
1回答
在Spark中，有一个RowMatrix.columnSimilarities()方法(参见http://spark.apache.org/docs/latest/api/java/org/apache/spark/mllib/linalg/distributed/RowMatrix.html#columnSimilarities()，返回“该矩阵列之间余弦相似性的n×n稀疏上三角矩阵”)。
我该怎么读？如果我尝试实现来自https://stackoverflow.com/a/1750187的一个示例，如下所示：
JavaRDD<Vector> rows = sc.parallel
浏览 0提问于2016-06-20得票数 2
1回答
火花余弦相似的二次和法
、、、
我有一个非常简单的代码来尝试余弦相似：
import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.mllib.linalg.distributed.{MatrixEntry, CoordinateMatrix, RowMatrix}
val rows= Array(((1,2,3,4,5),(1,2,3,4,5),(1,2,4,5,8),(3,4,1,2,7),(7,7,7,7,7)))
val mat = new RowMatrix(rows)
val simsPerfect = mat.col
浏览 6提问于2015-12-06得票数 2
回答已采纳
我在一台机器上安装了火花，如下所示：
这是我现在的应用程序
/* SimpleApp.scala */
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf
import breeze.linalg.linspace
import org.apache.spark.mllib.linalg.Vector
import org.apache.spark.mllib.linalg.distributed.RowMatrix
im
浏览 13提问于2015-02-09得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
