Spark ML:平滑输入数据
Spark ML是Apache Spark的机器学习库，用于处理和分析大规模数据集。它提供了一套丰富的机器学习算法和工具，可以用于数据预处理、特征提取、模型训练和评估等任务。
平滑输入数据是指对输入数据进行预处理，以减少数据中的噪声和不规则性，使得数据更加规整和易于处理。平滑输入数据可以提高机器学习模型的性能和准确性。
在Spark ML中，平滑输入数据可以通过使用不同的技术和算法来实现。常用的平滑技术包括移动平均、指数平滑和Loess平滑等。
移动平均是一种常见的平滑技术，它通过计算数据点周围一定窗口大小内的平均值来平滑数据。移动平均可以有效地去除数据中的噪声和突发性波动，使得数据更加平稳。
指数平滑是一种基于加权平均的平滑技术，它对数据进行加权平均处理，使得较新的数据点具有较大的权重，而较旧的数据点具有较小的权重。指数平滑可以有效地捕捉数据的趋势和周期性变化。
Loess平滑是一种非参数的局部回归平滑技术，它通过拟合局部的多项式回归模型来平滑数据。Loess平滑可以在保留数据整体趋势的同时，去除数据中的噪声和不规则性。
在Spark ML中，可以使用org.apache.spark.ml.feature包中的Smoothing类来实现平滑输入数据的功能。具体使用方法可以参考腾讯云的产品介绍链接地址：Spark ML平滑输入数据。
总结起来，平滑输入数据是指对数据进行预处理，去除噪声和不规则性，使得数据更加规整和易于处理。在Spark ML中，可以使用不同的平滑技术和算法来实现平滑输入数据的功能。
相关·内容
1回答
Spark ML:平滑输入数据
、、、、
通过使用Spark开发一个新的ML项目，我们希望首先平滑输入数据，以便有更少的噪音(然后更好的结果，因为我们可能用很少的数据进行训练)。 奇怪的是，我在Spark-ML中找不到平滑滤波器(像卡尔曼滤波器一样)。Spark-ML用户是自己开发的，还是不先过滤输入数据？有这样的实现吗？
浏览 22提问于2019-01-16得票数 0
1回答
我正在编写一个要应用于向量(spark.ml.linalg.Vector)类型的Spark数据帧列的UDAF。我依赖于spark.ml.linalg包，因此我不必在数据帧和RDD之间来回切换。
在UDAF中，我必须为输入、缓冲区和输出模式指定数据类型：
def inputSchema = new StructType().add("features", new VectorUDT())
def bufferSchema: StructType =
StructType(StructField("list_of_similarities", ArrayTy
浏览 1提问于2016-08-17得票数 8
回答已采纳
我是Spark ML的新手。我正在尝试使用Spark ML Pipeline来链接数据转换(将其视为ETL过程)。换句话说，我想输入一个DataFrame，执行一系列转换(每次向该数据帧添加一列)，并输出转换后的DataFrame。
我研究了Python中的Pipeline文档和代码，但我不知道如何将转换后的数据集从Pipeline中提取出来。请参见以下示例(从文档中复制并修改)：
from pyspark.ml import Pipeline
from pyspark.ml.feature import HashingTF, Tokenizer
# Prepare training doc
浏览 0提问于2018-04-11得票数 1
我是星火机器学习的新手(两天前)，我正在执行下面的代码，在Spark中，我试图预测一些值，我在Stackoverflow中看到了这个错误帖子，但是我无法用正确的解决方案修复我的代码，所以再次为同样的问题道歉
输入数据：
1.00,1.00,9.00
1.00,2.00,10.00
1.00,3.00,9.00
1.00,4.00,9.00
1.00,5.00,9.00
1.00,6.00,9.45
1.00,7.00,9.45
1.00,8.00,9.45
1.00,9.00,9.45
代码：
val df = spark.read.csv("/root/Predictiondata.
浏览 5提问于2017-06-14得票数 0
回答已采纳
我尝试使用结构内部的Vector作为spark mllib转换的输入列。像这样..。
import org.apache.spark.ml.linalg._
case class State(id: String, features: Vector)
val ds = Seq[(State,State)]().toDS
ds.printSchema()
root
|-- _1: struct (nullable = true)
| |-- id: string (nullable = true)
| |-- features: vector (nullable = true)
|
浏览 21提问于2019-07-16得票数 0
我使用Spark和Scala进行时间序列分析。我有一个来自Cassandra数据库的数据集，如下所示：
scala> train.printSchema
root
|-- timestamp: timestamp (nullable = true)
|-- vx: double (nullable = true)
|-- speed: double (nullable = true)
我尝试了线性回归，就像一样，只是为了看看它是如何工作的。
scala> val lr = new LinearRegression().
| setMaxIter(10).
| se
浏览 3提问于2017-08-05得票数 2
我一直在使用trainImplicit时看到这些警告
WARN TaskSetManager: Stage 246 contains a task of very large size (208 KB).
The maximum recommended task size is 100 KB.
然后任务大小开始增加。我试图在输入RDD上调用repartition，但是警告是相同的。
所有这些警告来自ALS迭代，来自flatMap，也来自聚合，例如，flatMap显示这些警告的阶段的起源(w/ Spark1.3.0，但它们也显示在Spark1.3.1中)：
org.apache.spark.rd
浏览 2提问于2015-04-22得票数 14
1回答
我的程序使用Spark.ML，我对数据帧使用逻辑回归。然而，我也想使用LogisticRegressionWithLBFGS，所以我想把我的数据帧转换成LabeledPoint。
下面的代码显示了一个错误
val model = new LogisticRegressionWithLBFGS().run(dff3.rdd.map(row=>LabeledPoint(row.getAs[Double]("label"),org.apache.spark.mllib.linalg.SparseVector.fromML(row.getAs[org.apache.spark.m
浏览 6提问于2017-08-25得票数 0
回答已采纳
2回答
将数据转化为密集矢量火花
、、、
实际上，我正在研究spark 2.0.2，我想知道，例如，基于Spark的逻辑回归，我想将数据的每一行放入一个向量中，然后输入到logistic回归中，您能帮助得到数据行导致的数据，使每一行进入密集向量.Thanks.Here，就像我所做的那样获得数据返回。
import org.apache.spark.ml.classification.LogisticRegression
import org.apache.spark.ml.linalg.{Vector, Vectors}
import org.apache.spark.ml.param.ParamMap
import org.apac
浏览 2提问于2017-01-02得票数 2
回答已采纳
我有一个数据帧，如下所示，称为training +------------------+------+
| features| MEDV|
+------------------+------+
| [6.575,4.98,15.3]|504000|
| [6.421,9.14,17.8]|453600|
| [7.185,4.03,17.8]|728700|
| [6.998,2.94,18.7]|701400| 我对此数据集运行线性回归 from pyspark.ml.regression import LinearRegression
lr=LinearRegres
浏览 16提问于2020-06-15得票数 0
回答已采纳
1回答
我想像下面的代码一样使用Spark的org.apache.spark.mllib.tree.DecisionTree，但是编译失败。
import org.apache.spark.ml.Pipeline
import org.apache.spark.ml.classification.DecisionTreeClassifier
import org.apache.spark.ml.classification.DecisionTreeClassificationModel
import org.apache.spark.ml.feature.{StringIndexer, IndexTo
浏览 4提问于2017-05-22得票数 0
我创建了自己的自定义转换器(将字符串添加到列值的简单模型)来测试Mleap序列化，但是在为Mleap和Spark序列化编写Op文件时，我不能指定转换器的名称。
我的reference.conf文件如下所示
my.domain.mleap.spark.ops = ["spark_side.CustomTransformerOp"]
// include the custom transformers ops we have defined to the default Spark registries
ml.combust.mleap.spark.registry.v20.op
浏览 4提问于2018-04-10得票数 1
1回答
我的spark dataframe (df)中有数据，它有24个特性，第25列是我的目标变量。我想在这个dl4j上拟合我的dataset模型，它以org.nd4j.linalg.api.ndarray.INDArray, org.nd4j.linalg.dataset.Dataset或org.nd4j.linalg.dataset.api.iterator.DataSetIterator的形式输入。如何将我的dataframe转换成所需的类型？
我还尝试使用管道方法直接将火花数据输入到模型中。但是dl4j火花-ml的sbt依赖不起作用。我的build.sbt文件是：
scalaVersion
浏览 0提问于2017-06-13得票数 1
回答已采纳
我正在尝试执行星火的countVectorizer模型。作为这个需求的一部分，我正在读取一个csv文件并从其中创建一个Dataframe (inp_DF)。
它有3列，如下所示
+--------------+--------+-------+
| State|Zip Code|Country|
+--------------+--------+-------+
| kentucky| 40205| us|
| indiana| 47305| us|
|greater london| sw15| gb|
| ca
浏览 1提问于2017-09-05得票数 0
回答已采纳
1回答
我正在尝试运行下面的示例代码。即使--尽管我已经缓存了数据，但我还是收到了“输入数据不是缓存的火花”警告。由于这个问题，我无法对大型数据集使用fp增长算法。
from pyspark.ml.fpm import FPGrowth
from pyspark.sql import SparkSession
"""
An example demonstrating FPGrowth.
Run with:
bin/spark-submit examples/src/main/python/ml/fpgrowth_example.py
"""
if _
浏览 2提问于2017-12-13得票数 1
1回答
很难获得星火对象的类型参数边界
、、、、
我是Scala的初学者。
我正在尝试创建一个对象，该对象接受ProbabilisticClassifier作为输入，并生成一个CrossValidator模型作为输出：
import org.apache.spark.ml.classification.{ProbabilisticClassifier, ProbabilisticClassificationModel}
import org.apache.spark.ml.evaluation.BinaryClassificationEvaluator
import org.apache.spark.ml.param.ParamMap
imp
浏览 0提问于2018-03-31得票数 1
回答已采纳
1回答
如何将DTO的列表转换为Spark输入数据集格式
我有DTO：
public class MachineLearningDTO implements Serializable {
private double label;
private double[] features;
public MachineLearningDTO() {
}
public MachineLearningDTO(double label, double[] features) {
this.label = label;
this.featu
浏览 5提问于2017-06-13得票数 0
回答已采纳
1回答
我正在尝试将成对的相关性(例如pearson)提取到火花数据中。我希望在进一步的查询和机器学习输入中使用表格式的成对合并。
下面是一个正在运行的示例：
数据：
import org.apache.spark.sql.{SQLContext, Row, DataFrame}
import org.apache.spark.sql.types.{StructType, StructField, StringType, IntegerType, DoubleType}
import org.apache.spark.sql.functions._
// rdd
val rowsRdd: R
浏览 1提问于2017-03-14得票数 0
回答已采纳
1回答
我正在阅读O‘’Reilly一书“手工机器学习与Scikit学习”，在“端到端机器学习”示例中，我们使用了一个住房数据集，其中我们使用了一些统计数据，比如toe关联来确定输入特性对输出的依赖程度，在Python中使用Pandas库，它就像这样：
corr_matrix = housing.corr()
然后，它做了以下工作：
corr_matrix["median_house_value].sort_values(ascending=False)
然后，它提供了median_house_value与所有其他输入特性的相关性的良好文本输出。现在，我尝试使用Scala中的Spark进行复
浏览 0提问于2021-11-30得票数 1
回答已采纳
1回答
在版本1.6中，管道api获得了一组新的特性来保存和加载管道阶段。在我训练了一个分类器之后，我尝试将一个阶段保存到磁盘上，然后再加载它以重用它，并节省计算的工作量，以重新建模。
由于某些原因，当我保存模型时，目录只包含元数据目录。当我再次加载它时，我会得到以下异常：
线程"main“中的异常: org.apache.spark.rdd.RDD$$anonfun$first$1.apply(RDD.scala:1330) at org.apache.spark.rdd.RDDOperationScope$.withScope(RDDOperationScope.scala:150) a
浏览 0提问于2016-01-11得票数 0
回答已采纳
2回答
我有一个scala.collection.immutable.Vector类型的向量，我想把它转换成org.apache.spark.ml.linalg.Vector类型的向量。
例如，我想要如下所示的内容；
import org.apache.spark.ml.linalg.Vectors
val scalaVec = Vector(1,2,3)
val sparkVec = Vectors.dense(scalaVec)
注意，我可以简单地输入val sparkVec = Vectors.dense(1,2,3)，但我想转换现有的scala集合向量。我想这样做是为了将这些DenseVect
浏览 13提问于2017-02-24得票数 2
回答已采纳
所有，我有下面的代码，在Spark1.6中工作。
import org.apache.spark.ml.feature.{ChiSqSelectorModel,QuantileDiscretizer,VectorAssembler,ChiSqSelector}
import org.apache.spark.sql.types.{StructType,StructField,IntegerType}
import org.apache.spark.storage.StorageLevel._
import org.apache.spark.ml.Pipeline
import org.apac
浏览 0提问于2017-03-24得票数 1
回答已采纳
下面的代码试图执行一个简单的操作，尝试从稀疏向量转换为密集向量。以下是我到目前为止所拥有的：
import org.apache.spark.ml.Pipeline
import org.apache.spark.ml.feature.{StringIndexer, OneHotEncoder}
import org.apache.spark.ml.feature.CountVectorizerModel
import org.apache.spark.mllib.linalg.Vector
import spark.implicits._
// Identify how many dist
浏览 3提问于2021-11-27得票数 1
回答已采纳
我已经写了“导入sqlContext.implicits._"；但是它仍然不能工作。它就在火花壳中。为什么在这种情况下是不正确的？我见过许多其他方法将rdd转换为数据帧，但我的大部分代码都是用toDF()编写的。怎样才能让toDF正常工作？错误： import org.apache.spark.ml.evaluation.RegressionEvaluator
import org.apache.spark.ml.recommendation.ALS
import org.apache.spark.ml.tuning.{ParamGridBuilder, CrossValidator
浏览 41提问于2019-01-31得票数 0
回答已采纳
1回答
我已经使用基于Spark RDD的API (mllib package) 1.5.2训练了机器学习模型，比如"Mymodel123"，
org.apache.spark.mllib.tree.model.RandomForestModel Mymodel123 = ....;
Mymodel123.save("sparkcontext","path");
现在我使用的是基于Spark Dataset的API (ml包) 2.2.0。有没有办法使用基于数据集的应用程序接口来加载模型(Mymodel123)？
org.apache.spark.ml.
浏览 8提问于2017-08-28得票数 0
回答已采纳
1回答
我是星火机器学习的新手，我想将多个列传递给功能，在下面的代码中，我只将日期列传递给功能，但现在我想将用户I和日期列传递给功能。我尝试使用向量，但它只支持双重数据类型，但在我的例子中，我有Int和String
如果有人提供任何建议/解决方案或任何代码示例来满足我的要求，我将非常感激。
代码：
case class LabeledDocument(Userid: Double, Date: String, label: Double)
val training = spark.read.option("inferSchema", true).csv("/root/Pre
浏览 1提问于2017-06-19得票数 1
回答已采纳
3回答
这是我第一次使用PySpark (Spark2)，我正在尝试为Logit模型创建一个玩具数据帧。我成功地运行了，并希望将我自己的数据传递给它。
我试过了：
%pyspark
import numpy as np
from pyspark.ml.linalg import Vectors, VectorUDT
from pyspark.mllib.regression import LabeledPoint
df = np.concatenate([np.random.randint(0,2, size=(1000)), np.random.randn(1000), 3*np.random.r
浏览 0提问于2017-07-13得票数 17
回答已采纳
1回答
我使用Spark ML库来解决使用逻辑回归的分类问题。 我已经将输入特征矢量化，并创建了训练数据集和测试数据集。 在拟合模型时，我遇到了无效标签问题。 ? 训练数据集为： 其中我的输入特征为Independent_features，我的目标特征为Category_con。 ?
浏览 13提问于2021-03-20得票数 0
我是星火新手，我正在使用Scala创建一个基本分类器。我从文本文件中读取数据集，并将其分成训练和测试数据集。然后我尝试标记训练数据，但是它失败了
Caused by: java.lang.IllegalArgumentException: requirement failed: Input type must be string type but got ArrayType(StringType,true).
at scala.Predef$.require(Predef.scala:224)
at org.apache.spark.ml.feature.RegexTokenizer.vali
浏览 0提问于2016-10-26得票数 1
回答已采纳
1回答
我是斯卡拉的新手。请温柔点。
下面的导入导入ml下面的所有内容(每个类、特征和对象)。
import org.apache.spark.ml._
但不包括ParamMap，它位于
import org.apache.spark.ml.param._
换句话说，对于下面的代码，如果我这样做了：
import org.apache.spark.ml.param._
import org.apache.spark.ml._
class Kmeans extends Transformer {
def copy(extra: ParamMap): Unit = {
defaultCopy(e
浏览 0提问于2018-08-13得票数 0
回答已采纳
1回答
我正在尝试理解spark.ml是如何处理字符串类别独立变量的。我知道在Spark中，我必须使用将字符串转换为双精度。
例如，"a"/"b"/"c“=> 0.0/1.0/2.0。
但我真正想要避免的是不得不在这一列的doubles上使用。这似乎使管道变得不必要地混乱。尤其是因为Spark知道数据是绝对的。希望下面的示例代码能让我的问题更清晰。
import org.apache.spark.ml.feature.StringIndexer
import org.apache.spark.ml.feature.VectorAssembler
impor
浏览 1提问于2016-01-29得票数 2
我开始编写一个ML模型，用于对一系列文档中的段落进行分类。我写了我的模型，结果看起来很棒！但是，当我尝试提供一个不包含labelCol的CSV (即标记的列，我试图预测的列)时，它抛出一个错误！‘字段tagIndexed不存在。’ 所以这很奇怪。我试图预测的是"tag“列，那么当我调用model.transform(df) (在Predict.scala中)时，它为什么会期望一个"tagIndexed”列呢？我没有使用ML的经验，但是所有的DecisionTreeClassifiers在测试数据中都不存在labelCol。这里我漏掉了什么？ 我创建了模型，使用测试数据对其进行
浏览 10提问于2019-02-19得票数 0
回答已采纳
2回答
给定df如下：
val df = spark.createDataFrame(Seq(
(1, 2, 3),
(3, 2, 1)
)).toDF("One", "Two", "Three")
使用模式：
我想编写一个udf，它以Three columns作为inout；并根据最高输入值返回新列，如下所示：
import org.apache.spark.sql.functions.udf
def udfScoreToCategory=udf((One: Int, Two: Int, Three: Int): Int =>
浏览 5提问于2017-08-16得票数 0
回答已采纳
如何将org.apache.spark.mllib.linalg.SparseVector转换为org.apache.spark.ml.linalg.SparseVector
我正在将代码从mllib转换为ml api。
import org.apache.spark.mllib.linalg.{DenseVector, Vector}
import org.apache.spark.ml.linalg.{DenseVector => NewDenseVector, Vector => NewVector}
import org.apache.spark.mllib.regress
浏览 3提问于2017-10-09得票数 4
回答已采纳
3回答
我是ml的新手，我正在使用Spark ML构建一个预测系统。我读到特征工程的一个主要部分是找到每个特征在进行所需预测时的重要性。在我的问题中，我有三个分类特征和两个字符串特征。我使用OneHotEncoding技术来转换分类特征，使用简单的HashingTF机制来转换字符串特征。然后，这些作为管道的各个阶段输入，包括ml NaiveBayes和VectorAssembler (将所有特征组装到单个列中)，分别使用训练和测试数据集进行拟合和转换。
一切都很好，除了我如何确定每个特性的重要性？我知道我现在只有几个功能，但我很快会添加更多的功能。我遇到的最接近的是带有spark ml模块的ChiSq
浏览 1提问于2016-08-22得票数 1
我正在尝试根据从移动设备获取的传感器数据对用户活动进行分类。数据集包含用户id、传感器数据和活动。活动以整数形式给出，有12个活动类别。下面给出的代码是我用于活动识别分类问题的代码。我正在使用Apache Spark决策树来解决多类分类问题。
import java.util.HashMap;
import java.util.Map;
import scala.Tuple2;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.ap
浏览 0提问于2016-11-25得票数 2
我是PySpark的新手，所以这可能是一个基本的问题。我正在尝试使用JPMML库将PySpark代码导出到PMML。在从网站运行示例时：
from pyspark.ml import Pipeline
from pyspark.ml.classification import DecisionTreeClassifier
from pyspark.ml.feature import RFormula
df = spark.read.csv("Iris.csv", header = True, inferSchema = True)
formula = RFormula(for
浏览 2提问于2017-06-27得票数 1
回答已采纳
1回答
我一直在尝试用在Scala中运行一个示例。
使用Scala2.11.8和Spark1.6.1。
问题(就目前而言)在于数据集中的分类特征的数量，所有这些特征都需要编码成数字，才能完成Spark算法的工作。
到目前为止我有这样的想法：
import org.apache.spark.ml.Pipeline
import org.apache.spark.ml.classification.LogisticRegression
import org.apache.spark.ml.feature.OneHotEncoder
import org.apache.spark.sql.SQLContex
浏览 1提问于2016-06-02得票数 6
回答已采纳
-是一个开源的企业级统一流和批处理平台。它用于GE Predix平台的物联网。这两个平台之间的主要区别是什么？
问题
从数据科学的角度来看，它与Spark有什么不同？提供像Spark MLlib一样的功能吗？如果我们必须在Apache to上构建可伸缩的ML模型，该如何做&使用哪种语言？数据科学家将不得不学习Java来构建可伸缩的ML模型吗？它有像pyspark那样的python API吗？ Apache Apex可以与Spark集成吗?我们可以在Apex之上使用Spark MLlib来构建ML模型吗？
浏览 109提问于2016-02-23得票数 16
1回答
我是从存储在HDFS上的文件夹中读取的流数据。我有以下一小部分代码：
// Convert text into a DataSet of LogEntry rows. Select the two columns we care about
val df = rawData.flatMap(parseLog).select("ip", "status")
df .isStreaming
val kmeans = new KMeans().setK(2).setSeed(1L)
val model = kmeans.fit(df)
//
浏览 0提问于2018-03-09得票数 1
我已经简单地学习了如何使用RDDs来构建ML模型，但在过去，我通常使用数据帧来构建ML模型。我知道spark.ml是用于spark机器学习的DataFrame应用程序接口，但我还没有找到如何使用它的示例。
我的问题是，您能否提供一个示例，说明如何使用Dataframe来构建spark机器学习模型？
另外，如果这个问题不合适的话，很抱歉，我不知道在哪里发布这个问题。
浏览 1提问于2017-03-09得票数 1
我正在尝试使用Java中的Apache Spark ML创建一个LDA模型。输入文档为字符串格式。我得到的主题是数字格式，而不是word格式。
我发现了一个类似的问题，但遗憾的是，解决方案是在R- 中，但我正在使用Java语言中的Spark的ML库寻找解决方案。
任何帮助都将不胜感激。谢谢!
浏览 3提问于2016-08-30得票数 1
我是阿帕奇星火的新手。我用LogisticRegression训练了一个crossValidation模型。例如：
val cv =新CrossValidator() .setEstimator(管道).setEvaluator(新BinaryClassificationEvaluator) .setEstimatorParamMaps(paramGrid) .setNumFolds(5) val cvModel =cv.fit(数据)
我能够训练和测试我的模型，没有任何错误。然后使用以下方法保存模型和管道：
cvModel.save("/path-to-my-model/s
浏览 5提问于2016-04-06得票数 3
1回答
本质上，我们使用AWS上的Spark集群运行一个批处理ML模型。模型将有几次迭代，因此我们希望在Spark集群上有某种类型的模型元数据端点。通过这种方式，依赖EMR集群输出的其他服务可以平移星火集群的REST端点，并被告知它正在使用的最新ML系统版本。我不确定这是否可行。
目标：
我们希望其他服务能够平平运行最新ML模型的EMR集群，并获得模型的元数据，其中包括ML系统版本。
浏览 4提问于2021-09-01得票数 0
回答已采纳
我是scala和mllib的新手，我收到了以下错误。如果有人能解决类似的问题，请告诉我。
import org.apache.spark.sql.SparkSession
import org.apache.spark.mllib.clustering.{KMeans, KMeansModel}
import org.apache.spark.mllib.linalg.Vectors
.
.
.
val conf = new SparkConf().setMaster("local").setAppName("SampleApp")
val sContext =
浏览 0提问于2018-11-28得票数 2
1回答
我刚接触Spark，并在RServer上尝试使用Hadoop 2.0.0，这是一个SparkR边缘节点。创建和查询DataFrames很好。但这里有一个问题，我想看看它是如何工作的。
给定一个项目，我需要查询外部数据源的相关数据，通过一些ML库调用进行机器学习，并转储结果。我需要在大约500个项目上进行学习。显然，我希望使用所有可用的工作节点上的所有CPU，以便可以并行运行500个ML。我注意到在开源R上原生ML调用不会花费太多时间来为项的数据集运行算法(通常大约10000行-总共需要1分钟来获取数据、运行ML并交付我需要的结果)。
请注意，我并没有调用Spark的ML。但是我想看看我是否可以
浏览 3提问于2017-04-07得票数 1
1回答
当我尝试使用"decision-tree“数据集创建模型时，生成了下面的错误。WSO2机器学习器版本为: 1.2.2。
2017-01-11 18:21:02,284错误{org.wso2.carbon.ml.core.impl.MLModelHandler} -无法构建模型id 9逻辑回归模型时出错: org.wso2.carbon.ml.core.spark.algorithms.SupervisedSparkModelBuilder.buildLogisticRegressionModel(SupervisedSparkModelBuilder.java:322)处的输入字符串：
浏览 2提问于2017-01-12得票数 0
1回答
VectorUDT使用
、、、
我必须得到数据类型，并做一个案例匹配，并将它转换成某种所需的格式。但是org.apache.spark.ml.linalg.VectorUDT的用法表明VectorUDT是private。另外，我特别需要使用org.apache.spark.ml.linalg.VectorUDT，而不是org.apache.spark.mllib.linalg.VectorUDT。有人能建议怎么做吗？
浏览 8提问于2017-08-22得票数 2
1回答
你好，我刚开始学习scala。只需遵循udemy中的教程即可。我被遵循相同的代码，但给了我一个错误。我对这个错误一无所知。
这是我的代码
import org.apache.spark.ml.classification.LogisticRegression
import org.apache.spark.sql.SparkSession
import org.apache.log4j._
import org.apache.spark.ml.feature.{CountVectorizer, CountVectorizerModel}
import org.apache.spark.ml.f
浏览 0提问于2018-04-30得票数 0
1回答
是什么导致了这个错误。我有点迷路了。我发现的一切都帮不了我。
堆栈跟踪：
Exception in thread "main" java.lang.IllegalArgumentException: requirement failed: Column features must be of type struct<type:tinyint,size:int,indices:array<int>,values:array<double>> but was actually struct<type:tinyint,size:int,ind
浏览 1提问于2020-06-19得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
