我知道数据帧是在下面的代码中编码的，但我不明白的是为什么要使用StringIndexer？StringIndexer是否应该与OneHotEncoderEstimator一起使用？val si = StringIndexer() .setHandleInvalid("keep") .setInputCol(ProcuctTypeCol) .setOutputCol(ProcuctTypeSIOutCol) val ohe = new OneHotEncoderEstimator()
浏览 36提问于2020-10-20得票数 0
回答已采纳
此外，由于Scala中的OneHotEncoding结果不同于Python (例如，它看起来是这样的：(4,[3],[1.0]) in Spark，而在Python中它是1和0的组合)，所以我不知道在哪里应用我使用和管道：import org.apache.spark.ml.linalg.Vectorsnew StringIn
浏览 0提问于2018-07-26得票数 1
回答已采纳
然而，当我尝试应用StringIndexer时，我得到了一个错误： inputCol = ['a', 'b','c','d'],outputCol = ['a_index', 'b_index','c_index','d_index']
model = stringIndexer.fit
浏览 0提问于2016-03-05得票数 10
回答已采纳
1回答
允许空值的PySpark特征向量
、、、、
| 56.9| 65.0| 327|4.05|4.07|2.31| 0.5237755344569698| | 0.23|Very Good| H| VS1| 59.4| 61.0| 338| 4.0= StringIndexer(inputCol = categoricalCol, outputCol = categoricalCol
浏览 1提问于2019-02-20得票数 4
回答已采纳
因此，我使用StringIndexer，然后是OneHotEncoderEstimator，然后是VectorAssembler，将分类值转换为连续值。new StructField("fruits", DataTypes.StringType, false, Metadata.empty()) });StringIndexer stringIndexer =
浏览 1提问于2018-05-22得票数 1
回答已采纳
1回答
矢量星火标尺中数据分类变量的匹配
、、、、
我一直在尝试遵循堆栈溢出示例，即在scala中为机器学习ml库创建数据格式。
Source, Amount, Account, FraudCACC2, 3897.25, 999, 0
AMXCC1,
浏览 1提问于2016-06-14得票数 1
1回答
--+-------+df.createOrReplaceTempView("df")
<em
浏览 11提问于2019-06-14得票数 3
回答已采纳
setOutputCol("features")
val labelIndexer = new StringIndexerArray(tokenizer,countVectorizer,labelIndexer,labelEncoder,logisticRegression))cv: org.apache.spark.ml.tuning.CrossValidatorjava.lang.IllegalArgumentE
浏览 0提问于2018-05-30得票数 3
回答已采纳
我正在使用StringIndexer、OneHotEncoderEstimator和RandomForestRegressor在Spark2.3中训练一个随机森林模型。如下所示：val stringIndexers = categoricalColumns.map { colName => .setInputCol("keep")}
//Hot
浏览 0提问于2018-09-21得票数 0
回答已采纳
3回答
步骤1、2、3-的一些来自的示例代码
从OneHotEncoderEstimator(inputCol=categoricalCol pyspark.ml OneHotEncoderEstimator、”阶段= []在管道中的categoricalColumns中的categoricalCol：#分类索引与StringIndexer stringIndexer =StringIndexer= StringIndexer(inputCol=categoricalCol，outputCol=
浏览 1提问于2018-06-19得票数 4
1回答
这是代码import org.apache.spark.ml.clustering.KMeans
import org.apache.spark.ml.evaluation.ClusteringEvaluatorimport org.apache.spark.ml.feature.{OneHotEncoderEstimator, StringIndexer, VectorAssembler, Normalizer}
浏览 1提问于2020-04-16得票数 1
回答已采纳
import GBTClassifierfrom pyspark.ml.feature import StringIndexer,OneHotEncoderEstimator
df = spark.read.format("csv").option("header", "true").load(&quo
浏览 25提问于2020-07-16得票数 0
我尝试使用pyspark ml (spark 2.4.0)运行一个随机森林分类器，并使用OHE对目标标签进行编码。#%%import pyspark.sql.functions as F
from pyspark.ml.feature import StringIndexer,OneHotEncoderEstimator'buy',1000,100)],schema=("id","date","transaction",&qu
浏览 74提问于2020-06-30得票数 0
回答已采纳
1回答
我有一个Python类，用于在Spark中加载和处理一些数据。在我需要做的各种事情中，我正在生成一个从Spark dataframe中的不同列派生的虚拟变量列表。[1, 0, 0, 1, 0, 0],就生成我想要的虚拟变量列表而言，这正是我想要的，但这里是我的问题:我如何(a)创建一个具有类似功能的UDF，以便在Spark
浏览 72提问于2015-10-07得票数 26
回答已采纳
我无法保存使用python/spark的ml包生成的随机森林模型。
浏览 2提问于2017-07-08得票数 7
回答已采纳
1回答
用星点MLlib回归估计数值
、、、、
testDF) = df.randomSplit((0.80, 0.20), seed=42)1)我索引了NameItem2)然后我对它进行编码encoderOutput = ["EncodedItem"]
encoder = OneHotEncoderEstimator
浏览 2提问于2019-10-30得票数 1
回答已采纳
, OneHotEncoderEstimator, VectorAssembler, VectorSlicerfrom pyspark.ml.evaluationfrom pyspark.ml.tuning import ParamGridBuilder, TrainValidationSplit
string_indexes = [StringIndexer
浏览 61提问于2020-01-09得票数 0
1回答
在火花中为LDA准备数据
、、、
我正在实现一个Spark模型(通过Scala )，并且在数据的必要格式化步骤上遇到了问题。我的原始数据(存储在文本文件中)采用以下格式，本质上是标记及其对应文档的列表。在任何情况下，我都需要将这些数据格式化为稀疏的词频向量，以便运行Spark模型，但我对Scala并不熟悉，因此遇到了一些问题。首先，我要：import org.apache.spark.mllib.linalg.{Vect
浏览 2提问于2015-11-05得票数 2
回答已采纳
云服务器
ICP备案
对象存储
云直播
即时通信 IM
腾讯云开发者
