Spark mllib :如何将字符串分类特征转换为int，以便评级接受
Spark MLlib是Apache Spark的机器学习库，它提供了丰富的机器学习算法和工具，可以用于大规模数据集的分析和建模。在Spark MLlib中，将字符串分类特征转换为整数可以通过以下步骤完成：
- 导入所需的类和函数：import org.apache.spark.ml.feature.StringIndexer import org.apache.spark.ml.feature.StringIndexerModel
- 创建一个StringIndexer对象，并指定输入和输出列的名称：val indexer = new StringIndexer() .setInputCol("category") // 输入列名 .setOutputCol("categoryIndex") // 输出列名
- 使用StringIndexer对象对数据进行拟合和转换：val indexedData = indexer.fit(data).transform(data)其中，data是包含字符串分类特征的数据集。
- 如果需要将转换后的整数特征还原为原始字符串特征，可以使用StringIndexerModel对象：val model = indexer.fit(data) val originalData = model.transform(indexedData)
这样，字符串分类特征就被转换为整数特征，并可以用于评级接受等机器学习任务。
推荐的腾讯云相关产品和产品介绍链接地址：
- 腾讯云机器学习平台（https://cloud.tencent.com/product/tiia）
- 腾讯云大数据分析平台（https://cloud.tencent.com/product/emr）
- 腾讯云人工智能开放平台（https://cloud.tencent.com/product/aiopen）
相关·内容
我想使用spark mllib和协同过滤技术中的ALS算法来构建一个推荐应用程序。我的数据集具有字符串形式的用户和产品特性，如下所示： {"user":但是方法似乎只接受用户和产品特性的int值。这是否意味着我必须构建一个单独的字典来将每个字符串</
浏览 1提问于2016-07-29得票数 0
回答已采纳
1回答
我正在尝试理解spark.ml是如何处理字符串类别独立变量的。我知道在Spark中，我必须使用将字符串转换为双精度。res1: org.apache.spark.mllib.linalg.Vector = [0.7667490491775728]
但自变量是分类
浏览 1提问于2016-01-29得票数 2
我正在尝试使用Spark MLlib (使用Scala)对包含分类变量的数据集执行逻辑回归(LogisticRegressionWithLBFGS)。我发现Spark不能处理这种变量。我如何使用Spark来执行此操作？
浏览 0提问于2015-05-07得票数 8
我正在用spark.I计算一个大图的所有对最短路径，我使用github的代码，计算结果(距离矩阵)保存在一个BlockMatrix(org.apache.spark.mllib.linalg.distributed.BlockMatrix).I中，想知道如何将结果保存到hdfs或本地，以便下次我可以快速分析结果而不需要再次计算。1.将BlockMatrix转换为LocalMatrix，然后使用toString方法将结果保存在本地file.When图足够大的情况下，结果字符串</e
浏览 0提问于2019-11-11得票数 0
我正在准备包含in (标签)和关键字(特征)的数据，以便用Java语言将它们传递给MLlib算法。我的关键字是用逗号分隔的字符串。我的目标是使用多类分类算法来预测id。值得一提的是，当我使用自己的KNN分类代码(纯java)时，我的准确率超过了70%。"words");
wordsData.show();
int</e
浏览 0提问于2016-05-20得票数 1
我想训练一个支持向量机对数字(0-9)的图像进行分类，然后用它来读取带有数值的图像(低级OCR)。我的想法是一个接一个地读取图像，并将它们存储在numpy数组中，然后将所有这些数组放入一个数组中，以便生成我的sample_array。从Scikit-Learn文档“作为其他分类器，SVC、NuSVC和LinearSVC接受两个数组作为输入:一个大小为n_samples的数组X，n_features保存训练样本，以及一个类标签(字符串或整数)数组y，大小为n_samples:”
我的问题是图像的特征
浏览 6提问于2015-05-22得票数 0
我正在尝试从Spark2.0.2 org.apache.spark.examples.ml.JavaDecisionTreeClassificationExample.构建决策树分类示例的一个版本我不能直接使用它我需要避免libsvm (未记录的AFAIK)，以便更容易地对普通数据集进行分类。我正在尝试调整该示例以使用kyro编码的数据集。);
浏览 6提问于2016-12-22得票数 1
回答已采纳
1回答
我正在构建文本分类器，并使用spark countVectorizer创建特征向量。 现在，为了在BIDGL库中使用这个Vector，我需要将特征向量中的所有0转换为1。这是我的特征向量，它是一个稀疏向量： vectorizer_df.select('features').show(2)| features首先将稀疏向量转换为稠密向量 from pyspark.<
浏览 22提问于2019-02-09得票数 2
回答已采纳
2回答
正如您所看到的，不是我的csv文件中的所有字段都是相同类型的，有字符串、int和double。s(40).toDouble, s(41)) .persist(StorageLevel.MEMORY_AND_DISK) }
并不是所有的功能都有相同的类型:是否需要将所有的功能转换成相同的类型？我的标签不是整数而是字符串，所以为
浏览 1提问于2017-01-31得票数 1
2回答
因此，它包含字符串和数字特征我首先要执行特征消除，然后对其进行支持向量机。rfe = rfe.fit(data, target) print(rfe.support_)ValueError: could not convert string to float: 'S'
具有这样的字符串特性是显而易见的。
浏览 0提问于2019-02-15得票数 3
21回答
我有一个包含80%分类变量的机器学习分类问题。如果我想使用某个分类器进行分类，我必须使用一个热编码吗？我可以在没有编码的情况下将数据传递给分类器吗？/dataset/train.csv"，将分类特征的类型更改为'category'：
non_categorial_features =‘orig_distance_distance’，'srch_rm_cnt因此，如果没有一个热编码，我就无法进行任何特征<
浏览 172提问于2016-05-18得票数 194
3回答
我试图将一些文本(例如č)存储在Postgres数据库中，但是当检索该值时，它在屏幕上显示为?。我不知道为什么会这样，我的印象是，这是一个在UTF-8中不支持的角色，但在UTF-8中，但是，从第一个答案来看，这是一个错误的假设。有人能提供一个例子，说明您将如何编写和读取UTF-16 (可能使用这种代理对概念)到postgres数据库。谢谢。
更新的问题:为什么要从数据库返回
浏览 3提问于2011-12-09得票数 3
回答已采纳
输入层在Tensorboard中如下所示：
但是如何将此SignatureDefinition转换为有效的JSON请求？说..。如果您有需要为二进制的输入特性或张量值(如图像字节)，则必须对数据进行Base64编码，并将其封装在一个JSON对象中，该对象的密钥为b64：可以将此对象指定为输入特性或张量的值具有图像(二进制数据)和标题特征的分类请求如下所示：
{ "s
浏览 0提问于2019-09-16得票数 15
我有以下数据： 'bar' => 1 );
'bar' => ['cat3','cat2','cat3'] );
浏览 2提问于2013-11-15得票数 4
回答已采纳
22回答
我正在尝试使用scikit learn的LabelEncoder来编码一个包含字符串标签的熊猫DataFrame。请记住，我在这里使用的是伪数据；实际上，我正在处理大约50列标记为data的字符串，因此需要一个不按名称引用任何列的解决方案。
浏览 299提问于2014-06-28得票数 274
11回答
在数据库中存储业务逻辑
、、、、
我们想要编写一些业务逻辑规则，这些规则在某些数据之上工作，以构建报告。不确定将它们存储在数据库MySQL中哪一个最好。它可以有一个规则链，然后是如上所示的结果语句。
浏览 2提问于2012-07-10得票数 29
回答已采纳
我使用Spark MLlib 1.4.1来创建decisionTree模型。现在我想从决策树中提取规则。
如何提取规则？
浏览 4提问于2015-08-03得票数 8
20回答
当使用或加载这些文件时，我的所有字符串值都转换为Unicode对象，而不是string对象。问题是，我必须对一些只接受字符串对象的库使用数据。我不能改变图书馆或更新它们。是否有可能获得字符串对象而不是Unicode对象？
浏览 4提问于2009-06-05得票数 301
回答已采纳
16回答
仅使用以下字符打印短语And she said, 'But that's his.'：abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ没有标点符号或任何非字母字符。你可以使用你想要的任何编程语言。空白是完全允许的。最短程序获胜。
浏览 0提问于2019-06-12得票数 59
40回答
我今天写了一个例子：public static IEnumerable<int> To(this int fromNumber, int toNumber) {toNumber) { fromNumber++;}foreach (int
浏览 127提问于2009-06-05得票数 72
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
