Spark - HashingTF inputCol接受一个列，但我想要更多
Spark是一个开源的大数据处理框架，用于高效地处理大规模数据集。它提供了丰富的功能和工具，包括分布式数据处理、机器学习、图计算等。
HashingTF是Spark MLlib库中的一个特征提取工具，用于将文本数据转换为数值特征向量。它通过将文本中的词语映射到一个固定大小的特征向量中的索引位置，并计算每个词语在文本中的出现频率，从而将文本转换为数值特征向量。
inputCol是HashingTF的一个参数，用于指定输入数据的列名。它接受一个列作为输入，并将该列中的文本数据转换为特征向量。
如果你想要更多的列作为输入，可以使用Spark的Pipeline机制来进行多列的特征提取。首先，你可以使用Spark的StringIndexer将每个输入列中的文本数据转换为数值标签。然后，你可以使用Spark的VectorAssembler将这些数值标签合并为一个特征向量列。最后，你可以将合并后的特征向量列作为HashingTF的输入列。
以下是一个示例代码：
import org.apache.spark.ml.feature.{HashingTF, StringIndexer, VectorAssembler}
import org.apache.spark.ml.Pipeline
// 假设你有两个输入列：inputCol1和inputCol2
val inputCol1 = "text1"
val inputCol2 = "text2"
// 创建StringIndexer来将文本数据转换为数值标签
val indexer1 = new StringIndexer()
.setInputCol(inputCol1)
.setOutputCol("label1")
val indexer2 = new StringIndexer()
.setInputCol(inputCol2)
.setOutputCol("label2")
// 创建VectorAssembler来合并数值标签为一个特征向量列
val assembler = new VectorAssembler()
.setInputCols(Array("label1", "label2"))
.setOutputCol("features")
// 创建HashingTF来将特征向量列转换为数值特征向量
val hashingTF = new HashingTF()
.setInputCol("features")
.setOutputCol("hashedFeatures")
// 创建Pipeline来组合以上步骤
val pipeline = new Pipeline()
.setStages(Array(indexer1, indexer2, assembler, hashingTF))
// 使用Pipeline来进行特征提取
val model = pipeline.fit(data)
val transformedData = model.transform(data)在这个示例中，我们首先使用StringIndexer将输入列中的文本数据转换为数值标签，然后使用VectorAssembler将这些数值标签合并为一个特征向量列，最后使用HashingTF将特征向量列转换为数值特征向量。
关于Spark和MLlib的更多信息，你可以参考腾讯云的产品Spark和MLlib的介绍页面：
相关·内容
我正在尝试在Spark中使用HashTF，但我有一个主要问题。如果inputCol只有一列，如下所示HashingTF(
浏览 2提问于2019-10-27得票数 0
我是Spark ML的新手。我正在尝试使用Spark ML Pipeline来链接数据转换(将其视为ETL过程)。换句话说，我想输入一个DataFrame，执行一系列转换(每次向该数据帧添加一列)，并输出转换后的DataFrame。我研究了Python中的Pipeline文档和代码，但我不知道如何将转换后的数据集从Pipeline中提取出来。tokenizer = Tokenizer(inputCol="text", outputCol="words&quo
浏览 0提问于2018-04-11得票数 1
2回答
将星火数据转换为矢量
、、、
我使用Spark2.1.0的结构化流功能。当我尝试这样做的时候：tokenizeData = tokenizer.transform(stream_df)
hashingTF = HashingTF(inputCol="logTokenize", outputCol="rawFeatures"
浏览 5提问于2017-07-24得票数 0
1回答
当我使用一个包含标签的数据集运行交叉验证时，(而不是)列中的标签名为" label“，我在Spark3.1.1上观察到了一个IllegalArgumentException。为什么？下面的代码已被修改为将“标签”列重命名为“目标”，并将labelCol设置为回归模型的“目标”。此代码导致异常，而"label“处的所有内容都正常工作。([ (1, "b d"
浏览 1提问于2021-04-28得票数 1
回答已采纳
我有一个spark数据框，其中的" text“列有一些文本。我想要计算出现各种单词的行数-本质上是出现“术语”的“文档”的数量-以及相关的计数，如最频繁的单词，具有最频繁单词的行(或称为文档)。= spark_df.withColumn("words", split(col("text"), " "))
from pyspark.ml.feature importHashingTF
<
浏览 25提问于2021-08-31得票数 0
回答已采纳
1回答
火花-显示前10字的文件
、、、
([(0,"Hello","World","Spark","Is","Awesome","Hello","World"]),(1,["Hello","World","Spark","Is","Awesomeway
hashingTF = HashingTF(inputCol=&q
浏览 2提问于2021-09-17得票数 1
回答已采纳
我不确定散列在HashingTF中的作用是什么；它是否牺牲了任何准确性？我怀疑，但我不知道。火花科医生说它使用了“哈希技巧”..。这只是工程师使用的一个非常糟糕/令人困惑的命名的例子(我也是有罪的)。CountVectorizer还需要设置词汇表大小，但它有另一个参数，即一个阈值参数，可用于排除文本语料库中出现在某个阈值以下的单词或标记。我不明白这两台变形金刚之间的区别。我很难在API文档和没有深度的实际琐碎示例中找到任何关于Spark Mllib的源。
浏览 13提问于2016-02-04得票数 25
回答已采纳
：init()中，有一个未预料到的关键字参数'ipnutCol‘异常，忽略在: Traceback (最近一次调用)：File 第4行，在del AttributeError：'HashingTF’对象中没有属性'_java_obj‘from pyspark.ml import Pipeline
# 创建一个SparkSession定义p
浏览 1提问于2019-08-24得票数 0
1回答
从这个开始，为了查找重复的文档，我使用了一个对本地敏感的散列(LSH)。 (0, "Hi I heard about Spark Hi I heard about Spark Hi I heard about Spark Hi I heard about SparkHi I heard about Spark Hi I heard abou
浏览 6提问于2021-04-26得票数 1
但是，在经典的20NewsGroup数据集上测试此工作流会导致大多数文档被聚为一个集群。(我最初尝试对20个组中的6个组的所有文档进行聚类-因此期望将其聚类为6个聚类)。我在Apache Spark中实现了这一点，因为我的目的是在数百万个文档上使用这项技术。= HashingTF (inputCol="stopWordsRemovedTokens", outputCol="rawFeatures", numFeatures=200000)
tfVectors= hashing
浏览 0提问于2017-05-09得票数 2
我有一个RDD[(218603, [0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0]), (95680, [0.00.0, 1.0, 0.0, 0.0, 0.0, 0.0])]model = LDA.train(myRdd, k=5, seed=42)
除了明显的错误之外，我不知道如何解释此错误，因此，任何建议都将不胜
浏览 3提问于2016-11-08得票数 1
回答已采纳
2回答
Spark有一个HashingTF()函数，该函数根据每个术语的散列值计算文档术语频率。2)如何从Python获得相同的散列值？3)如果我想要计算给定单个输入的散列输出，而不计算术语频率，我如何才能做到这一点？
浏览 16提问于2015-07-21得票数 4
回答已采纳
假设我在dataframe中有几个特性/列来应用常规的OneHotEncoder，还有一个(let，n-)列，我需要在其中应用我的自定义OneHotEncoder。问题是我想要的oheEncodingTopN() 不能/不应该引用“实际的”数据格式，因为它将是管道的一部分(用于在trainData/testData上应用)。基本上，oheEncodingTopN在输入列上应用了OneHotEncoding，但是对于最上面的N频繁值(例如N= 50)，并将其余的不频繁值放在一个
浏览 2提问于2020-02-26得票数 2
我正试图使用Python在Spark中创建一个“特性”列，以便供机器学习库使用。但是，在生成“特性”列的VectorAssembler中，我遇到了包括数值变量和分类变量在内的问题。cat_1", "cat_2", "cat_3"]
indexers = [StringIndexer(inpu
浏览 1提问于2018-04-16得票数 1
回答已采纳
1回答
我对星火2很陌生，我试过了火炉的例子 (0.0, "Hi I heard about Spark")wordsData = tokenizer.transform(sentence
浏览 5提问于2017-02-16得票数 6
它似乎工作正常，代码是：import org.apache.spark.mllib.linalg.Vectors))
i
浏览 7提问于2017-07-24得票数 3
回答已采纳
3回答
我是ml的新手，我正在使用Spark ML构建一个预测系统。我读到特征工程的一个主要部分是找到每个特征在进行所需预测时的重要性。在我的问题中，我有三个分类特征和两个字符串特征。我使用OneHotEncoding技术来转换分类特征，使用简单的HashingTF机制来转换字符串特征。然后，这些作为管道的各个阶段输入，包括ml NaiveBayes和VectorAssembler (将所有特征组装到单个列中)，分别使用训练和测试数据集进行拟合和转换。我知道我现在只有几个功能，但我很快会添加<e
浏览 1提问于2016-08-22得票数 1
我正在尝试用Spark的MLLib构建一个NaiveBayes分类器，它接受一组文档作为输入。我相信答案是在HashingTF类中(即散列特性)，但我不明白它是如何工作的，它似乎需要某种容量值，但我的关键字和主题列表实际上是无界的(或者更好的，一开始是未知的)。
浏览 18提问于2014-12-07得票数 17
回答已采纳
然而，当我尝试应用StringIndexer时，我得到了一个错误： inputCol = ['a', 'b','c','d'],java.lang.ClassCastException: java.util.ArrayList cannot be cast to java.lang.String
at org.apache.spark.ml.feature.StringIndexer.
浏览 0提问于2016-03-05得票数 10
回答已采纳
在找到jaccard相似性之后，我会将相似的实体聚到一个集群中。在上面的例子中，印度和美国将根据某个阈值被聚成一个集群，而柏林将在另一个集群中。
所以我取了rdd a的笛卡儿积。
浏览 1提问于2018-03-09得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
