我正在尝试计算用户表中给定的user_id和另一个带有电影的表之间的余弦相似度，以便排序出最相似的电影来推荐。余弦相似度：= dot(a,b) / (norm(a) * norm(b))或dot(a,b)/sqrt((dot(a)*dot(b)) df = self.given_user.crossJoin(self.movies_dfmovieId', 'd
浏览 18提问于2020-08-31得票数 0
回答已采纳
1回答
我使用表示产品用户购买行为的IndexedRowMatrix，为了构建产品推荐，我使用余弦相似度来计算产品之间的相似性。PySpark提供了一个名为columnSimilarities()的函数。我的问题是，在使用columnSimilarities()之前，是否需要规范每个产品的向量？我读过关于归一化和余弦相似的文章，并且理解余弦</e
浏览 0提问于2018-11-19得票数 3
在Apache Spark中，有没有将余弦距离的KMeans应用于Tf-IDF处理的数据帧的工作实现？
Spark，当然在ml库中有欧几里得距离实现，但对于任何其他距离度量都不是这样。
浏览 0提问于2017-06-26得票数 1
1回答
大矩阵除法的csr稀疏矩阵并行化
、、、、
我正在计算两个大向量集之间的余弦相似度(具有相同的特征)。每一组向量都表示为一个正向CSR稀疏矩阵，A和B。I想要计算A^T，它不会是稀疏的。但是，我只需要跟踪超过某个阈值的值，例如0.8。我正试图用普通的RDDs在Pyspark中实现这一点，并使用快速向量操作来实现对CSR矩阵的操作。
A和B的行是标准化的，
浏览 2提问于2019-05-13得票数 2
如果用户搜索单词"Computer“，并且我想显示基于关键字"Computer”的最相关的文档。我的算法根据关键词在文档中出现的次数来选择最相关的文档。唯一的问题是文档X有10个单词，"Computer“出现两次，而文档Y有1000个单词，"Computer”出现100次。从文档中的字数来看，说文档Y比文档X更相关是不正确的。如何对此进行规范化，以获得最准确的
浏览 8提问于2016-01-09得票数 0
1回答
我希望将某个范围内的实数表示为向量空间，这样越接近的数字在向量空间中也越接近，接近程度可以用余弦距离来衡量。
例如，在0-100之间，9和10的余弦相似度应接近1，9和100的余弦相似度应接近-1。如何实现这样的映射呢？我正在考虑尝试一个神经网络编码器，但有没有其他方法来<e
浏览 0提问于2017-08-12得票数 0
1回答
我必须计算稀疏矩阵中向量之间的大量相似计算。当前用于此任务的最佳工具scipy-sparse或pandas是什么？
浏览 5提问于2013-10-04得票数 2
1回答
我在数据库中有记录(行)，并且我想标识类似的记录。我有一个使用余弦相似度的约束。如果变量(属性、列)的类型不同，并以以下形式出现：如何进行矢量化以应用余弦相似度？对于字符串，我可以使用简单的tf-idf。但是对于数字和布尔值呢？如何将这些结合起来呢？我的想法是向量应该是1+1+1+20长度。但是，仅仅将记录
浏览 5提问于2013-03-20得票数 1
2回答
修正的余弦相似效率
、、、、
问题所在 我试图计算两个数组之间的余弦相似度，但基本公式略有变化。也就是说，我只关心与“引用”数组重叠的组件。例如，如果我们要计算以下两个数组之间的余弦相似度： A = [1 0 1] B = [1 1 0]
[0 1 1] [0 1 1] 假设B是引用数组。:有没有一种方法可以在不显著降低性能的情况下引入这种修改(与sklearn.metrics.
浏览 28提问于2019-10-15得票数 0
回答已采纳
1回答
我想尝试以下方法：虽然fisrt方法利用了快速向量化和内建余弦相似度方法，但它对于大型矩阵的内存性能较差(因为您必须转换为密集形式)。第二种方法也有较差的内存性能
浏览 2提问于2018-12-10得票数 1
我正在学习 & 上提供的一个教程。不幸的是，作者没有时间进行最后一节，它涉及到使用余弦相似度来实际找出两个文档之间的距离。我在的以下链接的帮助下遵循了文章中的示例，其中包含了上面链接中提到的代码(只是为了让生活更容易)
from sklearn.feature_extraction.text import CountVectorizer0
浏览 4提问于2012-08-25得票数 103
回答已采纳
1回答
我在Python方面不是很有经验，但我正在为我正在做的项目使用它。该项目涉及到通过文本处理(清理)来度量不同文本的相似性，然后最终实现余弦相似度、jaccard相似度和tf。我看到了很多关于google和堆栈溢出的有用信息，但是如果还有其他的链接/引用可以帮助我的话，那就太好了。
我试图在两个不同的文本文件中计算每条推
浏览 1提问于2015-04-02得票数 1
回答已采纳
1回答
我有一个PySpark DataFrame，df1，它看起来像：12 .17.08 CustomerID CustomerValue CustomerValue 18 .86 .09
我想要取两个数据帧的余弦</em
浏览 2提问于2018-09-28得票数 1
在Mahout中，支持使用API方法进行基于项目的推荐：但是在Spark Mllib中，看起来ALS内部的API可以获取推荐的产品，但userid必须通过以下方式提供：有没有一种方法可以根据
浏览 1提问于2014-12-18得票数 8
假设我在一家公司的年报中有一个语料库，显示了他们4个行业的收入数据:汽车、半导体、绿色能源和医疗保健。对于人类来说，找到一个特定行业的收入数据并不难。如果我使用NLP将其自动化，这样我就不必阅读它，那么NLP是否可能将正确的收入数据与一个特定的行业相匹配？
我使用NLP进行情感分析、主题建模和文本生成。但这些似乎都与上面的应用程序无关。
浏览 1提问于2020-04-10得票数 0
1回答
我正在训练一个神经网络，我希望两个矩阵是相似的(协方差矩阵)。我天真的做法是使用基于差异的损失，如L1损失。但这也迫使矩阵变小，这不是我想要的。非常感谢!
浏览 0提问于2021-01-22得票数 0
回答已采纳
2回答
其目的是根据词汇相似度来查询词汇图中最接近的单词。我们如何在neo4j上实现这一点？假设词汇表由以下内容组成：Wrong ProductProduct Replacement在一个单一的查询中，我应该能够发现“可负担的产品”与“产品价格”的关系比任何其他产品都更密切。请注意，我正在将单词嵌入到图表中，
浏览 13提问于2020-05-16得票数 1
1回答
冷启动推荐方法及算法
、、、
我们正在为我们全新的学习管理系统建立推荐系统.有一堆用户和项目(学习模块)在板上，但没有评级-典型的冷启动问题。问题：
实现基于项目的相似度</
浏览 5提问于2015-08-25得票数 1
将TF-IDF归一化为固定长度的向量第7步:向量空间模型-余弦相似度
我能找到的唯一示例是，将输入查询与每个文档进行比较，找出相似度。如果没有输入查询(这不是一个信息检索系统)，我要将语料库中的每个文档与语料库中的每个其他文档(每对文档)进行比较吗？我找不到任何应用于整个文档集合的余弦相似度的
浏览 4提问于2015-05-11得票数 5
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
