我正在尝试用SparseVectors形式的属性来计算某些in之间的Jaccard距离。from pyspark.ml.feature import MinHashLSHfrom pyspark.sql.functions当我计算Jaccard并写下数据时，我遗漏了很多id对。数据中总共有45k个身份，因
浏览 104提问于2021-01-16得票数 1
1回答
我们需要对一组数据运行欧几里德聚类，然后在另一组数据上运行Jaccard。我们需要探索几个不同的模型来评估集群的数量，对于欧几里德来说，使用sklearn.metrics.silhouette_score是非常直接的，但这并没有给出使用Jaccard距离的选择。因此，我想知道是否有人知道如何计算Jaccard距离？我设法为彼此之间的所有距
浏览 3提问于2020-03-15得票数 1
这是相当长的时间，我对此感到抱歉。+----+---------+-------------------------+另一方面，model.approxSimilarityJoin(...)要求我们连接两个数据集，而我只有一个有4个
浏览 7提问于2018-02-05得票数 0
1回答
如下所示： [2,3], [9,8], [7,9,8], ...其中数据没有固定的维度当K=2时，应将前3个元素聚为一组，并将其他4个元素聚为一组。
我理解k-means算法，但问题是它的距离计算不适合我的情况。我使用Jaccard距离来表示每两个元素的距离，因为它们的
浏览 17提问于2017-03-04得票数 0
回答已采纳
3回答
基于距离矩阵的词聚类
、、、
我的目标是根据单词与文本文档语料库的相似度对单词进行聚类。我已经计算了每对单词之间的Jaccard相似度。换句话说，我有一个可用的稀疏距离矩阵。有没有人能给我介绍一些以距离矩阵作为输入的聚类算法(可能还有它的Python库)？我事先也不知道集群的数量。我只想对这些单词进行聚类，并获得哪些单词聚在一起。
浏览 0提问于2013-04-27得票数 24
假设我有一个庞大的SQL数据库，索引图像文件和文件本身。一些文件可能被索引两次或更多，一些文件可能有一个损坏的副本或更新的版本与原始文件一起索引。可以通过计算文件的MD5散列轻松地检测精确的重复项，但是是否有类似的方法可以用于检测近似重复项(具有很强的相似性，但不是完全相同的文件)，以便将它们从数据库中删除？为了清楚起见，我想不惜一切代价避免像计算数据库中每种图像组合的欧几里得距离这样的</
浏览 1提问于2018-02-01得票数 0
我想使用Jaccard来查找dataframe (user_choices)元素之间的相似性。index=(["User A", "User B", "User C", "User D", "User E", "User F"]))
我编写了以下代码来计算数据的Jaccard索引：
jaccard = (1-scipy
浏览 6提问于2022-03-15得票数 0
回答已采纳
我正在尝试使用MinHashLSH pyspark计算一些产品之间的Jaccard距离。我使用的玩具数据是 sdf = spark.read.csv('dt.csv',header=True, sep=',', inferSchema=True)
sdf = sdf.withColumn(Jaccard距离，所以我遵循文档中的示例： order_matrix_
浏览 24提问于2020-01-15得票数 0
我有一个聚类问题，我认为需要一个直观的距离函数。每个实例都有一个x，y坐标，但也有一组描述它的属性(每个实例的数量不同)。我想将距离表示为x，y值之间的欧几里德距离的加权和，以及一些类似于jaccard指数的值，以度量其他属性的集合重叠。例如，在sklearn中使用dbscan，要执行我的距离函数，我需要以某种方式将数字转换回原
浏览 11提问于2016-12-04得票数 3
回答已采纳
1回答
如何在大量句子之间找到连贯
、、、、
由于文档搜索算法的结果，我有一个句子列表。我想用某种度量来确定返回的结果是否语义接近/相似/连贯。作为一个起点，我使用的是单词漫游距离(WMD)，并计算句子之间的相似性。但是我的句子列表太长，对列表(文档)中的所有项目进行配对比较在计算上是不可行的。解决这个问题最好的办法是什么？
浏览 0提问于2021-01-15得票数 1
1回答
我的数据集中的response变量和所有predictor变量都是因子。我想建立一个模型来预测响应变量。据我所知，我必须首先对我的预测变量进行编码。我需要关于如何在R中做同样的建议。bt“依赖于"td”，但其他的是完全独立的。
下面是我的数据框架的结构。
浏览 1提问于2019-10-20得票数 0
我正在比较使用pdist和distance距离矩阵函数处理数据集时得到的Jaccard距离矩阵。我在输出距离矩阵中得到了不同的结果，我不知道为什么。我认为其中一个原因是：
我的jaccard距离计算的实现是wrong(metric = 'jaccard')和，它们以不同的方式计算ja
浏览 8提问于2022-01-01得票数 1
回答已采纳
1回答
动态创建的测试需要110个问题。重复问题是可以的。我知道我可以很容易地通过编程语言实现这一点，但是我的需求需要一个SQL解决方案。随机挑选的记录。重复的数量应保持在最低限度。也就是说:直到有重复的要求-不要。我只能看到重复的需要，当测试需要超过两倍的问题可用的数量。并不是所有的测试都需
浏览 1提问于2015-01-15得票数 2
我正在尝试使用jaccard相似性找到类似的用户。结果df列值是交/并。用户1和用户2之间的相似性为1/2。1/2 =两个用户共有的项目数量/两个用户拥有的项目总数我该怎么办？
浏览 7提问于2021-03-12得票数 0
回答已采纳
1回答
推特之间的Jaccard距离
、、、、
我目前正在尝试测量数据集中的tweet之间的Jaccard距离到目前为止，这就是我所拥有的json_alldata <- fromJSON(sprintf("[%s]", paste不过，我不确定这是对的。Jaccard距离
浏览 0提问于2016-04-01得票数 0
回答已采纳
我正在研究一对RDDs。我的目标是计算rdd值集之间的jaccard相似度，并根据我的RDD的jaccard相似阈值value.Structure对它们进行聚类：所以我取了rdd a<e
浏览 1提问于2018-03-09得票数 2
回答已采纳
我感兴趣的是计算图中所有不直接连接的顶点对的Jaccard相似性度量。Jaccard度量被定义为两个顶点的邻域的交的范数除以相同集合的并的范数。 ? ? 哪里 ? 到目前为止，我已经能够获得所有没有直接连接的节点对(只对链接预测感兴趣，如果直接链接已经存在，那么我不需要计算Jaccard</em
浏览 35提问于2019-03-21得票数 0
回答已采纳
1回答
我读过许多论文，其中作者谈到了“无监督的层次聚集聚类”。它们似乎意味着该算法根据一个超参数来确定集群的数量：
我们将簇内的异质性度量定义为所有对jaccard距离的平均值，并且在每一步中，如果所产生的簇的异质性低于指定的阈值，则将两个簇合并。当我搜索聚合集群的python实现时，我总是想出sklearn，它需要指定集群的数量。在大多数例子中，这是
浏览 0提问于2021-02-13得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
