如何将聚类应用于句子嵌入？
聚类是一种机器学习技术，用于将相似的数据点分组到一起。在将聚类应用于句子嵌入时，我们可以使用以下步骤：
- 数据预处理：首先，我们需要对句子进行预处理，包括分词、去除停用词、词干化等。这将有助于减少噪音和提取句子的关键信息。
- 句子嵌入：接下来，我们需要将句子转换为向量表示，以便能够进行聚类。常用的句子嵌入方法包括词袋模型、TF-IDF、Word2Vec、GloVe和BERT等。这些方法可以将句子映射到高维向量空间，保留了句子的语义信息。
- 聚类算法：一旦我们获得了句子的向量表示，我们可以使用聚类算法将它们分组到一起。常用的聚类算法包括K-means、层次聚类、DBSCAN和谱聚类等。这些算法可以根据句子之间的相似度将它们划分为不同的簇。
- 评估聚类结果：在应用聚类之后，我们需要评估聚类结果的质量。常用的评估指标包括轮廓系数、互信息和调整兰德指数等。这些指标可以帮助我们判断聚类结果的紧密度和一致性。
聚类应用于句子嵌入的场景包括：
- 文本分类：通过将相似的句子聚类到同一簇中，可以帮助我们进行文本分类。例如，将新闻文章聚类到不同的主题类别中。
- 信息检索：聚类可以帮助我们组织和检索大量的文本数据。通过将相似的句子聚类到一起，可以提高信息检索的效率和准确性。
- 情感分析：通过将具有相似情感倾向的句子聚类到一起，可以帮助我们进行情感分析。例如，将用户评论聚类到正面和负面情感类别中。
腾讯云提供了一系列与聚类相关的产品和服务，包括：
- 腾讯云机器学习平台（https://cloud.tencent.com/product/tensorflow）：提供了丰富的机器学习工具和算法库，可以用于句子嵌入和聚类任务。
- 腾讯云自然语言处理（https://cloud.tencent.com/product/nlp）：提供了文本分析和处理的API，包括句子嵌入和聚类功能。
- 腾讯云数据分析（https://cloud.tencent.com/product/dla）：提供了强大的数据分析和挖掘工具，可以用于聚类分析和可视化。
以上是关于如何将聚类应用于句子嵌入的完善且全面的答案，希望对您有帮助。
相关·内容
5回答
对于ElMo，FastText和Word2Vec，我平均句子中的单词嵌入，并使用HDBSCAN/KMeans聚类来对相似的句子进行分组。 在这篇简短的文章中可以看到一个很好的实现示例：http://ai.intelligentonlinetools.com/ml/text-clustering-word-embedding-machine-learning/ 我想用BERT做同样的事情(使用hugging face中的BERT python包)，但是我不太熟悉如何提取原始的单词/句子向量，以便将它们输入到聚类算法中。我知道BERT可以输出句子表示-那么我如何真正从句子中提取原始向量呢？ 任何
浏览 367提问于2019-04-11得票数 23
回答已采纳
1回答
我在一个文本语料库上执行了硬聚类(使用tf-idf权重)，并获得了~= 200聚类。如果我想获取每个集群的topic，我该怎么做？ 我已经尝试在原始文本语料库(预聚类)上使用LDA，并获得了许多主题，但是我不确定如何将这些主题映射到我现有的每个聚类上。有没有其他方法可以推荐LDA，或者LDA是正确的方法，我该如何继续呢？ 在线材料只展示了如何将lda主题映射到文档句子上，而不是预先存在的聚类。如果我这样做，并根据它们分配的主题对这些句子进行分割，我将得到与原始聚类不同的结果(这并不理想)。 感谢您的帮助提前，如果有任何概念上的错误，请原谅，因为我是相当新的NLP。
浏览 38提问于2019-12-16得票数 1
回答已采纳
2回答
假设你有很多文本句子，它们可能有(或没有)相似之处。现在，您希望对相似的句子进行聚类，以找到每个聚类的质心。哪种方法是进行这种聚类的首选方法？带有TF-IDF的K-means听起来很有希望。然而，有没有更复杂的算法或更好的算法？数据结构是标记化的，并且采用一次热编码格式。
浏览 16提问于2020-01-03得票数 0
回答已采纳
1回答
我正在尝试学习自然语言处理，并且遇到了一个开放式问题。我如何把意思相同的句子组合在一起。可以有一组有限的句子具有相同的含义。我应该用什么样的算法来训练他们呢？
例如:考虑以下句子：
There is a man. There is a lion. The lion will chase the man on seeing him. If the lion catches the man he dies.
There is a man and a lion. If the lion catches the man he dies. The lion will chase the man if
浏览 13提问于2016-09-13得票数 2
回答已采纳
1回答
无监督学习中的特征选择或降维
、、、、
我正在尝试使用kmeans进行嵌入式集群。
这是客户数据，所以它涉及很多句子，所以我在聚类之前使用通用的句子编码器。
但是在嵌入特征之前，我应该做一个特征选择或降维。
我想知道在无监督学习中是否有一种方法可以进行特征选择或降维。这可能非常有用，因为到目前为止，集群给出了一个混合的结果，我强烈地感觉这可能是由于数据中不想要的属性。
我阅读了所有的资源，这些资源只提供了关于监督学习的选择。
任何帮助都是非常感谢的！
谢谢阿拉夫
浏览 0提问于2019-06-19得票数 2
我想问一下，是否有可能使用通用语句编码器从嵌入向量中获得句子(或单词)？
首先，我对嵌入的句子进行了聚类，得到了一个向量，它表示集群的中心，现在我想把它转换成对这个特定的集群具有最佳意义的句子。
诚挚的问候。
浏览 0提问于2020-02-13得票数 5
2回答
句子嵌入聚类
、、、、
我正在做一个小项目，在这个项目中，我需要从我从网站提取的html内容中删除不相关的信息(例如广告)。因为我是NLP的初学者，所以在做了一些研究之后，我想出了一个简单的方法。 网站中使用的语言主要是中文，我将每个句子(用逗号分隔)存储在一个列表中。我使用一个名为HanLP的模型对我的句子进行语义解析。如下所示： [['萨哈夫', '说', '，', '伊拉克', '将', '同', '联合国', '销毁', '伊拉克', '大', &#
浏览 32提问于2020-10-21得票数 0
3回答
如何应用集成聚类方法？
、、、、
我需要使用集成聚类方法，在我的数据集中使用python。我已经通过使用scikit学习库应用了k-均值聚类。我还应用了不同的分类方法，也发现了集成分类方法在科学学习中的应用.现在我感到困惑的是，在scikit中是否存在用于集成聚类的库，或者我如何将集成聚类方法应用于我的数据集？
浏览 0提问于2018-02-03得票数 0
让我们假设我们有一个文档集合，并希望执行一些无监督的主题分割。
和往常一样，我们将执行一些预处理(包括标记化、重音去除、低胁迫、归一化等等)，并将令牌列表转换为原始计数或tfidf向量。我们称之为矩阵M。
现在我们有了几种可能的方法来执行一些简单的单词主题切分：
将矩阵分解方法(LSI、LDA、NMF)直接应用于M，并将结果作为主题。
将M的每个向量嵌入到语义空间(LSI，word2vec)中，然后在语义空间上应用矩阵分解方法。
将聚类方法(kM、DBSCAN、MSC、GMM)直接应用于M.
将M的每个向量嵌入到语义空间中，然后在语义空间上应用聚类方法。
我有两个问题：
除了那些我还没有考虑过
浏览 0提问于2018-08-16得票数 0
回答已采纳
1回答
关于LDA的建议
、、、
我正在尝试对一堆(大约140个)文本文档进行文本分析。经过预处理和删除不必要的单词和停用词后，每个文档大约有7000个句子(由nlkt的句子标记器确定)，每个句子平均有大约17个单词。我的工作是在这些文档中找到隐藏的主题。
我曾经考虑过做主题建模。然而，我不能决定我所拥有的数据是否足以通过LDA获得有意义的结果，或者我还能做些什么。
另外，如何将文本划分为不同的文档？140个文档(每个文档大约有7000 x 17个单词)足够了吗？或者我应该把每一句话都看作是一个文件。但是，每个文档平均只有17个单词；很像tweet。
任何建议都会很有帮助。提前谢谢。
浏览 0提问于2017-12-15得票数 0
2回答
我收集了学生的论文。每一篇文章都是关于相同的主题和相同的单词长度。我的目标是开发一种机器学习算法，它精确地指出“陈词滥调”句子(即“非原创”的句子，类似于其他学生所写的句子)。
让X文档成为我们要分析的文章。让S成为所有散文的集合。下面是我所想到的最基本的方法：
将所有文章(从S-X组)分割成单独的句子。调用这个句子集合Y。使用这个解决方案将X的每个句子与Y中的每个句子进行比较。这将为X中的每个句子提供一系列的Z分数。
对于每一个Z:根据位置加权Z中的每个分数。如果X中的一个句子和Y中的一个句子在他们各自的文章中处于相似的位置(例如，两者都在文章的开头)，则Z中相应分数的权重将高于这两个句子之
浏览 0提问于2021-04-05得票数 0
1回答
我正试图用Python开发一个程序，它可以处理原始聊天数据，并对意图相似的句子进行聚类，这样它们就可以作为训练示例来构建一个新的聊天机器人。其目标是使其尽可能快速和自动(即不需要手动输入参数)。
对于特征提取，我标记每个句子，停止其单词，并使用Sklearn的TfidfVectorizer对其进行矢量化。
然后我用Sklearn的DBSCAN对这些句子向量进行聚类。我之所以选择这种聚类算法，是因为它不需要用户指定所需的集群数量(比如k均值中的k参数)。它抛弃了许多句子(将它们视为异常值)，但至少它的聚类是同质的。
整个算法在相对较小的数据集(10000句)上工作，并生成有意义的聚类，但有几个问
浏览 2提问于2017-12-14得票数 0
回答已采纳
1回答
我有一套独特的句子。对于每一个句子，我计算出一个语义相似度分数(0到1之间)，其余的句子，如下面的例子所提到的。
例如，
Dataset = {sen1, sen2, sen3, sen4,..., senN}
对于sen1，我计算成对的语义相似度分数如下。
sen1 and sen2 = 0.3
sen1 and sen3 = 0.7
sen1 and sen4 = 0.9
...
...
...
sen1 and senN = 1.0
同样，对于所有的句子，我计算成对的语义相似性分数。
既然，我得到了一个成对的价值，能不能把这些句子聚在一起？在我的情况下，最合适的聚类技术是什么？
(我想根
浏览 0提问于2017-08-11得票数 0
回答已采纳
1回答
文本聚类算法
、、、
我遇到了一个问题，那就是把大量的句子按意义聚成一组。这类似于一个问题，当你有很多句子，并想按它们的含义分组。
我们建议采用什么算法来做到这一点？我不知道集群的数量(随着越来越多的数据也会发生变化)，通常使用哪些特性来表示每个句子？
我现在正在尝试最简单的特性，只列出单词和句子之间的距离，定义为：
|A \cup B \ A \cap B|/|A \cup B|
(A和B是句子A和B中相应的一组词)
这有意义吗？
我正在尝试将中移算法从scikit库应用到这个距离，因为它不需要预先使用多少集群。
如果有人愿意为这个问题提供更好的方法/方法--这将是非常感谢的，因为我对这个话题还不熟悉。
浏览 0提问于2014-08-15得票数 17
回答已采纳
我现在正在尝试学习keras的细节。在处理包含句子的数据集时，我将执行以下操作
from keras.preprocessing.text import Tokenizer
max_features = 2000
tokens = Tokenizer(num_words=max_features)
tokens.fit_on_texts(list(X_train))
tokenized_train = tokens.texts_to_sequences(X_train) # Converting to ints
tokenized_test = tokens.texts_to_sequenc
浏览 33提问于2020-05-13得票数 1
回答已采纳
1回答
语音处理解释中的矢量量化
、、、
我很难从中准确地确定如何复制标准矢量量化算法来根据一组训练数据来确定未知语音输入的语言。以下是一些基本信息：
抽象信息语言识别(如日语、英语、德语等)使用声学特征是当前语音技术中一个重要而又困难的问题。..。本文使用的语音数据库包含20种语言: 16种句子，其中男性4种，女性4种。每句话的持续时间约为8秒。第一种算法基于标准矢量量化(VQ)技术。每一种语言都有自己的VQ码本，
。
识别算法第一种算法是基于标准矢量量化技术的。每一种语言，k，都有自己的VQ码本，
。在识别阶段，输入语音被量化。
计算了累积量化失真( d_k )。被认为是最小失真的语言。计算VQ失真，几种LPC谱失真测度是a
浏览 3提问于2010-02-16得票数 5
回答已采纳
1回答
我有一堆句子，我想要分类。对于每个句子，我使用word2vec生成一个单词嵌入。我还进行了聚类分析，将句子聚为三个单独的聚类。
我想要做的是使用集群id (1-3)作为我的模型的一个特性。不过，我只是不太清楚该如何做？我似乎找不到一篇很好的文章，清楚地说明了如何做到这一点。
我在想，我可以为集群id创建一个热嵌入，然后以某种方式将热嵌入与单词嵌入结合起来？我真的不知道在这里该怎么办。
我已经有了一个模型，它将使用单词嵌入并对句子进行分类：
X=Data[word_embedding].values
y=Data[category].values
indices = filtered_prod
浏览 13提问于2022-08-24得票数 1
回答已采纳
我很难理解为什么平均字嵌入的方法可以获得句子嵌入，特别是考虑到这篇文章如何利用嵌入层获取短语的向量表示并进行主成分分析的运用。我现在的问题实际上是理解这个更实际的职位背后的理论。
问题链接的答案使用了一种句子嵌入方法，即平均单词嵌入(在最简单和最简单的情况下，我们通过从神经网络模型的嵌入层提取向量来获得单词嵌入，因此无需使用预先训练的神经网络模型)。
这种方法看起来很有效，因为PCA空间中的单词根据它们所属的类标签进行聚类。为什么会起作用？
我试图给出的个人解释如下: Tokenizer根据单词频率为每个单词分配一个整数(假设我们选择单词作为标记)：整数较低意味着更频繁的单词(通常前几个是停止
浏览 0提问于2022-01-25得票数 1
回答已采纳
2回答
是什么使光谱聚类比Kmeans聚类更好？我知道Kmeans聚类是光谱的最后一步。但是，为什么前面涉及到的谱聚类步骤使其成为一种更方便的聚类方法？
浏览 0提问于2018-08-02得票数 3
1回答
目的:有许多语句需要组织和聚类(类似的关键字组织在一起)。
我的技术知识:在过去三个星期里学习了Python和Tensorflow相关的内容。学到了一些基本知识。
首先读取csv文件
keywords = pd.read_csv("copy.csv")
cover_words = []
for row in keywords.Keyword:
cover_words.append(row)
托卡器&序列
# Tokenizer
tokenizer = Tokenizer(num_words = 10000, oov_token='<OOV>&
浏览 3提问于2020-11-08得票数 0
3回答
最近，我正在研究句子分类问题，这些句子只是一到两行关于产品的评论，客户在那里发布关于产品必须提供的各种功能的反馈。经过预处理(删除停用词和词干)后，我使用特征提取库(如word2vec，tf-idf)和聚类算法(k-mean)对我的句子进行无监督句子分类-输出是相当可接受的。然而，我正在寻找更多关于聚类算法的选择，特别是想尝试LDA来进一步提高输出质量。然而，我遇到了的论文，列出了LDA上用于句子分类的一些事实。
我的问题是-在句子(而不是文档)分类中使用LDA会有帮助吗？此外，除了K-mean之外，还有什么其他非监督学习可以很好地用于句子分类。预先感谢您的所有建议。
注意:我正在使用pysp
浏览 0提问于2017-10-24得票数 1
1回答
将词聚成同义组(同义词)
、、、、
如何将单词聚在一起(同义词)？
我从预先训练过的单词嵌入(例如谷歌新闻)开始，这是很棒的，但并不完美--一个限制出现了，因为嵌入这个词是基于周围的单词。这将带来具有挑战性的结果。例如：
极性意义:单词嵌入可能会发现相反的东西是相似的。尽管这些词在语义上是相反的，但如果前面和后面的单词相同，它们也可以很容易地互换。例如，在下面的句子中，“可怕”和“奇妙”很容易互换：“我今天听到了一些____新闻”。另一个例子是“高兴”和“不开心”在下面的句子：“我非常____与服务”。
委婉语:嵌入词可以发现委婉词和双峰词是相似的。即使这些词被认为是非常不同的，它们仍然可以很容易地互换，因为相同的前面和后面的单
浏览 0提问于2021-05-17得票数 1
1回答
我是NLP的新手。我只有100行文本句子(数据格式中的100行)，每个句子的平均单词长度为10。我想知道什么有趣的洞察力(简单描述高级)可以得到使用NLP技术。我不打算预测任何东西，只想分析并得到一些有趣的见解。
我已经想到了下面的项目，可以用我拥有的样本数据来完成。
计算一个句子中每个单词出现的次数，最后在我的句子列表中找出最常用的(顶部)单词和使用最少的(底部)单词。
使用NER查找每个句子中的实体。在我所拥有的句子中，哪个实体被讨论得最多？
使用文本相似性度量方法找出哪些句子相似。
我能辨认出这句话的感情
LDA能否用来识别句子的主题(平均有10个单词)，而我的数据集本身只有100个句子
浏览 0提问于2021-07-02得票数 1
回答已采纳
1回答
聚类和分类的详细信息
、、、
我正在做一项家庭作业，其中涉及聚类和分类，并需要一些帮助，因为我被困。
我有一个文件，大约有10000行，每一行都有一个随机句子，例如
他喜欢计算机科学的工作
他以前在医疗行业工作过。
她喜欢和孩子们玩
他在计算机科学领域有5年的经验。
我需要从所有输入集中构建多个聚类，然后将每个句子放入一个聚类中。
例如：
COMPUTER SCIENCE: he likes computer science jobs
COMPUTER SCIENCE: he has had 5 years experience in computer science field.
KIDS: she likes
浏览 3提问于2014-11-30得票数 0
回答已采纳
1回答
我正在尝试建立一个基于支持向量机的情感识别模型。我有一个很大的句子数据集，每个句子都有一个标记的情感。经过文字预处理后，我有一个熊猫数据框架，里面有标记化的句子，就像它可以在1中看到一样。
。
我的目标是将所有这些标记化的句子转换为单词嵌入，这样我就可以训练像SVM这样的模型。问题是如何将此日期框架用作word2vec或任何其他单词嵌入模型的输入。
浏览 8提问于2022-07-17得票数 1
回答已采纳
我是机器学习的初学者。我的项目是制作基于人工智能的搜索引擎，当我们在网站上搜索时会显示相关的文章。为此，我决定训练我自己的嵌入。
我找到了两种方法：
一是训练网络寻找下一个单词(即inputs=快，快的棕色，快的棕色的狐狸和outputs=布朗，狐狸，懒惰 )。
另一种方法是用最近的词(如布朗，狐狸，布朗，快，布朗，快)进行训练。
我应该使用哪种方法，在训练之后，如何将句子转换成一个向量来应用余弦相似度意味着句子--快棕狐将返回4个向量，如何将其转换为余弦相似度(只需要一个向量)与另一个句子进行匹配。
浏览 0提问于2020-08-05得票数 0
2回答
我遇到了一个问题，我有一套对象(比如智能手机，以便于解释)。对于每部手机，我们收集了几个特征特征(比如通话的持续时间，打了多少次电话，接收到的电话等等)，为期3个月(比如说)。现在，根据收集到的数据集，我们需要将手机分组成集群。情况大致如下所示：
📷
我的第一个想法是遵循我们在处理图像的过程中所做的事情。从图像矩阵中提取一个向量，然后进行聚类。在我的例子中，我们通过保持时间序列来生成向量。因此，对于每个电话，如果数据集的大小是m，并且有n个这样的电话，我们构建一个大小为n (m )的数据集。不过，我不能决定这种做法是否有问题，或会否达到我们的要求。
我正在寻找一些ideas.Any的建议，将不
浏览 0提问于2019-07-31得票数 2
1回答
请就与文本专题聚类有关的起点、研究(论文、框架)提供咨询意见。特别是在具有两个聚类级别的系统上，其中第二级具有时态性质。谢谢!
更新：
抱歉，我的第一个问题含糊不清。我需要澄清的是，我有一般的聚类经验，尤其是文档聚类的经验，在向量空间中使用TFIDF、word嵌入(word2vec、Glove和BERT语句嵌入)的文本。
我的问题来源于一些提到“第二层次具有时间性质的文本主题聚类的两个层次”的文本。我只想知道这种技术，特别是集群中使用的“时态特性”。
浏览 0提问于2020-04-05得票数 1
4回答
是否有在结构化数据中执行聚类的深度学习文献/参考资料？我知道这可以使用Kmeans，GMM等来完成，但是有没有可能使用深度神经网络等来完成聚类分析呢？谢谢。
浏览 0提问于2019-02-01得票数 0
3回答
选择相似的句子
、、
如果我有一组句子，并且我想提取副本，我应该像下面的例子那样工作：
sentences<-c("So there I was at the mercy of three monstrous trolls",
"Today is my One Hundred and Eleventh birthday",
"I'm sorry I brought this upon you, my",
"So there I was at the mercy of three monstro
浏览 5提问于2021-02-20得票数 3
回答已采纳
2回答
我浏览了ML项目的想法，发现了一个有趣的想法(只是问题陈述)：用歌词检测两首歌是否相似。我发现这是一个有趣的想法，但我不太确定我将如何得到一个分数的相似歌曲。对于我的数据集，我有类型，艺术家和歌词的特点。考虑到一开始就没有这样的“训练数据”，什么是评估相似性的潜在方法。
我遇到过一些嵌入词之类的东西，但它们的作用对我来说并不十分清楚。此外，我认为他们没有考虑到像歌曲一样的功能，比如类型标记比，情感等级，单词密度(每个句子的平均单词数)等等。
首先根据“高级特征”(如类型标记比、情感等)对歌曲进行聚类，然后再进行语义相似性度量，即在同一聚类中对歌曲的词嵌入进行余弦相似性度量，这种方法是否有意义？
浏览 0提问于2019-04-21得票数 1
3回答
我对数据挖掘并不感兴趣，但我需要一些关于聚类的想法。让我先描述一下我的问题。
我有大约100份包含用户评论的数据表。我正在尝试为实例寻找描述质量的单词。有人可以说这是惊人的质量，另一个人可以说非常好的质量，现在我必须对描述这些相似句子的文档进行聚类，并获得这些句子的频率。在这里应用什么概念？
我想我必须指定一些停用的单词和同义词。我对这个概念不是很熟悉。
有人能给我一些详细的链接或解释吗？使用什么工具？我基本上是一个python程序员，所以任何python模块都会很感激。
谢谢
浏览 2提问于2011-04-04得票数 3
回答已采纳
我有一个包含描述的pandas数据格式。我想根据CBOW的含义对描述进行聚类。我现在面临的挑战是将每一行嵌入到等维向量中。首先，我使用gensim训练单词向量，如下所示：
from gensim.models import Word2Vec
vocab = pd.concat((df['description'], df['more_description']))
model = Word2Vec(sentences=vocab, size=100, window=10, min_count=3, workers=4, sg=0)
然而，我现在有点困惑如何用相
浏览 0提问于2018-11-22得票数 1
回答已采纳
2回答
我试图实现文本聚类的k-均值，特别是英语句子。到目前为止，对于每个文档(句子)，我都有一个术语频率矩阵。我对文本数据上k均值的实际实现有点困惑。这是我对它应该如何工作的猜测。
计算出所有句子中唯一的单词数(一个大的数字，叫它n)。
创建k n维向量(集群)并使用一些随机数填充k向量的值(如何确定这些数字的界限？)
确定从每个q语句到随机k簇、重新定位簇等之间的欧几里德距离(如果n非常大，就像英语一样，那么计算这些向量的欧几里德距离会不会非常昂贵？)
谢谢你的洞察力！
浏览 1提问于2016-11-03得票数 0
回答已采纳
1回答
神经网络输入形状
、、、
考虑一下，如果我的语料库有5个句子，其中最大的句子大小是10个单词。
因此，嵌入矩阵是否为5x10。
神经网络输入层的输入形状是什么，或者如何将数据作为神经网络的输入。
浏览 3提问于2020-09-10得票数 0
回答已采纳
1回答
谷歌的Word2vec在自然语言处理任务中被证明是强大的。我对这个工具还很陌生，不清楚它到底能做什么。
假设我们有一句话：“这个周末我要去纽约。”
基于这句话，我们有很多选择来转换它。例如：
1)“这个周末我要和爸爸去纽约。”
2)“这个周末我要去洛杉矶。”
3)“这个周末我不去纽约。”
我想从word2vec得到的是，给定基本句子，我如何预测它的转换之一是最有可能的转换？或者，给定一个变换，我们可以在基本句子之上计算概率。
一个额外的问题是，除了word2vec之外，还有没有其他工具可以达到同样的目的？
浏览 1提问于2015-07-09得票数 1
1回答
如何根据编辑距离对句子进行分组？
、、、、
我有大量的句子(36k句)和它们的POS标签(POS列表)，我想使用编辑距离/Levenshtein对POS列表中的元素进行分组/聚类：
(如Sentx POS tags= CC DT VBZ RB JJ，Sentx tags= CC DT VBZ RB JJ )在集群编辑距离=0，
而(CC DT VBZ RB JJ，CC DT VB RB JJ)在簇编辑距离=1。
我理解聚类算法是如何工作的，但我很困惑如何在python中处理这样的问题，以及如何将集群存储在数据结构中，这样我就可以轻松地检索它们。
我试着创建一个矩阵(用语料库中的所有句子来度量每个句子的距离)，但是需要很长时间来处理。
浏览 4提问于2017-05-21得票数 2
3回答
我想知道如何将文本装饰放在<li>的一个特定部分，而不是整个句子。这是一个代码片段。
<ul>
<li>I'm a List item!</li>
<li style="text-decoration:line-through">From Here til here should have a line through, not these words</li>
谢谢!
浏览 2提问于2017-10-10得票数 0
回答已采纳
1回答
我正在使用DBSCAN算法进行tweet聚类。在应用该算法之前，我使用了所有的预处理步骤，并将句子转换成矢量格式。然而，它总是在'0‘类中放置大量的tweet。下面是显示eps和集群数量的图。
📷
下面是我传递的参数。
dbscan = DBSCAN(eps=0.15, min_samples=2, metric='cosine').fit(x)
以下是产生的集群。
📷
label
-1 1221
0 1349
1 2
2 2
3 4
...
67 3
68 3
浏览 0提问于2020-11-05得票数 1
1回答
目前，我们在源代码中有10条thoundands日志消息，由不同的组维护。
有些信息可能是相似的，但句子不一样。我的目的是创建一个包含统一消息的集中式文件，以供参考。
例如：
printf(“未能打开文件%s"，文件) printf("%s:未能打开文件% the”，时间戳，文件)
我可以提取出bold.They中所有的消息体都不是严格的英语句子。但是手动分类需要花费太多的时间。
是否有一种自动分类日志的方法？我只想减少体力劳动。
浏览 0提问于2019-02-26得票数 0
我正在构建一个模型，该模型将预测流经管道的产品的提前期。
我有很多不同的功能，其中一个是一个字符串，其中包含一些关于产品用途的单词(通常是缩写，应用程序的名称，等等)。我以前在做功能工程的时候根本没有用过这个字段。
我在想，最好对这些数据进行某种类型的聚类，然后使用集群ID作为我的模型的一个特征，也许交付期与该字段中存在的信息类型相关。
以下是我的思路)
1)清理和标记化文本。
2) TF-IDF
3)集群
但仔细想想，这是个坏主意吗？因为聚类是基于旧数据的，如果在新数据中引入新词，聚类算法将不会捕获新单词，因此现在可能应该以不同的方式对数据进行聚类。这是否意味着每当我想要预测新的数据点时，我
浏览 1提问于2020-02-09得票数 1
1回答
我得到了一份美国县的列表，其中包含贫困、人口等数据，并使用k均值算法进行了聚类。我对聚类进行了交叉验证，如下所示:我将县分为一个训练集和一个坚持集。我在聚类过程中去掉了贫困特征，然后对于坚持集中的每个县，我找到了最近的聚类，然后从最近聚类的平均贫困中减去了该县的贫困。最后，我将上面的差值平方，对坚持集合中的每个县进行求和，然后除以坚持集合中的县的数量。然后我做了同样的事情，但这一次贫困特征参与了聚类。我观察到错误比以前明显减少了，但我读到这是某种程度上的“作弊”。什么是直观的方式来理解为什么在聚类中包含贫困是错误的？
浏览 0提问于2012-12-09得票数 0
回答已采纳
1回答
地理定位聚类
、、
我正试图将点聚到最近的邻居。我有一个包含人口、纬度和经度的数据集。由于聚类工作在距离测量和这里的协调是地理位置，我如何处理这个问题在python？
浏览 11提问于2022-11-02得票数 0
1回答
我试图使用相似度(可能是余弦)来聚类一些句子，然后使用分类器将文本放入预定义的类中。
我的想法是使用tensorflow生成单词嵌入，然后对每个句子进行平均。接下来使用聚类/分类算法。
tensorflow是否准备好使用word2vec生成算法？
一袋单词模型会产生很好的输出吗？
浏览 4提问于2017-05-04得票数 0
回答已采纳
2回答
我有一组逐字逐句的句子，我试着做的是....if两个句子有相同的意思，这些句子应该被原来的句子替换，然后我必须计算这些句子的频率。
有没有办法可以用NLTK来做呢？在这方面的任何建议都是欢迎和赞赏的。我正在寻找NLP方法。谢谢
浏览 1提问于2018-05-02得票数 1
2回答
字符串的聚类算法
、、、、
我必须实现一个模块，在这个模块中，我需要将具有相似含义的句子(字符串)分组到不同的集群中。我读到了k-means，EM聚类等，但我面临的问题是，这些算法是用图上的矢量点来解释的。我不明白如何为具有相似含义的句子(字符串)实现这些算法。请建议一些适当的方法。
例如，让我们考虑一个课堂场景。1)教师知识丰富。2)学生理解老师所教的内容。3)老师有时上课很守时。4)老师在课堂上是听得见的。
假设我们有这4个句子。然后看着它们，我们可以说句子1和2的意思是相似的。但第三句和第四句既不相关，也不与前两句相关。通过这种方式，我需要对句子进行分类。那么，如何才能做到呢？
浏览 1提问于2016-03-24得票数 1
我使用Google News数据集加载了一个word2vec模型。现在，我想要获得我希望聚类的句子列表的Word2Vec表示。在浏览完之后，我找到了这个gensim.models.word2vec.LineSentence，但我不确定这就是我要找的。
应该有一种方法可以从预先训练的模型中获得句子列表的word2vec表示，对吗？我搜索的链接中没有任何关于它的内容。任何线索都将不胜感激。
浏览 1提问于2017-07-13得票数 0
回答已采纳
1回答
如何根据行值对数据帧进行排序。也就是说，我有一行包含文本数据，想要提供基于相似性的排名吗？下面是样本数据集，原始数据集包含约100000条记录。关于，请参考这个问题
有一些方法进行了测试，对相似句子进行聚类，小数据集，请参考以上所附链接。输出，我们需要聚类相似的句子，不管长度。
示例-使用python匹配句子，这要感谢。如果句子长度较短，下面的代码运行良好
df = (
df
.assign(
match=df["text"].map(
lambda x: [
i
浏览 13提问于2022-03-07得票数 1
在sklearn中使用K-means聚类方法时，我将点聚类成两组。如何将点编号较大的群的k_means.labels_设置为‘0’(而不是1)？
谢谢!
浏览 0提问于2015-06-17得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
