首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >LDA vs Word2Vec。预测邮件收件人的正确解决方案是什么?

LDA vs Word2Vec。预测邮件收件人的正确解决方案是什么?
EN

Stack Overflow用户
提问于 2017-10-20 04:46:49
回答 2查看 2.5K关注 0票数 1

我正在研究各种NLP算法和工具来解决以下问题;这里是NLP新手,如果它太基础了,请原谅我的问题。

比方说,我有一个消息应用程序,用户可以向一个或多个人发送文本消息。当用户键入消息时,我希望应用程序向用户建议谁是该消息的潜在收件人?

如果用户"A“向用户"B”发送了大量关于“猫”的文本消息,向用户"C“发送了一些消息,并且向用户"D”发送了许多关于“政治”的消息,那么下次用户键入关于“猫”的消息时,应用程序应该建议"B“和"C”而不是"D“。

所以我正在做一些关于主题建模和词嵌入的研究,发现LDA和Word2Vec是我可以使用的两种可能的算法。

我想向你请教一下你认为哪一个更适合这个场景。

我的一个想法是,使用LDA从以前的消息中提取主题,并根据主题在过去被讨论的次数(即发送的消息)对消息的收件人进行排名。如果我有主题的映射和您谈论它的用户的排序列表(根据频率排名),那么当用户键入消息时,我可以再次对消息运行主题提取,预测消息是关于什么,然后查找映射以查看谁可以是可能的收件人并显示给用户。

这是一种好的方法吗?或者,Word2Vec (或doc2vec或lda2vec)更适合于这个问题,在这个问题中,我们可以使用单词的向量表示来预测相似的消息,也就是单词嵌入?我们真的需要从消息中提取主题来预测收件人吗?你认为其他算法或技术会工作得最好吗?

你的想法和建议是什么?

谢谢你的帮助。

EN

回答 2

Stack Overflow用户

发布于 2017-10-20 23:01:06

由于你纯粹是从以前的帖子中提取主题,在我看来,LDA将是一个更好的选择。LDA将描述事件的统计关系。大部分单词的语义将被忽略(如果你正在寻找它,那么你可能需要重新考虑)。但我也建议看一看混合方法。我自己没有试过,但看起来很有趣。

lda2vec new hybrid approach

另外,如果你碰巧尝试过,我很想知道你的发现。

票数 1
EN

Stack Overflow用户

发布于 2019-04-24 01:20:09

我认为你正在寻找的推荐系统(Netflix电影推荐,亚马逊购买推荐等)或网络分析(Facebook好友推荐),它们利用主题建模作为属性。我会试着把它们分解:

网络分析:

FB朋友是网络的节点,其边是友谊关系。计算中间中心度,找到节点之间的最短路径,将最短边存储为列表,紧密度中心度是节点之间的长度总和。

推荐系统:

推荐什么是流行的,看用户相似的,建议用户可能感兴趣的东西,通过测量指向同一方向的向量之间的角度来计算余弦相似度。

LDA:

topic modeler for text data - returns感兴趣的主题可以用作上述算法中的嵌套算法。

Word2Vec:

这是构建LDA的必要步骤,它看起来是这样的: word -> #SAY324然后计数频率say它在一个句子中出现两次:

这是一句话。

(1,1),(2,2),(3,1),(4,1),(2,2)

这是一个神经网络,您可能必须将其用作预处理步骤。

我希望这能有所帮助:)

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/46838638

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档