使用Mallet LDA随时间变化的主题比例
Mallet LDA是一种基于隐含狄利克雷分布的主题模型，用于对文本数据进行主题建模和主题分析。它可以帮助我们发现文本数据中隐藏的主题，并分析这些主题在不同时间段的变化情况。
主题模型是一种统计模型，用于发现文本数据中的主题。主题可以理解为一种概念或话题，它代表了文本中一组相关的词语。通过主题模型，我们可以了解文本数据中不同主题的分布情况，以及这些主题随时间的变化趋势。
Mallet LDA的优势在于其高效的处理速度和准确的主题建模能力。它采用了Gibbs采样算法，能够快速地对大规模文本数据进行主题建模。同时，Mallet LDA还具有良好的可扩展性，可以应用于各种规模的文本数据集。
Mallet LDA的应用场景非常广泛。例如，在新闻数据分析中，可以利用Mallet LDA来发现不同时间段新闻报道的主题变化，从而了解社会热点的演变趋势。在社交媒体分析中，可以利用Mallet LDA来分析用户的发帖内容，发现用户兴趣的变化。在市场调研中，可以利用Mallet LDA来分析用户评论和反馈，了解用户对产品的评价和需求变化。
腾讯云提供了一系列与文本数据处理和分析相关的产品和服务，可以与Mallet LDA结合使用。其中，推荐的产品包括：
- 腾讯云自然语言处理（NLP）：提供了一系列文本分析的API接口，包括分词、词性标注、情感分析等功能，可以与Mallet LDA结合使用，进一步分析和挖掘文本数据中的主题信息。详细信息请参考：腾讯云自然语言处理
- 腾讯云数据分析（Data Analysis）：提供了数据仓库、数据湖、数据集成等一系列数据分析和处理的产品和服务，可以用于存储和处理大规模的文本数据集，为Mallet LDA提供数据支持。详细信息请参考：腾讯云数据分析
- 腾讯云人工智能（AI）：提供了一系列与人工智能相关的产品和服务，包括图像识别、语音识别、机器学习等功能，可以与Mallet LDA结合使用，实现多模态数据的主题建模和分析。详细信息请参考：腾讯云人工智能
通过以上腾讯云的产品和服务，结合Mallet LDA，您可以更好地进行文本数据的主题建模和分析，从而深入挖掘文本数据中的信息和价值。
相关·内容
老实说，我不熟悉LDA，但我需要在我的一个项目中使用MALLET的主题建模。
我的问题是:给定特定时间戳内的一组文档作为主题模型的训练数据，使用模型(使用推理器)来跟踪主题趋势(对于文档+或-训练数据的时间戳)是合适的吗？我的意思是，如果在模型构建阶段，我们只提供了我需要分析的数据集的一个子集，那么MALLET提供的主题分布是否适合跟踪主题随时间的受欢迎程度。
谢谢。
浏览 1提问于2010-11-10得票数 2
回答已采纳
我有一个使用MALLET训练的LDA主题模型，但是我想计算两个文档之间的余弦相似度来获得相似度，但是我不确定我要计算哪个文件的余弦。
我的余弦相似度函数运行得很好，但我不确定我在MALLET中比较的是什么。
任何帮助都将不胜感激！
浏览 1提问于2017-04-07得票数 0
我想做一个9GB语料库上的LDA主题建模。该计划是训练使用MALLET的LDA模型在100个主题的1000次迭代中，在200次迭代结束后每10次优化一次超参数。我的工作是64位Win8，计算机有16™内存，英特尔核心™i7-4720™处理器。有人能告诉我这需要多长时间吗？我们说的是几个小时还是几天？这是我在这里问的第一个问题，所以如果我跳过了一些重要的信息，请告诉我。
浏览 0提问于2016-05-15得票数 3
回答已采纳
1回答
在MALLET文档中，主题模型训练需要--keep-sequence标签(详情请参见：)
然而，据我所知，常规的LDA建模使用文档作为词袋，因为包括二元语法将大大增加特征空间。我想知道为什么MALLET在LDA训练中需要保持顺序，以及MALLET实际上是如何使用顺序信息的？
感谢您阅读这篇文章。
浏览 1提问于2015-03-13得票数 2
2回答
我正在使用mallet中的LDA来探索我的数据。我对跑步没有任何问题，只是我需要有排名靠前的单词的概率(假设20个单词)
我使用这个查询：
bin\mallet train-topics --input tutorial.mallet --num-topics 40 --optimize-interval 20 --output-state topic-state_doc_40t.gz --output-topic-keys tutorial_keys_doc_40t.txt --output-doc-topics tutorial_composition_doc_40t.txt
我不知
浏览 9提问于2017-02-07得票数 1
回答已采纳
可以用LDA的锤子实现来绘制pyLDAvis图吗？我使用LDA_Model没有问题，但是当我使用Mallet时，我会得到：
'LdaMallet' object has no attribute 'inference'
我的代码：
pyLDAvis.enable_notebook()
vis = pyLDAvis.gensim.prepare(mallet_model, corpus, id2word)
vis
浏览 5提问于2018-05-15得票数 6
我有一个在Java中通过Mallet训练的LDA模型。从Mallet LDA模型生成了三个文件，这允许我从文件运行模型并推断新文本的主题分布。
现在，我想实现一个Python工具，它能够根据经过训练的LDA模型，在给定新文本的情况下推断主题分布。我不想在Python中重新训练LDA模型。因此，我想知道是否可以将经过训练的Mallet LDA模型加载到Gensim或任何其他python LDA包中。如果是这样，我该怎么做呢？
感谢您的回复或评论。
浏览 18提问于2017-05-04得票数 5
1回答
我正在使用PyLDAvis来可视化来自Mallet的LDA结果。 在此之前，我需要gensim库的包装器： model = gensim.models.wrappers.ldamallet.malletmodel2ldamodel(model_list[8]) 当我打印找到的主题时，它们的顺序是从0到10。 但是，当我使用pyLDAvis可视化主题时，主题顺序(0-10)与打印的主题不一致。 示例： (5,
'0.042*"euro" + 0.030*"smartpho" + 0.022*"camera" + 0.020*"
浏览 102提问于2019-12-13得票数 2
我想知道如何通过语料库中130个.txt文件(月度数据)中的句子来训练锤子LDA。当我按文档级别估计时，我面临的问题是，主题比例加班的情节非常奇怪。例如，随着时间的推移，比例仍然不会改变，在某些主题中比例也不会改变。
下面是我使用的编码脚本。
dir <- "C:/Users/Dell/desktop/MPSCLEANED"
setwd(dir)
require(mallet)
documents <- mallet.read.dir(dir)
mallet.instances <- mallet.import(documents$id, doc
浏览 2提问于2018-02-13得票数 1
回答已采纳
我正在使用Gensim的Mallet包装器进行主题建模- LdaMallet(path_to_mallet_binary, corpus=corpus, num_topics=100, id2word=words, workers=6, random_seed=2) 虽然上面的工作速度惊人地快，但获取每个文档(n=40,000)的主题分布的步骤(见下文)花费了很长的时间。 #Store topic distributuon for all documents
all_topics=[]
for x in tqdm(range(0, len(doc_list))):
all_topic
浏览 37提问于2020-06-13得票数 0
1回答
我运行文件simple lda.java，在线程"main" java.lang.ArrayIndexOutOfBoundsException: 0 at cc.mallet.topics.SimpleLDA.main(SimpleLDA.java:560)中得到异常
浏览 4提问于2017-07-05得票数 1
1回答
我使用gensim lda进行主题建模，并获得如下结果：
主题1: word1 word2 word3 word4
主题2: word4 word1 word2 word5
主题3: word1 word4 word5 word6
但是，在相同的lda上使用mallet不会在主题之间产生重复的单词。我有大约20个文档，每个文档>1000个单词，我在这些文档上训练lda。如何摆脱出现在多个主题中的单词？
浏览 5提问于2018-02-08得票数 0
1回答
我在R中实现了LDA主题建模。
一个重要的参数是主题数目的选择。
下列哪种方法最适合：
1. mallet
2. stm
3. or this way https://cran.r-project.org/web/packages/ldatuning/vignettes/topics.html
浏览 0提问于2020-06-11得票数 1
回答已采纳
在MALLET主题建模中，--output-topic-keys [FILENAME]选项在每个主题旁边输出一个参数，该参数在MALLET站点的教程中称为主题的"Dirichlet参数“。
我想知道这个参数代表什么？它是LDA模型中的β吗？如果不是，它是什么，它的意义和用途是什么。
我注意到，当我在生成主题模型时不使用参数优化选项时，该参数在版本2.0.7中与在版本2.0.8中不同。我想知道为什么会出现这种差异。
下面是2.0.7版的输出
和2.0.8
我知道每次运行的输出都不同，但我只关心这个参数。
浏览 55提问于2017-07-18得票数 4
回答已采纳
2回答
我是主题模特儿哈佛图书馆的书名和主题。
我使用Gensim Mallet包装与Mallet的LDA建模。当我试图得到一致性和困惑值来看模型有多好时，困惑无法计算出下面的例外。如果我使用Gensim的内置LDA模型而不是Mallet，我就不会得到相同的错误。我的语料库中包含的7M+文档长达50字，平均20字，所以文档很短。
下面是我代码的相关部分：
# TOPIC MODELING
from gensim.models import CoherenceModel
num_topics = 50
# Build Gensim's LDA model
lda_model = gensim
浏览 5提问于2019-03-21得票数 1
1回答
我正在研究文本分类，我想使用主题模型(LDA)。我的语料库中至少有24,000份波斯新闻文件。语料库中的每个文档都是从新闻中提取的(关键字、权重)对的格式。
我看到了两个Java工具包: mallet和lingpipe。我读过有关导入数据的mallet教程，它以纯文本获取数据，而不是我所拥有的格式。我能改变它吗？
此外，还阅读了一些关于林格管的内容，教程中的例子是使用整数数组。大数据方便吗？
我需要知道LDA的哪个实现对我更好？还有其他适合我的数据的实现吗？(用Java)
浏览 6提问于2015-02-18得票数 0
回答已采纳
4回答
关于lda推断
、、
现在，我正在使用MALLET包中的LDA主题建模工具对我的文档进行一些主题检测。最初一切都很好，我从中得到了20个主题。然而，当我尝试使用该模型推断新文档时，结果有点令人费解。
例如，我故意在手动创建的文档上运行我的模型，该文档只包含"FLU“主题之一的关键字，但我得到的每个主题的主题分布小于0.1。然后，我在一个已经采样的文档上尝试了相同的方法，其中一个主题的得分很高，为0.7。同样的事情也发生了。
有没有人能解释一下原因？
我试着在MALLET邮件列表上询问，但显然没有人回复。
浏览 2提问于2010-12-07得票数 4
请帮助我解决以下错误。我试了很多，但是没有任何帮助。代码：
MALLET_PATH = './Mallet/bin/mallet'
def topic_model_coherence_generator(corpus, texts, dictionary, start_topic_count=2, end_topic_count=10, step=1,cpus=1):
models = []
coherence_scores = []
for topic_nums in tqdm(range(start_topic_count, end_topic
浏览 6提问于2020-03-13得票数 0
2回答
我在笔记本上写了LDA模型。我试图用mallet包装我的gensim LDA模型，得到以下错误： CalledProcessError:命令'../input/mymallet/mallet-2.0.8/bin/mallet import-file --preserve-case --keep-sequence --remove-stopwords -token-regex "\S+“--input /tmp/fbcc4b_corpus.txt --output /tmp/fbcc4b_corpus.mallet‘返回非零退出状态126。 由于第二行引发的错误： mallet
浏览 122提问于2020-06-28得票数 1
这个标题说明了一切。下面是一些测试代码：
import os
os.environ.update({'MALLET_HOME': r'C:/Users/somebody/a/place/LDA/mallet-2.0.8/',
'JAVA_HOME': r'C:/Program Files/Java/jdk1.8.0_131/'})
from gensim.corpora import mmcorpus, Dictionary
texts = [['human', 'in
浏览 7提问于2017-05-23得票数 4
在gensim LDA模型上训练LDA模型后，我通过包装器提供的malletmodel2ldamodel函数将模型转换为具有gensim锤子的模型。转换前后的主题词分布有很大不同。在转换后，mallet版本返回非常罕见的主题词分布。 ldamallet = gensim.models.wrappers.LdaMallet(mallet_path, corpus=corpus, num_topics=13, id2word=dictionary)
model = gensim.models.wrappers.ldamallet.malletmodel2ldamodel(ldamallet)
m
浏览 46提问于2019-02-14得票数 2
1回答
我试图通过添加另一层位置来扩展LDA模型。有没有可能在Mallet中再添加一层？如果是这样，我应该扩展哪些类？
我试图模拟的过程: 1.选择一个区域2.选择一个主题3.选择一个单词
浏览 8提问于2017-06-26得票数 1
2回答
我正在尝试使用Java进行主题建模。包中提供了一个方便的示例。但是，考虑到我的数据要大得多，我认为从一个文件导入这些数据是不切实际的。
我查看了另一个MALLET问题中链接到的powerpoint演示文稿，发现了一个叫做FileIterator的东西，我相信我应该能够用它来代替他们示例中使用的CsvIterator代码。但是，我不确定我是否正确地使用了它。我试着用它运行我的代码，它在创建FileIterator的过程中花费了不太实际的大量时间。我还没有深入研究MALLET代码来剖析这个问题，我想其他人可能已经对它了解得更多了。我能给它传递一个目录吗?该目录包含几个存储文档本身的目录？
还有一个
浏览 1提问于2014-11-14得票数 0
回答已采纳
我正在尝试理解LDA主题模型是如何在mallet API中实现的。在ParallelTopicModel类中，我可以看到一个名为typeTopicCounts的2Dint数组，它是在buildInitialTypeTopicCounts()方法中通过一些按位操作初始化的，稍后用于每个文档。我的问题是，这个数组值意味着什么？我能从源代码中得到的唯一信息是，它是通过特征索引、主题索引来索引的。
浏览 0提问于2017-06-21得票数 0
2回答
我正在尝试使用Python上Gensim的Mallet包装器将LDA应用于主题建模。我正在运行的代码如下：
MALLET_PATH = 'C:/mallet-2.0.8/bin/mallet'
lda_mallet = gensim.models.wrappers.LdaMallet(mallet_path=MALLET_PATH, corpus=bow_corpus,
num_topics=TOTAL_TOPICS, id2word=dictionary,
浏览 5提问于2020-04-02得票数 0
2回答
我想用木槌来训练话题。我的数据位于一个文件中，所以我研究mallet文档如何构造这个单一文件。
在中，在One文件下，每行节都有一个实例，据说：
网页的URL文本..。
在本例中，每行的第一个令牌(空格分隔，带有可选逗号)成为实例名称，第二个令牌成为标签，行上的所有附加文本都被解释为单词标记的序列。
因此，根据上面的引用，我以这样的方式创建了我的单个文件：
127 en some text here...
982 en some text here...
1003 en some text here...
...
然后导入这个文件：
bin\mallet import-fi
浏览 9提问于2016-12-07得票数 1
2回答
我目前正在做一些主题建模的事情(初学者)，我想使用mallet作为一些工具来让我理解这个领域，但是，我的问题是，我想训练一个基于1000个文档的模型，来构造一个模型，并在新的单个文档上使用该模型来生成其潜在的主题。
但是，就我读到的mallet教程而言，它总是说这个工具或API在文本语料库上很有用，这意味着它用于在几个文档中查找主题。
有没有一种方法可以基于模型(或从1000个文档中学习/构造的推理参数)找到单个文档上的主题？
有没有其他工具可以做到这一点？
非常感谢!
浏览 0提问于2013-07-11得票数 0
回答已采纳
from gensim.models.wrappers import LdaMallet
# mallet_path = 'C:/Users/kmuth/Downloads/mallet-2.0.8/bin/mallet' # update this path
mallet_path = '/content/drive/MyDrive/data/mallet/mallet-2.0.8/bin/mallet'
ldamallet = gensim.models.wrappers.LdaMallet(mallet_path, corpus=doc_term_matr
浏览 16提问于2022-02-28得票数 0
1回答
如果我在中运行cmd中没有空格的路径，这是可以的。
Mallet导入-dir--输入E:\Mallet\mallet-2.0.8RC3\sample-data\web\en -输出E:\Mallet\topicout\weben.mallet -保持顺序-删除-停止词
上面没问题。我将\n下面的文件复制到路径包含空格的另一个文件夹中。我在下面使用引号，但不起作用。Cmd提示错误数据\eco。您能帮我处理这个命令路径中的空格吗？
输入“F：\0经济学家数据\eco数据\最终经济学家1991-2016年从Abi Proquest\所有文章\cn article\cn_1991”-输出“F：\0经济
浏览 2提问于2019-03-09得票数 1
回答已采纳
1回答
我正在使用LDA(隐狄利克雷分配)主题建模进行基于内容的图像检索。我也希望使用Python来做同样的事情。我在Python for LDA for image dataset中找不到任何库/包，包似乎只适用于文本语料库。请在Python中为图像语料库推荐任何软件包，或简要列出执行图像LDA所需的步骤。
浏览 6提问于2017-03-07得票数 0
2回答
给出了一个标准的LDA模型，只有1000个主题和几百万个文档，使用Mallet /折叠Gibbs采样器进行培训：
当推断一个新文档时:为什么不直接跳过抽样，只使用模型的术语-主题计数来确定新文档的主题分配？我理解，在新文档上应用Gibbs抽样考虑到了新文档的主题混合，这反过来又会影响主题的组成(beta，术语-freq)。分配)。然而，由于主题在推断新文档时是固定不变的，我不明白为什么这应该是相关的。
抽样的一个问题是概率性质--有时会推断出文档的主题赋值，在重复调用时会有很大差异。因此，我想了解的理论和实际价值的抽样与仅仅使用确定性的方法。
谢谢本
浏览 3提问于2016-01-12得票数 2
回答已采纳
我正在尝试使用LDA MAllet模型。但我面临着“没有模块名为'gensim.models.wrappers'”的错误。
I安装了gensim，“gensim.models.LdaMulticore”工作正常。
Java developer工具包安装了
我已经下载了mallet-2.0.8.zip并解压缩到c:\ 上。
这是我试图使用的代码：
从os.environ.update({'MALLET_HOME':r'C:/mallet-2.0.8/'}) mallet_path = r'C:/mallet-2.0.8/bin/mallet
浏览 7提问于2021-03-31得票数 4
回答已采纳
在Python.Gensim实现中，我使用LDA进行主题建模，允许我们将alpha设置为'auto‘，如下所示：
alpha ({numpy.ndarray, str}, optional) –
’asymmetric’: Uses a fixed normalized asymmetric prior of 1.0 / topicno.
’auto’: Learns an asymmetric prior from the corpus (not available if distributed==True).
对于
浏览 2提问于2020-07-29得票数 1
回答已采纳
我正在尝试使用hLDA在已经检查过的mallet.Ihave 中进行主题建模。使用cmd
bin\mallet train-topics --input tutorial.mallet
根据这个。默认情况下，将执行LDA主题建模。如何将其更改为hLDA？任何建议都会很有帮助。
浏览 5提问于2017-03-10得票数 1
我已经使用了scikit-学习执行LDA主题建模，我最终想按整个语料库的显着性/频率对主题进行排序，但我不知道如何做到这一点。
我使用了幽门，虽然似乎没有办法提取频率和顺序，我需要创建特定的可视化。
这基本上是我到目前为止在主题建模方面所做的。
# Vectorize text data
vectorizer = countVectorizer()
tf = vectorizer.fit_transform(df)
# Fit LDA model
LDA = LatentDirichletAllocation(n_components = k)
LDA.fit(tf)
据我所知，最好的解决方
浏览 0提问于2021-07-28得票数 1
回答已采纳
1回答
我正在用Java中的term-topic-matrix. Mallet计算LDA的模型估计，并在寻找
计算模型并得到主题-文档-矩阵很好：
ParallelTopicModel model = ...; //... estimating the model
int numTopics = model.getNumTopics();
int numDocs = model.getData().size();
// Getting the topic-probabilities
double[][] tmDist = new double[numDocs][];
for (int i =
浏览 1提问于2015-01-13得票数 2
这是我第一次使用木槌LDA。基本上，我下载了mallet-2.0.8zip文件和JDK。我安装了JDK，将mallet-2.0.8解压到目标文件夹中。我设置了MALLET_HOME。这是我的密码
mallet_path='C:/Users/abc/mallet-2.0.8/bin/mallet'
ldamallet=gensim.models.wrappers.LdaMallet(mallet_path,corpus=corpus,num_topics=20,id2word=id2word)
但是，它给出了错误：
FILENOTFOUNDERRORERROR2
我试过了
浏览 1提问于2018-06-03得票数 3
1回答
如果我使用python进行LDA主题建模，可以使用transform函数获得LDA的“文档主题分布”--结果如下所示：
document_topic_distribution = lda_model.transform(document_term_matrix)
现在，我也尝试了R结构主题模型(stm)包，我想得到同样的。stm包中是否有任何功能可以产生相同的东西(文档主题分布)？我创建了stm对象如下：
stm_model <- stm(documents = out$documents, vocab = out$vocab,
K = nu
浏览 1提问于2018-10-23得票数 2
回答已采纳
我正在等待我在邮件列表上的成员资格得到确认，所以我想我应该在这里请求它，也许可以让事情更快一点。
我正在写关于主题建模和使用LDA和HLDA的Mallet实现的硕士论文。
我在一个超过400万个文档的语料库上工作。虽然LDA (ParallelTopicModel)很好地处理了数据集，但我没有遇到任何问题，HLDA无法在填满所有可用内存之前进行5-6次迭代(我甚至用90g的内存运行了程序)。在较小的数据集(10-20,000个文档)上，它是有效的。
这就是我训练模型的方式：
HierarchicalLDA hierarchicalLDAModel = new HierarchicalLDA()
浏览 0提问于2016-12-20得票数 2
1回答
我正在尝试使用Mallet来模拟topcis。我多次在博客文章和研究论文中看到建议限制每个文档的字数-在大多数情况下在1000字左右。当然，LDA需要最少的单词数这一事实是显而易见的。然而，建议将较大的文档拆分成较小的块是否真的有技术原因？我的文档大小在5k-20k之间。将一个5k文档拆分成多个文档会不会更好？
首先要感谢大家！
浏览 16提问于2021-03-13得票数 1
1回答
使用LDA随时间分布主题
、、、
我的目标是识别tweet的主题，并可视化主题的分布如何随着时间的推移而变化。据我所知，最好的方法是使用stm包，但我对它有一些问题。所以，我唯一的选择就是做一个简单的LDA。 基于每个tweet的主题份额，我汇总了每年的主题份额，并将每个主题份额与每年的总份额进行比较(与这里的https://towardsdatascience.com/thats-mental-using-lda-topic-modeling-to-investigate-the-discourse-on-mental-health-over-time-11da252259c3相同)。最终的可视化效果如下所示：topics
浏览 78提问于2021-05-08得票数 1
我最近正在使用Mallet进行LDA主题建模。我认识到我能够将算法的Alpha超参数传递给Mallet，但是LDAMallet类不包含任何beta参数的变量。你们能告诉我这是怎么回事吗？我知道我可以每隔n个时间间隔开启超参数优化，这将重新计算参数的最佳值，但即使在那里，我也不知道它们是按照什么标准进行优化的。
最好的，尼罗
浏览 22提问于2020-05-18得票数 1
1回答
2没有这样的文件或目录
、、、
我保存了一个LDAWallet模型：
首先我坐了火车：
mallet_path = 'mallet-2.0.8/bin/mallet'
ldamallet = gensim.models.wrappers.LdaMallet(mallet_path, corpus=corpus, id2word=id2word,
num_topics=14)
然后使用save方法保存模型：
ldamallet.save('lda_v0.model')
在培训模式时，我忘记了将前缀设置为某个文件，因此，在培训时，我丢失了gensim创建的所有临时文件(doctopics等
浏览 4提问于2020-03-09得票数 0
我尝试从mallet运行ParallelTopicModel类，我使用NetBeans来编译它，但是当我运行代码时，我得到了以下错误语句：
无法打开cc.mallet.util.MalletLogger资源/logging.properties文件。也许“资源”目录没有复制到“类”目录中。
无论如何，我没有更改任何代码，仍然使用该类的原始代码：
public static void main (String[] args) {
try {
InstanceList training = InstanceList.load (new File(args[0]));
浏览 0提问于2017-12-17得票数 4
回答已采纳
我是这个领域的新手。开发人员20年以上，但从未做过任何事情(除了教程)与ML，DL，和NLP。虽然我已经阅读了许多关于这项技术的文章和教程，但我已经开始了解使其工作所需的步骤和条件。
我想达到的目的(我的问题的理由)是：
我有一份文件，其中包含了我和另一个人之间长达两年的谈话。我想提取与同一主题相关的消息序列。我指的是在时间上是连续的，属于同一个话题的对话的信息。
我的目标是提取我们花在每一个话题上的时间。
有什么模型已经为这个任务训练过吗？(这当然是一个显而易见的问题:-P )
或者，有什么模型，我可以用来作为一个开始训练基地？
或者，如果不是，什么是好的方法(步骤，技术，软件)来训练我自己
浏览 0提问于2019-10-31得票数 1
1回答
我在Stack溢出数据转储部分上用MALLET训练了一个LDA模型，并为训练和测试数据做了70/30的分割。
但是困惑值是奇怪的，因为测试集比训练集低。这怎麽可能？我觉得模型更适合训练数据吗？
我已经两次检查了我的困惑计算，但我没有发现一个错误。你知道原因是什么吗？
提前谢谢你！
编辑：
没有将控制台输出用于培训集的LL/令牌值，而是再次在培训集上使用评估器。现在，这些价值似乎是可信的。
浏览 3提问于2017-04-23得票数 2
回答已采纳
1回答
选择主题模型
、、
我对主题建模是个新手，有点困惑。我用不同的主题数量值运行了MALLET不同的次数。那么我如何知道应该选择哪一个来进行进一步的分析呢？我知道有一些论文涉及主题模型的评估，但我不能编写这样的代码。
浏览 2提问于2017-08-02得票数 0
给定一个包含大量(短)文档(大约100万)的索引或数据库，我试图对每个新传入的文档进行某种新奇的检测。
我知道，我必须计算新文档与索引中每个文档的相似性。如果相似度低于某一阈值，则可以将此文档视为新颖的文档。我想要做的一种常见方法是使用向量空间模型并计算余弦相似度(例如，使用Apache )。
但是这种方法有两个缺点: 1)计算量大；2)不包含文档和词的语义。
为了克服这些缺点，我的想法是要么使用LDA主题分布，要么使用命名实体来增强Lucene索引和查询(即文档集合和每个新文档)的语义。
现在，我完全不知道具体的执行情况。我已经训练了一个使用Mallet的LDA主题模型，我也能够在语料库上进
浏览 0提问于2017-03-12得票数 1
我试图运行Mallet`s的主题建模，但得到了以下错误：
Couldn't open cc.mallet.util.MalletLogger resources/logging.properties file.
Perhaps the 'resources' directories weren't copied into the 'class' directory.
Continuing.
Exception in thread "main" java.lang.IllegalArgumentException: Trouble
浏览 1提问于2014-07-04得票数 0
你们有什么建议可以让我在训练MALLET LDA之前把文档细分成句子吗？
提前谢谢你
浏览 11提问于2018-02-18得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
