语义词典存在的问题
语义词典资源很棒但是可能在一些细微之处有缺失,例如这些同义词准确吗:adept, expert, good, practiced, proficient,skillful?...在向量空间的范畴里,这是一个1很多0的向量表示:[0,0,0,0,…,0,1,0,…,0,0,0]
维数:20K(speech)–50K(PTB)–500K(big vocab)–13M(Google...如何使用上下文来表示单词
答案:使用共现矩阵(Cooccurrence matrix)X
2个选择:全文还是窗口长度
word-document的共现矩阵最终会得到泛化的主题(例如体育类词汇会有相似的标记...用向量来定义单词的意思:
在相关的模型中,包括深度学习模型,一个单词常常用密集向量(dense vector)来表示
?...比较容易且快速的融合新的句子和文档或者添加新的单词进入词汇表
word2vec的主要思路
预测一个窗口长度为c的窗口内每个单词的周边单词概率
目标函数:对于一个中心词,最大化周边任意单词的log