TensorFlow 是如何解读深度学习中的“嵌入”

1、为什么要有嵌入？

2、什么是嵌入？

3、如何得到嵌入向量？

4、 如何可视化展示嵌入向量？

5、嵌入向量的实际应用有哪些？

一个单词集合，这些属于离散的非数值型对象，数值计算的基本要求是数值型，所以需要将他们映射为实数向量。

嵌入是将离散对象数值化的过程。

嵌入向量，google 开源的 word2vec 模型做了这件事，现在 TensorFlow 中调用 API 几行代码便可以实现：

word_embeddings = tf.get_variable(“word_embeddings”, [vocabulary_size, embedding_size]) embedded_word_ids = tf.nn.embedding_lookup(word_embeddings, word_ids)

embedded_word_ids 的形状 [vocabulary_size, embedding_size]

可视化展示主要需要对高维向量降维。

嵌入可以通过很多网络类型进行训练，并具有各种损失函数和数据集。例如，对于大型句子语料库，可以使用递归神经网络根据上一个字词预测下一个字词，还可以训练两个网络来进行多语言翻译。