文本嵌入层之后池化层的用途
是对文本嵌入层的输出进行降维和提取关键信息，以便后续的文本分类、情感分析、信息检索等任务。池化层可以通过不同的池化操作（如最大池化、平均池化）对文本嵌入层的输出进行处理，从而得到一个固定长度的向量表示。
池化层的主要作用有：
- 降维：文本嵌入层的输出通常是一个二维矩阵，每行表示一个词或字符的嵌入向量。通过池化操作，可以将这个二维矩阵降维为一个一维向量，减少数据的维度，从而降低计算复杂度和存储需求。
- 提取关键信息：池化层可以通过选择最大值或平均值等操作，从文本嵌入层的输出中提取出最重要或最代表性的信息。这些信息可以帮助模型更好地理解文本的语义和结构，从而提高后续任务的性能。
- 固定长度表示：通过池化操作，文本嵌入层的输出可以被转换为一个固定长度的向量表示。这种固定长度表示可以方便地输入到后续的分类器或其他模型中进行进一步的处理和分析。
池化层在自然语言处理（NLP）任务中广泛应用，如文本分类、情感分析、命名实体识别等。在实际应用中，可以使用腾讯云的自然语言处理（NLP）相关产品，如腾讯云文本审核、腾讯云智能闲聊等，来实现文本嵌入层之后池化层的功能。具体产品介绍和链接地址请参考腾讯云官方网站。
相关·内容
我有两个特征向量。一种是由CNN提取的深度特征向量，另一种是用均匀局部二值模式提取的手工特征。我希望在连接这两个特征向量之后找到共同的最佳特征。出于这个原因，我想使用最后一个池化层。有可能吗？
浏览 37提问于2021-02-08得票数 0
1回答
我使用手套和CNN对文本进行分类，发现了以下问题：
File "c:\programfiles_anaconda\anaconda3\envs\math_stat_class\lib\site-packages\tensorflow\python\framework\ops.py", line 1657, in _create_c_op
raise ValueError(str(e))
ValueError: Negative dimension size caused by subtracting 5 from 1 for '{{node max_pooli
浏览 3提问于2021-10-12得票数 0
回答已采纳
1回答
用于文本分类的词嵌入
、、、
我是NLP社区的新手，需要更多关于一些东西的信息。
我看到Keras有一个嵌入层，通常在LSTM层之前使用。但是它背后隐藏着什么算法呢？是Word2Vec，Glove还是别的什么？
我的任务是有监督的文本分类问题。
浏览 0提问于2020-10-13得票数 0
1回答
我正在使用深度学习与角点的多标签文本分类。然而，我得到的准确度仅在73-75之间。我想我误判了其中一个参数。有什么办法可以改善这种情况吗？(顺便说一下，我的行数是50858行)
下面是我用来构建和拟合模型的代码：
filter_length = 64
num_classes = 39
model = Sequential()
model.add(Embedding(max_words, 39, input_length=maxlen))
model.add(Dropout(0.3))
model.add(Conv1D(filter_length, 3, padding='same
浏览 2提问于2020-10-30得票数 0
回答已采纳
我正在使用预先训练好的模型对图像进行分类。我的问题是，在我的模型中使用预训练的模型结构后，我必须添加什么样的层。为什么这两个实现是不同的。具体地说： 考虑两个示例，一个使用猫和狗数据集： 可以在here中找到一个实现。关键的一点是基础模型： # Create the base model from the pre-trained model MobileNet V2
base_model = tf.keras.applications.MobileNetV2(input_shape=IMG_SHAPE,
浏览 45提问于2020-07-14得票数 0
1回答
我正在尝试使用卷积神经网络来检测射击目标中的子弹。该图像是标准的拍摄目标。
数据集由9216张大小为96x96的图像组成，图像中的某处只有一个项目符号。我用弹孔中心的(x，y)标记每个图像。我还对图像进行了标准化。
该模型如下所示：
model = Sequential()
model.add(Convolution2D(32, 3, 3,
input_shape=(3,96, 96)))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2))
浏览 1提问于2016-06-26得票数 0
我一直在尝试设计一个包装器来使用自定义数据集的预制tensorflow超薄模型。数据集是1000张正方形和三角形的图像，灰度为32x32。它们被组织为数据集/形状/三角形/和数据集/形状/正方形/。
使用以下代码，我能够正确地训练inception_v2模型。稍后将用正确的变量参数替换tf.reshape。.tfrecords文件是使用来自谷歌的脚本创建的，该脚本从上述数据集结构创建记录。
graph = tf.Graph()
sess = tf.InteractiveSession(graph=graph)
with graph.as_default():
name_dict, n
浏览 0提问于2017-07-20得票数 1
据我理解，对resttemplate的exchange方法的调用是在不同的线程上执行的。基本上，所有客户端库都在不同的线程上执行。
假设我的servlet容器是tomcat。当向公开的端点发出请求时，tomcat线程接收请求，请求从同一线程上的控制器层发送到服务层。在服务层，我使用call模板调用第三方服务。当调用exchange方法时，操作在内部运行在不同的线程上，并得到操作的结果。
关于这一点，我有一个问题：
does模板从哪里获得线程，基本上从不同线程上执行哪个线程池？
我想知道在不同线程上执行with模板是否需要对tomcat线程池执行任何操作。
有人能为这件事开点灯吗？
浏览 1提问于2019-03-24得票数 2
回答已采纳
我正在尝试对具有不同类的数据集的VGG16模型进行微调。遵循，我尝试这样做：
from keras.applications.vgg16 import VGG16
from keras.models import Model
from keras.layers import Dense, GlobalAveragePooling2D
from keras import backend as K
pretrained = VGG16(include_top=False, weights='imagenet')
model = pretrained.output
# Add n
浏览 2提问于2017-05-01得票数 0
我目前正在使用TensorFlow插件SpatialPyramidPooling2D层进行图像分类，当我尝试拟合模型时，我得到了以下错误。 ValueError: Dimensions must be equal, but are 8 and 20 for '{{node MatMul}} = BatchMatMulV2[T=DT_FLOAT, adj_x=false, adj_y=false](feature, transpose_1)' with input shapes: [?,20,8], [8,20,?] 我怀疑这与模型的输出形状有什么关系。最后一层应该是(None
浏览 12提问于2020-12-12得票数 0
回答已采纳
3回答
所有人！我读到了关于Bert的文章，我想做文本分类和它的单词嵌入。我遇到了这一行代码：
pooled_output, sequence_output = self.bert_layer([input_word_ids, input_mask, segment_ids])
然后：
clf_output = sequence_output[:, 0, :]
out = Dense(1, activation='sigmoid')(clf_output)
但是我不明白集合输出的用法。不包含所有信息，包括“CLS”的单词嵌入，如果是，为什么我们有池输出？
提前感谢！
浏览 3提问于2020-08-12得票数 1
回答已采纳
1回答
我正在使用Keras新闻组示例代码进行文本分类。我已经使用h5py库保存了训练好的模型。嵌入层是否也会被保存，或者我是否应该在加载模型时编写一些额外的代码来使用嵌入层？
浏览 10提问于2018-03-05得票数 2
julia语言深度学习框架，这是Knet.jl，的快速入门
ENV ["COLUMNS"] = 72
using Knet, MLDatasets, IterTools
struct Conv; w; b; f; end
(c :: Conv) (x) = c.f. (pool (conv4 (c.w, x). + C.b))
Conv (w1, w2, cx, cy, f = relu) = Conv (param (w1, w2, cx, cy), param0 (1,1, cy, 1), f);
复杂类型Conv有三个字段: w、b和f。
Conv类型c (x)函数用f函
浏览 1提问于2021-02-10得票数 1
我正在尝试将keras_contrib中的用于我自己的具有维度(30k,2,96,96)的数据。
我的shape数据不能使用这个实现吗？它会给出以下错误和警告。
Layer (type) Output Shape Param # Connected to
==================================================================================================
input_1 (InputLay
浏览 4提问于2018-09-14得票数 1
1回答
我想对500个字符长的文本样本进行分类，看看它们是否像使用字符级RNN的自然语言。我不确定向RNN提供输入的最佳方法。以下是我想到的两种方法：
向RNN提供整个500个字符(每个时间步骤一个字符)，并预测一个二进制类\{0,1\}。
提供较短的重叠段(例如10个字符)，并预测下一个字符(例如第11个字符)。通过接受测试输入将其转换为分类，并根据预测的下一个字符分布计算观察到的字符的联合概率。
第一种方法似乎不太理想，因为我不认为第一个字符会对第500个字符的预测产生任何影响。第二种方法给了我很小的可能性，当你计算联合概率时。
我的目标是建立一种更精细的语言模型，类似于n克频率计数。我现在使用的
浏览 0提问于2020-11-29得票数 0
我经常被告知，2x2的Max池比前一层的接收字段的大小加倍。如果是这样的话，我想了解这种情况是如何发生的。
我已经检查了这文章和这篇一。然而，我无法理解Max池对接收字段的影响。
感谢你在这方面的任何帮助。
谢谢!
浏览 0提问于2019-03-07得票数 4
1回答
我有一个。我还注释掉了resnet.py源代码中扁平的行，所以我的输出不应该是1D。
下面是我的代码：
class VideoModel(nn.Module):
def __init__(self,num_channels=3):
super(VideoModel, self).__init__()
self.r2plus1d = models.video.r2plus1d_18(pretrained=True)
self.r2plus1d.fc = Identity()
for layer in self.r2plus1
浏览 4提问于2022-11-14得票数 1
回答已采纳
3回答
因此，我是计算机视觉的新手，我不知道keras中的层是做什么的。在keras中添加层(dense、Conv2D等)有什么用？他们给它添加了什么？
浏览 1提问于2020-03-04得票数 2
我花了一些时间来提高我的F1-分数，以完成我的多类文本分类任务。我正在从笔记本电脑的评论中提取方面和情绪。因此，有3个标签，B_A / I_A /O等，我真的很感谢任何建议，以改善我的网络，例如附加层或其他嵌入。(也许我也应该为我的任务尝试多类分类之外的其他方法)现在我已经获得了以下代码的大约60%的F1分数：
#vocab_size=4840, embedding is glove6B, max_seq_length=100
model = Sequential()
model.add(Embedding(vocab_size, 300, weights=[embedding_vecto
浏览 0提问于2021-02-03得票数 0
我正在尝试构建一个自动编码器神经网络，用于在单列文本列表中查找异常值。我的输入有138行，它们看起来像这样： amaze_header_2.png
amaze_header.png
circle_shape.xml
disableable_ic_edit_24dp.xml
fab_label_background.xml
fab_shadow_black.9.png
fab_shadow_dark.9.png 我已经使用Keras构建了一个自动编码器网络，并且我使用python函数将我的文本输入转换为一个数组，每个字符的ascii表示用零填充，这样它们都具有相同的大小。 我的完整代码是这样的
浏览 9提问于2019-04-22得票数 2
1回答
在一行中嵌入两个层意味着什么？
、、、、
我注意到，在一个深层的预先训练的文本神经网络中，一开始有两个嵌入层，我不太明白为什么会有两个嵌入层。据我所知(如果我错了，我是NLP的新手)，在嵌入层中有一个可训练的权重向量，为每个唯一的单词形成参数集。那么，连续两个这样的层意味着什么呢？第二层是否为原始嵌入层中的每个参数创建子参数？
浏览 0提问于2022-03-21得票数 1
回答已采纳
1回答
我一直在尝试训练CNN来识别类型。使用(小) FMA数据集，使用librosa将每个30s歌曲片段转换为mel谱图。反过来，这些光谱图被转换成480x640x3矩阵(像素高度、像素宽度、RGB值)，这些矩阵又被分成三个重叠50%的第二段，得到大小为480x64x3的最终输入矩阵。我写的网络旨在复制这篇(https://arxiv.org/pdf/1802.09697.pdf)论文中描述的网络。 因此，我总共有7197个mel谱图作为输入，分成3个，重叠产生7197*19 = 136743个矩阵作为输入，800*19=15200矩阵作为测试数据。该网络有八种类型可供学习，标记为0-7。 在训练
浏览 51提问于2019-04-28得票数 1
回答已采纳
我有样本，其中有2D形状(say [a, 10])。其中a随样本的变化而变化。我正在使用batch size = 1进行训练，以避免可变批量大小的问题。我创建了以下LSTM网络。现在的问题是，我的目标是形状[1,a,1]的概率向量。对于每个样本，概率向量的和是1。
我想在最后一层应用softmax激活，这样我就可以将其与目标进行比较。我该怎么办？
Layer (type) Output Shape Param #
==============================
浏览 2提问于2018-05-29得票数 0
我正在bert架构上做实验，发现大多数微调任务都以最终的隐藏层作为文本表示，然后他们将其传递给其他模型以完成进一步的下游任务。
伯特的最后一层看起来如下：
📷
我们取每句话的日志服务标记：
📷
图像源
我对这个拥抱面问题、数据科学论坛问题、github问题进行了很多讨论--大多数数据科学家给出了这样的解释：
日志服务是双向的，通过多层编码过程对所有令牌的所有代表性信息进行编码。日志服务的表现形式是不同句子中的个体表现形式。
我的问题是，为什么作者忽略了其他信息(每个令牌的向量)，而采用平均、max_pool或其他方法来使用所有信息，而不是使用日志服务令牌进行分类？
这个日志服务令牌与所有令牌向
浏览 0提问于2020-07-02得票数 8
2回答
我有大量的文本数据在多个网页上的产品，我有兴趣出售给客户。我试着在维基百科上使用预先训练过的快速文本词嵌入，但它并没有给我分类任务带来好的结果。可能是因为网站上的文本数据包含了很多技术细节，它不同于维基百科中的文本数据。因此，我想做一些转移学习的词嵌入，保持预先训练的快速文本词嵌入为基础。
我如何使用Keras来训练我自己的自定义单词嵌入到这些网页上？
如何用快速文本预训练嵌入和训练初始化自定义词嵌入？这种初始化是否真的有助于提供更好的单词嵌入？
我更喜欢使用Keras来训练单词嵌入的解决方案。
我知道嵌入有trainable=True选项，不确定如何使用它。
Embeddin
浏览 2提问于2019-01-24得票数 1
1回答
我正在工作一个多类文本分类使用keras 5类.这是清理、标记和填充后的数据的形状，这是最终的数据大小：
Training Data is: (1424,) and (1424,)
Validation Data is: (356,) and (356,)
Testing Data is: (445,) and (445,)
我用这个结构创建了模型，这个结构非常简单，我使用输入大小为1000，这是填充序列maxlen：
model = Sequential()
input_dim = training_sequences.shape[1]
model.add(Embeddin
浏览 6提问于2022-08-02得票数 1
回答已采纳
1回答
我遇到了两篇有趣的论文，它们描述了使用word嵌入的文档分类的有前途的方法。
1.快速文本算法
描述了在纸袋中为有效的文本分类这里。
(并进一步解释这里)。
2.丹斯
本文描述了基于深度无序构图的文本分类这里句法方法。
问题：
这两种方法有什么区别？
它们本质上是一样的，它们看起来都是平均的单词嵌入并通过MLP传递吗?还是我遗漏了一些重要的东西？
浏览 0提问于2017-04-01得票数 10
3回答
我已经用CNN做了一段时间的深度学习，我意识到模型的输入总是正方形的图像。
我发现无论是卷积运算还是神经网络架构本身都不需要这样的属性。
那么，这是什么原因呢？
浏览 3提问于2016-08-16得票数 7
3回答
可以应用于卷积层或密集层。如果是这样的话，是在池后还是在池之前以及在应用激活之后使用呢？
另外，我想知道批量归一化是否可以用于卷积层。
我见过这里，但由于缺乏参考，我找不到有价值的答案。
浏览 0提问于2017-12-16得票数 5
回答已采纳
我有一个更快的-rcnn (resnet-101主干)用于对象检测，并且正在为每个检测到的对象提取特征张量，即7x7x2048张量(基本上是2048个特征映射，每个7x7)。对于对象跟踪，我希望将其转换为Nx1向量。这样做的标准方法是什么？我有几个似乎都是合理的想法：
把每个特征图都压平，然后把所有这些拼接在一起(所以每个特征向量都是49*2048x1)？
在做了一些最大池操作以降低维数之后，也要这样做。
取每个特征图的平均值或最大值，最后得到一个2048x1特征向量。
浏览 0提问于2020-03-05得票数 0
回答已采纳
1回答
因此，在我的头脑中，我知道这个架构应该是什么样子，或者至少是行为，但我在实现它时遇到了困难。所以让我来描述一下这个问题，如果有人对如何实现这个问题有想法的话，请告诉我。或者如果我想太多了-想个解决办法。
我试图把帐户分为两类，好的和坏的。我每个帐户有多个文本文档。我想要做的是把文本文件作为一个单一的帐户，并按时间顺序排序。然后使用递归神经网络从本质上学习每个文档的嵌入(传统的文本递归架构应该工作得很好)，然后将这些嵌入插入到文档级递归神经网络中，以预测帐户何时从好到坏。这样，当每个帐户都有新的文档出现时，我就会得到一个帐户的“坏”分数，并且可能会将一个帐户标记在某个阈值以上。我也想要一些端到端
浏览 0提问于2018-11-26得票数 1
我正在努力寻找更多的关于预先训练的模型distilbert-base-nli-mean-tokens的信息。有人能告诉我这是文件还是文件吗？它是基于蒸馏，一个蒸馏版本的伯特:更小，更快，更便宜和更轻文件吗？该报告于2020年3月发表。我正在寻找这份文件和句子之间的链接-伯特(句子转换器)。原始判刑-伯特论文发表于2019年8月。我想尝试使用S-伯特模型进行预训练的模型，因此我尝试了distilbert-base-nli-mean-tokens 模型。在实现之后，我发现它比在语句转换网站上可用的其他经过预先训练的模型要快得多。在研究这篇论文的时候，我意识到原始论文没有提到这个预先训练过的模型。
浏览 0提问于2021-02-25得票数 0
1回答
重用神经网络
、、、
我对神经网络非常陌生，但对于我的一个项目来说，它们似乎很合适。最终，该应用程序应该可以在Android手机上运行。我的想法是使用TenserFlow，但我不确定它是否合适。
我有以下情况，我的输入是一组图像(它们的顺序不应该对输出有任何影响)。集合的大小不是固定的，但在大多数情况下小于10。我对整个集合的输出只是一个二进制分类(通过/失败)。
我将有一个卷积神经网络，它计算两个输出，一个权重和一个通过/失败的值。每个图像分别提供给这个CNN，然后使用加权算术平均值将结果值聚合为最终的通过/失败值。
我的问题是，我能用TensorFlow训练这样的网络吗？
我的训练数据中没有CNN输出的值，只有
浏览 10提问于2016-08-17得票数 1
回答已采纳
2回答
我正在用一些文本数据训练CNN。这些句子被填充和嵌入，并提供给CNN。模型架构是：
model = Sequential()
model.add(Embedding(max_features, embedding_dims, input_length=maxlen))
model.add(Conv1D(128, 5, activation='relu'))
model.add(GlobalMaxPooling1D())
model.add(Dense(50, activation = 'relu'))
model.add(BatchNormalization(
浏览 0提问于2019-12-26得票数 0
2回答
我相信这是一个独特的问题，但如果有其他答案，我肯定会联系到其他地方。我在Keras中有一个卷积顺序网络，非常类似于中的一个。
from keras.models import Sequential
from keras.layers import Dense, Dropout
from keras.layers import Embedding
from keras.layers import Conv1D, GlobalAveragePooling1D, MaxPooling1D
model = Sequential()
model.add(Conv1D(64, 3, activation
浏览 0提问于2018-03-20得票数 3
回答已采纳
1回答
我的目标是创建文本生成器，它将生成基于我提供给它的学习集的非英语文本。
我目前正处于弄清楚模型实际应该是什么样子的阶段。我正在尝试在我的网络中实现快速文本预训练模型作为嵌入层。但由于这一点，我有一些问题。
1)如何正确准备fasttext模型？我是应该为我需要的语言下载矢量，并将它们包含在项目中，还是必须首先使用skipgram或cbow或其他方式构建它？
2)如何将Keras Embedding()与fasttext模型进行交换？
现在我有了类似这样的东西：
model = Sequential()
model.add(Embedding(vocabulary_size, s
浏览 11提问于2020-05-18得票数 2
我在看，我注意到在第一个convnet层之后，它们进行池化，然后标准化，但在第二层之后，它们进行标准化，然后池化。
我只是想知道这背后的理由是什么，以及关于我们何时/为什么应该在池之前选择规范的任何提示都将不胜感激。谢谢!
浏览 87提问于2017-02-03得票数 5
我正在训练CNN从一个名为Malimg的数据集中对恶意软件图像进行分类。在实现BatchNormalization层之前，我的准确率为95.57% (有关丢失/准确性和验证损失/准确性的图表见下文)：
📷
📷
Epoch 1/10
6537/6537 [==============================] - 53s 8ms/step - loss: 1.7711 - accuracy: 0.4605 - val_loss: 1.0062 - val_accuracy: 0.6510
Epoch 2/10
6537/6537 [============================
浏览 0提问于2021-04-20得票数 1
1回答
最近，我正在尝试实现Lenet-5 CNN。但我坚持如何将错误从conv层传播到上一层，例如，从C3层传播到S2层。有谁能帮帮我吗？
浏览 14提问于2016-07-29得票数 0
1回答
我有一个由两个层次组成的简单的神经网络，可以识别10个类别：
self.layer1 = nn.Sequential(
nn.Conv2d(1, 32, kernel_size=5, stride=1, padding=2),
nn.ReLU(),
nn.MaxPool2d(kernel_size=2, stride=2))
self.fc1 = nn.Linear(14 * 14 * 32, 10)
在这种情况下，如何利用卷积层进行分类？
浏览 0提问于2019-07-16得票数 0
2回答
我构建了下面的卷积自动编码器，并试图调整它以在不增加损失的情况下获得NxHxW = 1024的编码器输出形状(x_encoder)。目前我的输出形状是4，64，64，有什么想法吗？ # define the NN architecture
class ConvAutoencoder(nn.Module):
def __init__(self):
super(ConvAutoencoder, self).__init__()
## encoder layers ##
# conv layer (depth from in --> 1
浏览 40提问于2020-12-05得票数 1
1回答
我已经阅读了几篇关于多线程环境中SQLite的相关帖子，但我找不到一个明确的说法，所以请原谅我再次提出这个主题。
我需要从多个线程访问应用程序的数据库以执行update语句。数据库本身可以是SQLite或MySQL，这取决于用户的选择。对于MySQL处理程序，我使用tomcat-jdbc库实现了一个连接池。现在我正在寻找SQLite处理程序的最佳方式，因为SQLite一次只支持一个锁定整个数据库的写连接，所以正常的连接池不应该工作。
我是不是应该让所有线程一个接一个地使用相同的连接(通过同步连接？)或者我应该使用已经存在的只包含连接的tomcat库来创建一个连接池？只有一个连接的连接池是否会过
浏览 1提问于2013-04-05得票数 2
回答已采纳
2回答
在关于目标检测的教程中，提到了快速的R-CNN。ROI (感兴趣区域)层也被提及。
当区域提案根据最终的卷积层激活函数(在每个单元中)调整大小时，在数学上会发生什么？
浏览 1提问于2017-04-16得票数 27
回答已采纳
我想知道是否通过将activity_regularizer='l1_l2'作为参数传递给Conv2D()来创建模型
model = keras.Sequential()
model.add(Conv2D(filters=16, kernel_size=(6, 6), strides=3, padding='valid', activation='relu',
activity_regularizer='l1_l2', input_shape=X_train[0].shape))
model.a
浏览 7提问于2022-10-06得票数 1
回答已采纳
1回答
我正在尝试理解如何使用Tensorflow2来训练没有预设标签的单词嵌入。
在Tensorflow2教程()中，它展示了如何使用带标签的预结构化数据集来训练单词嵌入。
imdb = keras.datasets.imdb
(train_data, train_labels), (test_data, test_labels) = imdb.load_data(
num_words=vocab_size)
embedding_dim=16
model = keras.Sequential([
layers.Embedding(vocab_size, embedding_dim, in
浏览 9提问于2019-08-03得票数 0
1回答
我有一份文件清单，我正在寻找( a)副本；( b)非常相似的文件。为此，我将采取以下行动：
使用释义-xlm-r-多语种-v1嵌入文档。
计算向量嵌入之间的余弦相似度(下面的代码)。
我得到的所有余弦相似值都在0到1之间，为什么呢？我不应该也有负值因为相似值吗？句子嵌入既有积极因素，也有消极因素。
num_docs = np.array(sentence_embedding).shape[0]
cos_sim = np.zeros([num_docs, num_docs])
for ii in range(num_docs):
for jj in range(num_docs):
浏览 0提问于2021-09-07得票数 4
回答已采纳
1回答
为了简单起见， Sriving谈到了如何用额外的卷积层和步长r= 2来取代最大池化，但平均池化能否实现同样的效果呢？
浏览 3提问于2020-04-21得票数 1
1回答
文"BERT:深层双向变压器的语言理解预训练“由Devlin & Co. .公司为基础模型尺寸110 m参数(即L=12、H=768、A=12)计算，其中L=层数、H=隐藏大小和A=自关注操作数。据我所知，神经网络中的参数通常是层间“权重和偏差”的计数。那么，这是如何根据给定的信息计算的呢? 12_768_768*12？
浏览 2提问于2020-10-22得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
云直播活动推荐
腾讯云开发者
