是否可以在层之间映射数据集的批处理大小？
是的，可以在层之间映射数据集的批处理大小。在深度学习中，批处理大小是指在一次迭代中同时处理的样本数量。通过调整批处理大小，可以对模型的训练速度、内存消耗和模型性能等方面进行优化。
较小的批处理大小可以提高模型的训练速度，因为每个批次的计算可以并行进行。此外，较小的批处理大小还可以减少内存消耗，特别是在GPU训练时，因为较小的批处理大小意味着较少的内存需求。
然而，较小的批处理大小可能会导致模型的性能下降。这是因为较小的批处理大小可能会引入更多的噪声，使得模型的收敛速度变慢或者陷入局部最优解。因此，在选择批处理大小时需要进行权衡。
在实际应用中，选择合适的批处理大小需要考虑数据集的大小、模型的复杂度、计算资源的限制等因素。通常情况下，较大的批处理大小可以提高模型的性能，但也会增加内存消耗和训练时间。
腾讯云提供了一系列与深度学习相关的产品和服务，包括云服务器、GPU实例、弹性计算等，可以满足不同规模和需求的深度学习任务。具体产品和服务的介绍可以参考腾讯云的官方网站：https://cloud.tencent.com/product/dl
请注意，本回答中没有提及亚马逊AWS、Azure、阿里云、华为云、天翼云、GoDaddy、Namecheap、Google等流行的云计算品牌商。
相关·内容
在训练阶段，我选择了性能最佳的模型参数。
if performance_metric.item()>max_performance:
max_performance= performance_metric.item()
torch.save(neural_net.state_dict(), PATH+'/best_model.pt')
这是使用的神经网络模型：
class Neural_Net(nn.Module):
def __init__(self, M,shape_input,batch_size):
浏览 1提问于2021-03-16得票数 2
回答已采纳
1回答
我有一个典型的NN多分类器(10个类)，其中有一个隐藏层。训练和测试成本不会像增加层时那样最小化，但是分类器的准确性在两个网络中是相同的(91%的训练，88%的测试)。
测试数据与训练数据是分开的。
当培训停止时，成本值过高(0.5培训，0.7测试)的后果是什么？
为什么在第一个网络中，尽管成本很高，但准确性可能是相同的？
如果需要，我很乐意提供更多的信息。
浏览 1提问于2018-10-22得票数 0
1回答
卡夫卡作为一个存储系统，可以作为长期数据的存储。它可以在没有问题的情况下复制和分发。那么，我是否可以从Kafka中的所有历史数据创建RDD，然后创建批处理视图，然后将其与火花流视图结合起来呢？
浏览 4提问于2017-04-06得票数 0
回答已采纳
1回答
我必须为我的脸验证项目在谷歌colab免费训练7万张图片。首先，它被困在第一个时代，然后，即使它开始训练，有时它抛出内存错误。我使用的代码是：
<https://nbviewer.org/github/nicknochnack/FaceRecognition/blob/main/Facial%20Verification%20with%20a%20Siamese%20Network%20-%20Final.ipynb>
如果我必须对我的数据集进行小批量处理，以便将其放入colab的GPU内存中，那么我如何才能做到呢？此外，我想训练整个数据集，因为它包含了5个不同的人作为锚和积极的图
浏览 15提问于2022-01-27得票数 0
1回答
我最近在考虑(a)训练CNN和(b) CNN推理的记忆成本。请注意，我不是在谈论存储(这只是参数的数量)。
给定的CNN (例如VGG-16D)需要多少内存？
(a)培训(与亚当合作)
(b)对一幅图像的推断？
我的想法
基本上，我想确保我没有忘记这个问题。如果你有其他来源解释这种想法，请与我分享。
(a)培训
对于亚当的训练，我现在假设我有一个最小批次大小的B \in \mathbb{N}和w \in \mathbb{N}是CNN的参数数。然后，单个训练通行证的内存占用量(训练过程中任何时刻所需的最大内存量)是：
2w：将权重和权重更新保存在内存中
所有生成的特征映射的B \cdot 大小(
浏览 0提问于2017-01-13得票数 9
1回答
变压器模型输入维数的解释
、、、、
嘿，我试着从零开始对转换器架构进行编码，作为我项目的一部分。我想问的是，在编码器输入矩阵的维数中，批处理大小指的是什么。
我以所附的模型架构作为我的参考。让我考虑一下论文文档的例子。seq-len是指文档中句子的最大长度，embedding-size是指句子中每个单词嵌入的单词的大小。在这种情况下，batch-size是否指文档中的句子数？
浏览 6提问于2021-12-14得票数 0
以下是我的分类问题：
将病理图像分为两类：“癌症”和“正常”
数据集分别包含15万和30万幅图像。
所有图像为512x512 rgb .jpg图像。
总数约为32次
这是我的配置：
CPU : Intel i7
GPU : Nvidia Geforce RTX 3060 (6 Go)
Python 3.7
木星笔记本6.4.8
Tensorflow 2.6 (已经安装了tensorflow gpu )
下面是我想第一次尝试的简单的CNN：
model = tf.keras.Sequential([
tf.keras.layers.Resc
浏览 6提问于2022-05-13得票数 -2
1回答
尝试用一个LSTM层对keras网络进行时间序列数据分类，会返回以下错误：
Invalid argument: Specified a list with shape [1239,1] from a tensor with shape [310,1]
下面是代码的一部分：
trainset = trainset.reshape(1239, 600, 1)
testset = testset.reshape(310, 600, 1)
trainlabels = np.arange(0, len(trainset_idx), 1).reshape(1239, 1)
testlabels = np
浏览 3提问于2020-01-01得票数 0
回答已采纳
1回答
我在学习NN和Keras。我的测试数据如下所示：
Result, HomeWinPossibility, DrawPossibility, AwayWinPossibility
[['AwayWin' 0.41 0.28 0.31]
['HomeWin' 0.55 0.25 0.2]
['AwayWin' 0.17 0.21 0.62]
.....
这是我的模型：
model = Sequential()
model.add(Dense(16, input_shape=(3,)))
model.add(Activation('sig
浏览 0提问于2018-06-30得票数 8
1回答
流处理和批处理
、、、、
由于批处理的延迟是在累积特定数目的数据时产生的，我是否可以将“一的大小”的批处理视为流处理？或者当运算符进行计算时还有其他的区别吗？
例如，如果我将基于火花的程序的批处理大小设置为1，是否可以使其延迟降低到flink？
我的一种想法是:对于流处理，如果处理了前一个操作符，一个数据流就会从前一个操作符流到后一个操作符，但是对于批处理过程，只有在操作符处理完一个数据之后，它才能接受另一个数据。流处理中的流水线似乎是加速的关键。
我的解释正确吗？如果错了，对我的问题有什么适当的解释。
浏览 9提问于2022-11-14得票数 0
我正在尝试将大量记录写入到dynamoDB中，我想知道正确的方法是什么。目前，我使用DynamoDBMapper在one batchWrite操作中完成工作，但在阅读文档后，我不确定这种方法是否正确(特别是在写入项的大小和数量方面有一些限制的情况下)。
假设我有一个包含10000条记录的ArrayList，我像这样保存它：
mapper.batchWrite(recordsToSave, new ArrayList<BillingRecord>());
第一个参数是包含要写入的记录的列表，第二个参数包含要删除的项(在本例中没有这样的项)。
映射器是将此写操作拆分为多个写操作并处理限
浏览 0提问于2015-06-18得票数 9
回答已采纳
我们有一个运行在Android上的TensorFlow网络(graphdef)，我注意到，随着时间的推移，推理结果往往是相关的。也就是说，如果标签A被返回，就会有一个A的流随时间而来，即使当输入数据切换到应该生成B标签的数据时。最终，结果将切换到B，但似乎存在滞后，表明RNN在推理调用之间是有状态的。我们的网络使用RNN/LSTMs。
cellLSTM = tf.nn.rnn_cell.BasicLSTMCell(nHidden)
cellsLSTM = tf.nn.rnn_cell.MultiRNNCell([cellLSTM] * 2)
RNNout, RNNstates = t
浏览 2提问于2017-04-01得票数 1
回答已采纳
1回答
在中，我没有看到像batch_size和input_shape这样的争论。但是，我在model.add(LSTM(batch_size, input_shape=(time_steps, features)))媒体文章中看到了类似于这些的声明，以及使用model.add(LSTM(4, batch_input_shape=(batch_size, look_back, 1), stateful=True))的。
Q1)有人能解释一下这怎么可能吗？
( Q2)我无法理解的另一件事是batch_size的概念，特别是在文本分析方面。如果我想让我的模型从句子中学习，那么我是否应该使用batch_si
浏览 0提问于2018-10-03得票数 0
回答已采纳
1回答
无批规格化的批次大小
、、、、
我正在用EDSR作为基线模型来处理图像超分辨率任务。在EDSR之后，我不会在我的模型中使用任何批处理规范层。我突然想出了一个关于批量大小的愚蠢问题。
目前，我正在使用批处理大小=32(如EDSR)来训练我的模型。但是，由于我没有使用任何批处理标准化技术，所以我看不到使用大于1的批处理大小的任何理由，但我对自己的想法并不自信，因为作者的实现是使用批处理大小大于1的。
有人能帮我吗？我遗漏了什么？
浏览 10提问于2022-01-04得票数 1
2回答
我正在使用PyCaffe实现一个神经网络灵感来自VGG 16层网络。我想使用他们的提供的预先训练过的模型。通常，这是通过匹配层名来实现的。
对于我的"fc6"层，我在train.prototxt文件中有以下定义：
layer {
name: "fc6"
type: "InnerProduct"
bottom: "pool5"
top: "fc6"
inner_product_param {
num_output: 4096
}
}
是VGG-16部署架构的prototxt文件。请注意
浏览 0提问于2016-04-07得票数 4
回答已采纳
1回答
基于神经网络的人脸识别
、、、
对于深度学习中的面部识别示例，特征(鼻子、眼睛、嘴唇等)在第一个隐藏层中进行分析。如果我们想分析更多的特征，比如酒窝、皮肤类型、肤色、皱纹等，我们是要向第一个隐藏层添加更多节点，还是要向网络添加更多隐藏层？如果两种解决方案中的任何一种都有效，那么就性能和复杂性而言，哪种解决方案更好？
浏览 13提问于2019-08-06得票数 0
我有个建筑问题。我有DAL项目与poco类(数据库中的等效表)，BLL项目和UI项目。UI项目参考BLL项目，BLL项目参考DAL项目。
我想在UI项目中显示数据，例如从数据库中的表Product中显示数据。是否应该在BLL项目类中创建与DAL项目中的poco类相同的类，并将其返回给UI项目并显示它？
这是DAL中的poco类(数据库中的等效表)：
public class Product
{
public int ID {get; set; }
public string Name {get; set; }
public String Address
浏览 4提问于2014-06-18得票数 0
1回答
利用LSTM预报降水
、、、
我建立了一个LSTM来预测降水，但效果不佳。我的代码非常简单，数据非常短，只有包含720点。--我使用MinMaxScale来缩放数据。
model = Sequential([
layers.LSTM(2, input_shape=(SEQ_LEN, 1),
layers.Dense(1)])
我的数据是这样
输出与如下所示的真值进行比较
我使用adam和mae损失函数，epoch=10它不合适吗？还是这个简单的网做不到？r2_score不超过0.55，请告诉我如何调整它。谢谢
浏览 8提问于2022-08-21得票数 0
我试图使用LSTM模型进行二进制分类；但是，当我训练该模型时，损失保持在0.69左右(即。- -\ln(0.5))和0.5的准确度，这表明这个模型并不是在学习，因为这些是随机猜测所期望的数字。我试着玩学习速度，改变单元数量，把LSTM放在一起，但是我觉得我错过了一些关于状态的使用，但我不确定是什么。
我的时间序列是t = [x_0, ..., x_N]格式的，我希望使用一个跨距10的滚动窗口来使用100个元素预测下一个元素的符号。例如：我想让元素0到99来预测第100元素的符号；然后我想使用元素10到109来预测第110元素等等。
因此，我将我的训练集构建为
X = \begin{bmatr
浏览 0提问于2019-05-02得票数 2
我在编译我的模型时遇到了困难，我似乎经常遇到这个问题，错误输出并不特别有用：
期望Geo具有形状(504 )，但得到了形状(1，)的数组。
我知道这个形状在某个地方不匹配，但是这个错误并没有指向代码中的任何特定点。它是来自于输入()层，还是来自于生成器本身？
我的模型是一个多输入单输出模型，它在“Geo”输入中接受504个浮点数输入的数字数组，在“SDF”输入中采用一个SDF为64,64,64,1。它们被连在一起以输出12个浮动结果。
我的逻辑如下：
# The Data Generator
# Input shape is 42, 12, 1
# SDF shape is 64, 64,
浏览 3提问于2020-05-02得票数 0
回答已采纳
3回答
小数据集在迁移学习中的过度拟合
、、、、
我正在使用传输学习来执行图像分类。
使用的基本模型:使用Resnet50、dataset、class_1和class_2的类各有1000个样本(小数据集)。而且数据集与ImageNet数据集不类似。这里使用的FC layers数为3和[1024, 512, 256]。我用了0.5的drop out来减少过度拟合.
当我训练100个时代的模型时，我可以清楚地看到模型适合于training accuracy为0.9985，testing accuracy为0.875。
使用FC层的数量是否太多，从而导致了这个过度匹配的问题？我怎样才能使模型更一般化？
所用代码如下所示：
from keras.ap
浏览 0提问于2019-03-25得票数 3
回答已采纳
使用tensorflow，GTX 1070 (8GB RAM)是否足以运行ResNet-101？
根据ResNet的论文，ResNet比VGG-16“简单”。由于VGG-16已经在我目前的4 GB GPU (GTX 960)中运行良好，一个更大的8GB 1070 GPU应该对ResNet没有问题吧？
浏览 2提问于2016-09-06得票数 0
我正试图围绕一台笔记本电脑训练神经网络的能力来校准我的期望。我正在使用tensorflow和keras，大约10分钟后，它崩溃了。我看过killsignal 9 exit code 137，我想知道这是不是因为内存不足？其他时候，当使用np_utils.to_categorical()进行一次性编码时，我在控制台中看到了单词memoryerror，就这样，我的脚本就崩溃了。这只是试图在神经网络运行之前将输出转换为神经网络所期望的。我有6400个输入和1500个输出，还有一个100个节点的小隐藏层。批量大小为128。就这样。它甚至都不深。无论是使用nvidia gpu还是使用4核cpu，它都会崩
浏览 3提问于2017-05-03得票数 2
3回答
我正在研究lambda体系结构，并了解如何使用它来构建容错大数据系统。
我想知道，当所有东西都可以在实时视图中存储并生成结果时，批处理层是如何有用的？是因为实时存储不能用来存储所有的数据，那么它就不会是实时的，因为检索数据所需的时间取决于存储数据所需的空间。
浏览 4提问于2015-12-19得票数 3
回答已采纳
我正在努力提供API，并按月、数据库和日期存储mongodb上的数据。
所以我有db db_08_2015，我有从date_01到date_31的31个集合，我必须查询从日期1到日期10的数据，以获得总开销，所以我需要像这样发送31个请求。
我的问题是，在返回客户端之前，如何通过1请求获得数据，然后再返回客户端，比如将同步请求转换为mongo以获得结果。我有date_01 = 10然后date_02 = 20 .我想在回到客户之前把这一切总结一下。
vertx.eventBus().send("mongodb-persistor", json, new Handler<M
浏览 9提问于2015-08-24得票数 1
回答已采纳
我想使用Conv1D使扩展卷积网络成为序列数据集。
所以我尝试了波士顿数据集的Conv1D。
from tensorflow.python.keras.layers import Conv1D, MaxPooling2D
from tensorflow.python.keras.layers import Activation, Dropout, Flatten, Input, Dense
from tensorflow.python.keras.models import Model
from sklearn.datasets import load_boston
from sklearn.
浏览 0提问于2019-02-16得票数 1
回答已采纳
我目前正在做语义分割，但是我有非常小的数据集， 我只有大约700张带有数据增强的图像，例如，翻转可以 设置为2100张图像。 不确定是否足够完成我的任务(语义分割有四个 类)。 我想使用批量归一化，和小批量梯度下降 真正让我挠头的是，如果批量太小， 批次归一化效果不佳，但如果批次较大， 这似乎等同于全批次梯度下降。 我想知道样本数量和批量大小之间是否有类似于标准比例的东西？
浏览 45提问于2019-03-21得票数 0
回答已采纳
假设我们有价值500 000项的训练数据，我们是一次训练一个项目，还是一次训练“n”项，还是一次全部训练？
认为inputTrainingData和outputTrainingData是[[]]，train_step是任何通用的tensorflow训练步骤。
选项1一次只训练一个项目-
for i in range(len(inputTrainingData)):
train_step.run(feed_dict={x: [inputTrainingData[i]], y: [outputTrainingData[i]], keep_prob: .60}, session= sess)
浏览 4提问于2017-03-03得票数 1
回答已采纳
我目前正在尝试使定制的keras层工作，您可以在这里看到一个简化的版本：
class MyLayer(Layer):
def __init__(self, **kwargs):
super(MyLayer, self).__init__(**kwargs)
def build(self, input_shape):
print("input_shape: "+str(input_shape))
self.kernel = self.add_weight(name='kernel',
浏览 3提问于2020-03-18得票数 1
回答已采纳
1回答
我在训练一个有状态的LSTM。我的数据存储在一系列文件中，每个文件都与某个城市有关。对于每个城市，我可能有不同数量的数据，所以A城市我可能有4000天，但B城市我可能只有500天。我每天有20个特征。
假设我将序列大小设置为200；对于城市A，我将有一批20个完整序列，而对于城市B，我只有2个序列。
对于有状态的LSTM，我需要在表单batch_input_shape中指定批次大小，顺序大小，特性，我认为这会给我带来一些问题，因为我处理的每个城市的批大小都会发生变化。
在我看来，唯一可用的选项是将batch_input_shape的批处理大小定义为1，然后为每个迭代有效地发出一个200长度的序
浏览 0提问于2018-07-04得票数 7
2回答
如果直接对流进行分析，而不是将数据分割成两个流，那么在像Kafka这样的消息传递系统中，数据在哪里呢？或者可以在数据库中进行重新计算？
一个独立的批处理层是否比用流处理引擎进行批处理分析的重新计算更快？
浏览 2提问于2017-01-31得票数 3
回答已采纳
1回答
我们使用“小”的内存--唯一的Aerospike服务器来存储过去一个小时的网站分析。过去一个小时的数据大小约为10 Gb。
我们尝试从单独的服务器(基于Java的客户端)在Aerospike上执行一些聚合查询，如下所示(在LUA中)：
stream : aggregate( map(), complex_aggregate_function ) : reduce( simple_reduce_function )
根据文档，所有的聚合都是在Aerospike节点(在我们的例子中是单个节点)上完成的，而reduce --在客户端上完成。
事实证明，aggregate()函数只处理小批量数据，即1
浏览 2提问于2014-12-10得票数 3
1回答
我使用LSTM模型来预测基站每秒的数据流量。数据集如下：
📷
测试和训练预测如下：
📷
训练成绩和考试成绩的RMSE值分别为32.54和30.03。为了减少RMSE值，我将回溯值更改为15、20和30，但没有减少。有人能告诉我这个巨大的预测错误背后的原因和一些如何纠正它的建议吗？我很想听听它的消息。谢谢。
我的LSTM模型代码如下：
dataX, dataY = [], []
for i in range(len(dataset)-look_back-1):
a = dataset[i:(i+look_back), 0]
dataX.append
浏览 0提问于2022-05-31得票数 0
我喜欢caffe，但是gpu内存caffe的使用量大于mxnet(我用memonger在ResNet-50中进行测试)。是否有任何想法，方向或替代定制caffe为我减少gpu内存caffe使用量。想法和方向已经足够了，我将尽量详细地加以落实。
浏览 3提问于2016-09-17得票数 2
回答已采纳
我用TensorFlow来解决多目标回归问题。具体而言，在完全卷积的像素级标记的残差网络中，输入是图像，标签是掩码。在我的例子中，我使用的是大脑MR图像，标签是肿瘤的面具。
我用我的网取得了相当不错的成绩：
虽然我相信仍有改进的余地。因此，我想添加批处理规范化。我将其具体实施如下：
# Convolutional Layer 1
Z10 = tf.nn.conv2d(X, W_conv10, strides = [1, 1, 1, 1], padding='SAME')
Z10 = tf.contrib.layers.batch_norm(Z10, center=True
浏览 1提问于2018-03-07得票数 1
回答已采纳
1回答
在Caffe上，我试图实现一个完全卷积的语义切分网络。我想知道是否有特定的策略来为以下超参数设置您的'solver.prototxt'值：
test_iter
test_interval
iter_size
max_iter
它是否取决于您的培训集的图像数量？如果是这样的话，是怎么做的？
浏览 2提问于2015-11-18得票数 14
回答已采纳
3回答
可以应用于卷积层或密集层。如果是这样的话，是在池后还是在池之前以及在应用激活之后使用呢？
另外，我想知道批量归一化是否可以用于卷积层。
我见过这里，但由于缺乏参考，我找不到有价值的答案。
浏览 0提问于2017-12-16得票数 5
回答已采纳
1回答
我试图在自定义数据集上训练deeplabv3_resnet50模型，但是在尝试向前传递时得到错误ValueError: Expected more than 1 value per channel when training, got input size torch.Size([1, 256, 1, 1])。下面的最小示例会产生此错误：
import torch
import torchvision
model = torchvision.models.segmentation.deeplabv3_resnet50(weights="DEFAULT")
model.trai
浏览 7提问于2022-09-09得票数 2
回答已采纳
1回答
我正在使用timeGAN从ydata-合成回购，现在的问题是重新培训模型。
假设我们已经根据某个数据集训练了一个模型，比如synth1。现在，我们有了新的数据集，它具有与以前的数据相似的数据特征。我想知道ydata-synthetic包是否支持加载预先训练过的synth1模型(在泡菜文件中)，然后重新训练到synth2？
我试过先加载模型，然后像5期一样进行模型训练。我认为，这5个时代不应显著改变模型，但它显示出非常不同的分布。
浏览 0提问于2023-05-24得票数 1
我正在使用Jupyter Notebook在FloydHub上训练下面的模型。但是，每当我训练模型时，都需要花费大量的时间(1分钟)。笔记本下面的统计数据显示只有2%的GPU被使用。我尝试运行命令torch.cuda.is_available()，它返回True。
import torch
from torch import nn,optim
import torch.nn.functional as F
from torchvision import datasets,transforms
transform = transforms.Compose([transforms.ToTenso
浏览 0提问于2019-02-06得票数 0
3回答
培训、验证、测试批大小比
、、、
我正在使用Tensorflow上的Inception进行转移学习，这是我遵循的培训代码：
在代码的底部，我们可以根据我们的数据集指定参数。(有培训，val，测试百分比和培训，val，测试批量)
假设我有一个非常大的数据集(100万)，并且我已经将training, validation, testing percentage设置为75:15:10。
但我不知道如何正确设置批处理参数：
train_batch_size
validation_batch_size
test_batch_size
现在，我将train_batch_size设置为64，是否需要为validatio
浏览 0提问于2019-01-29得票数 7
回答已采纳
使用下面的代码，我想问一些关于下面到底发生了什么的问题。
dataset = tf.data.TFRecordDataset(filepath)
dataset = dataset.map(parse_function, num_parallel_calls=4)
dataset = dataset.repeat()
dataset = dataset.shuffle(1024)
dataset = dataset.batch(16)
iterator = dataset.make_one_shot_iterator()
1.dataset.map(parse_function, num_pa
浏览 0提问于2019-02-13得票数 0
回答已采纳
长话短说，我一直在与内存问题(以及执行时间) dask / pandas来编写大型数据帧to_sql或to_csv作斗争，如果有人能给我指出正确的方向(下面有更多详细信息)？
我将两个较大的.csv文件附加到一起，使用dask形成一个更大的.csv文件(27M行x 52列)，以便节省内存，而不是使用pandas，因为我在pandas中内存不足或接近内存。
在此基础上，我只是简单地尝试写入.csv，但是在尝试使用.compute()将dask数据帧转换为pandas数据帧并写入文件时，我再次耗尽了内存。我想把这个问题集中在如何在不耗尽内存的情况下简单地将这个东西放到.csv中。然后，我计划使用S
浏览 25提问于2020-06-12得票数 0
我现在正在编写一个自定义优化器，第一个维度中的bias的长度不确定，因为最后一个批处理没有足够的数据来构建批处理。因此，对于最后一批和固定长度权重之间的torch.add，具有固定batch_size的权重的初始化不满足。 bias = torch.randn(batch_size,units)
batch_data = generator(path)
# for example
weights.shape # is (128,256)
# but the last batch has only 50 samples.
out = sigmoid(x*weights+bias) # whe
浏览 33提问于2019-05-29得票数 1
我试图使用tf.data输入管道，允许在运行时选择数据集，同时对数据进行批处理。下面应该允许我运行Init列车/InitTest来选择要使用的数据集：
TrainData = tf.data.Dataset.from_generator(TrainGenerator,tf.float32)
TestData = tf.data.Dataset.from_generator(TestGenerator,tf.float32)
DataIterator = tf.data.Iterator.from_structure(tf.float32)
DataNext = DataIterator.ge
浏览 1提问于2017-11-03得票数 0
回答已采纳
1回答
LSTM批量
、、、
我一直试图建立一个LSTM模型，但我对batch_size有点困惑。我在使用Tensorflow中的Keras模块。
我有50,000个示例，每个示例有200个时间步骤，每个时间步骤有三个特性。所以我把我的训练数据塑造成(50000, 200, 3)。
我用四层建立了我的模型，每个层都有100单元。对于第一层，我将输入形状指定为(200, 3)。前三层有return_sequences=True，最后一层没有，然后我做了一些softmax分类。
当我用model.fit调用batch_size='some_number'时，Tensorflow/Keras会用指定大小的批处理来
浏览 0提问于2018-12-05得票数 0
回答已采纳
我正在训练一个卷积神经网络，用暹罗结构和构造损失函数来完成人脸验证任务。在训练和验证准确性方面，我面临着巨大的差异，从最初的三到五个时代开始。当训练精度达到95%时，验证准确率为65%。它的波动在接近70%，但从未达到这个数字。
因此，为了避免这一点，我尝试了一系列的标准技术，当涉及到过度适合，但在这里列出他们之前，我应该说，他们没有真正改变的情况。培训与验证准确性之间的差距保持不变。所以我用：
λ为0.0001 ~ 10000.0的L1正则化
λ为0.0001 ~ 10000.0的L2正则化
辍学率为0.2至0.8
数据增强技术(旋转、移位、缩放)
除最后一层外，移除完全
浏览 6提问于2017-07-25得票数 4
回答已采纳
我正在训练一个深度自动编码器(现在是5层编码和5层解码，使用leaky ReLu)，以将数据的维度从大约2000 dims降低到2。我可以在10k数据上训练我的模型，结果是可以接受的。当我使用更大的数据(50k到1M)时，问题就出现了。使用相同的模型和相同的优化器并退出等都不起作用，并且训练在几个时期后就会停滞。我正尝试在优化器上执行一些超参数搜索(我正在使用adam)，但我不确定这是否能解决问题。
我是否应该寻找其他需要更改/检查的内容？在这种情况下，批处理大小重要吗？我应该通过微调优化器来解决这个问题吗？我是不是应该用辍学比率来衡量？
任何建议都是非常感谢的。
附注：我正在使用Keras。
浏览 0提问于2016-06-16得票数 0
(因为代码提升了构建在PyTorch之上的库)
请把讨论卷动一下
我正在运行以下代码，并在试图将数据传递给predict_array函数时出错
当我试图使用它直接预测单个图像时，代码失败了，但是当相同的图像位于test文件夹中时，代码运行得很完美
from fastai.conv_learner import *
from planet import f2
PATH = 'data/shopstyle/'
metrics=[f2]
f_model = resnet34
def get_data(sz):
tfms = tfms_from_model(f
浏览 0提问于2018-01-19得票数 17
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
