0回答
我有一个文本文档(电子邮件)的.tfrecord数据集，其中有相应的标签'0‘或'1’(针对垃圾邮件/非垃圾邮件)。所有这些数据集都已经以.tfrecord文件的形式存在。我有做这件事的所有帮助器方法，但我仍然不熟悉tfrecords。这就是我到目前为止要读取的tf_record文件：
tfrecord_file_queue = tf.train.string_input_pro
浏览 1提问于2017-12-07得票数 1
1回答
我一直在使用inception_v4和inception_resnet_v2等模型研究迁移学习。发现一些使用瓶颈的项目和一些使用tfrecords来存储训练图像的项目。当使用这两种方法用相同的数据重新训练inception_v4模型时，瓶颈给出了95%的准确率，而tfrecord只给出了75%。但是，所有的新项目似乎都使用tfrecords作为数据和.ckpt格式来存储模型。有人能给我解释一下在哪种情况下有什么区别，哪一个更好吗？
浏览 7提问于2019-01-29得票数 0
回答已采纳
1回答
我使用tfrecords存储数据，并使用Dataset API作为张量读取数据，然后使用Estimator API执行培训。现在，我想对数据集中的每一项进行联机数据增强，但经过一段时间的尝试，我无法找到一条出路。我要随机翻转，随机旋转和其他机械手。我正在遵循在教程中给出的指示，使用一个自定义估计器，这是我的CNN，我不知道数据增强步骤在哪里发生。
浏览 0提问于2018-01-19得票数 7
背景1)我有tfRecords形式的培训数据1)考虑到我将数据加载(tf.Dataset创建和预处理)作为tensorflow图的一部分这一事实，进来的原始文本会破坏这个过程吗？(特别是在tf.Dataset创建步骤中)
( 2)只加载原始文本</
浏览 0提问于2019-02-06得票数 0
回答已采纳
1回答
我正在尝试通过tensorflow对象检测api训练一个自定义数据集。数据集包含40k个numpy ndarray格式(uint8)的训练图像和标签。训练数据集shape=2 (40000,23456)和标签shape =1 (0...，3)。我想为这个数据集生成tfrecord。我该怎么做？
浏览 2提问于2018-05-19得票数 9
回答已采纳
我正在构建一个与tf.slim一起使用的模型，该模型将针对AVA数据集运行--对于大约256K的JPG图像，大小为32 to。在全分辨率图像的基础上，我创建了20个分片的TFRecord文件用于训练，每个文件的大小都是1.54 GB。在训练期间，我的预处理步骤将在提取随机的(224,224,3)裁剪之前将每个图像调整为(256,256,3)。如果我在创建TFRecord文件之前调整JPG图像的大小，文件大小将缩小到28 MB。除了额外的时间之外，如果我在创建TF
浏览 6提问于2018-01-10得票数 1
我知道，至少对于每一批，我应该填充数据样本(例如使用keras.preprocessing.sequence.pad_sequences)，并且我成功地为网络提供了numpy数组，但我不知道如何使用TFRecord数据集。我有一个典型的TFRecord文件读取代码，如下所示：
featuresDict = {'data': tf.FixedLenSequenceFeature([], dtype=tf.string),然后，DataGenerator函数定义数据集并设
浏览 0提问于2019-06-12得票数 0
回答已采纳
上下文：I.一个复杂的文本预处理并将tf.SequenceExamples导出到tfrecords (自定义标记化、词汇表创建、统计计算、规范化以及在完整数据集上以及每个单独示例中的更多内容对每个数据配置执行一次。
II.一个tf.Dataset (TFRecords)管道，它在训练期间也会执行相当多的处理(string_split转换为字符、表查找、存储、条件过滤等)。原始数据集存在于多个位置(BigQue
浏览 9提问于2017-12-27得票数 5
我有一个由285个被试组成的数据集，每一个都有4种模式(T1，T2，T1ce，FLAIR) +他们各自的分割地面真相。一切都是3D的，分辨率为240x240x155体素(这是BraTS数据集)。我必须对图像进行预处理，并将它们分解为3D重叠补丁(40x40x40的子卷)，这是我使用scikit-image view_as_windows所做的，然后在TFRecords文件中序列化窗口。问题是，只有一个模式，我得到的大小为每个TFRecords文件800
浏览 1提问于2018-12-07得票数 1
回答已采纳
1回答
我试图在终端中运行以下脚本：--dataset_dir /Users/shwaitkumar/Desktop/NLP/Text Detection/Synthetic
浏览 1提问于2020-04-10得票数 0
回答已采纳
TLDR;我的问题是如何从TFRecords加载压缩视频帧。
数据容器。将<
浏览 5提问于2018-01-04得票数 9
回答已采纳
我正在运行一个tensorflow转换/ beam管道来加载/预处理并保存为TFRecords。然后装载这些记录。在Tensorflow变换的预处理过程中，我要给出一个稀疏张量。CATEGORICAL_FEATURE_NAMES] = tf.contrib.layers.dense_to_sparse(dense)
要加载TFRecords，我使用以下功能：
def tfrecords_input_fn(file
浏览 2提问于2019-06-15得票数 1
4回答
我使用了tf.one_hot，并且能够训练我的模型，但是在分类之后，我对如何理解标签感到有点困惑。我的数据是通过我创建的TFRecords文件输入的。我曾想过要在文件中存储一个文本标签，但没能让它正常工作。似乎TFRecords无法存储文本字符串，或者我弄错了。
浏览 5提问于2016-12-30得票数 14
回答已采纳
我的GPU不被Keras/TensorFlow使用。为了使我的GPU与tensorflow一起工作，我通过pip安装了tensorflow-gpu (我在Windows上使用Anaconda )print(tf.test.is_gpu_available-因为我的python内核使用CPU 99%，RAM 99%，有时GPU ~7%，但大多数时候是0。我使用自定义的数据生成器，但现在它只选择批次和调整大小(skimage.io.resize)1期~ 44s也有奇怪的
浏览 2提问于2019-10-18得票数 7
回答已采纳
我正在尝试从numpy数组的文件夹创建一个tfrecord，该文件夹包含大约2000个每个50mb的numpy文件。# out_path File-path for the TFRecords output file.serialized = example.SerializeToString()
# Write the serialized data to the TFRecordswriter.write(serialized) 我想它可以转换大约20
浏览 74提问于2019-06-03得票数 0
我将数据生成并保存到多个tfrecord文件中，然后加载到TFRecordDataset中。如何根据文件对此数据集进行洗牌？，也就是说，我希望将示例的顺序保持在文件中，但在创建批处理数据集时只随机设置加载文件的顺序。请考虑以下示例：file_1 file_1_s2
file_2_s1 file_2_s3s1, file_2_s1, file_3
浏览 0提问于2019-11-18得票数 1
1回答
我正在尝试使用TensorFlow和Keras来训练一个自动编码器。我的训练数据有超过200 K 512x128未标记的图像。如果我想在一个矩阵中加载数据，它的形状将是(200000,512,128，3)。这是几百GB的RAM空间。我知道我可以在培训的同时减少批处理的大小，但这是为了限制GPU/CPU中内存的使用。
浏览 5提问于2022-04-23得票数 2
我已经构建了一个管道，它读取一些数据，进行一些操作，并创建一些apache对象(下面代码中的步骤1和步骤2)。然后，我想生成统计数据并将它们写入文件。我可以利用tensorflow数据验证库，但是tfdv GenerateStatistics需要一个pyarrow.lib.RecordBatch，而不是Row对象。我知道apache_beam.io.tfrecordio.WriteToTFRecord可以将PCollection写入文件作为TFRecord，但是，有没有一种方法可以不写到文件</e
浏览 8提问于2022-04-05得票数 1
我一直在尝试使用.mat文件中的高光谱图像数据集。我发现，使用带有加载垫功能的枕库，我可以加载高光谱图像，并选择一些波段将它们看作是RGB。当通过负责加载数据(仍然是.mat文件)的函数传递数据集文件名称列表时，张量流没有直接用于读取或编码的方法，因此我使用RGBread和SIread方法获得这些数据，然后将它们转换为张量。)
inimg, tgimg = ran
浏览 4提问于2020-02-10得票数 2
我有一个工作输入管道，它使用多个线程从tfrecords文件中读取数据，对数据进行解码和预处理，并将它们提供给图形。我以为例作为起点。我的问题是，我需要在损失层再次输入批次，以计算输入的重建误差。
浏览 1提问于2016-11-01得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
