我正在尝试编写一段代码来解析TFRecords并创建TF数据集。我从一个图像列表中创建了TFRecords文件，并且能够成功地读回并解码我的图像。我的代码基于此blog中的示例。但是，当我尝试读取TFRecords文件并创建TF数据集时，它失败了，并显示以下错误： ValueError: Argument must be a dense tens
浏览 30提问于2019-03-04得票数 0
回答已采纳
1回答
我正在使用多个tfRecord文件，并希望从中读取来创建数据集。我试图使用路径from_tensor_slices并使用该数据集进一步读取TFRecords。(多重tfRecords：的优点) return tf
浏览 0提问于2019-07-29得票数 0
1回答
sql_client_data.SqlClientData(database_path, 'digits_only_train').preprocess(_add_proto_parsing).datasets 但这只是加载服务器数据(模拟客户端数据)。我认为有必要通过客户端使用federated_map来加载每个数据集。我有点迷路了。 请大家帮帮我好吗？trainer = tff.learning.build_federated_averaging_process(model_fn, client_o
浏览 21提问于2021-10-27得票数 1
我正在学习本教程：https://medium.com/mostly-ai/tensorflow-records-what-they-are-and-how-to-use-them-c46bc4bbb564 我已经创建了一些SequentialExamples，如何从这些创建tf.data.Dataset？我将调用以下方法并创建许多示例，其中X是输入，Y是预测。=x))]
y_feature = [tf.train.Feature(float_list=
浏览 13提问于2019-03-18得票数 0
回答已采纳
我将数据生成并保存到多个tfrecord文件中，然后加载到TFRecordDataset中。如何根据文件对此数据集进行洗牌？，也就是说，我希望将示例的顺序保持在文件中，但在创建批处理数据集时只随机设置加载文件的顺序。请考虑以下示例：file_1 file_1_s2
file_2_s1 file_2_s3
浏览 0提问于2019-11-18得票数 1
1回答
对于Uni的一个项目，我正在实现一个问题回答(bAbI dataset Task5，参见)系统，并在TensorFlow中使用神经网络，我想使用TFRecords作为输入管道。我的想法是，TFRecords术语中的一个例子应该包括问题的上下文、问题本身、答案和支持句号(int指向上下文中能够回答问题的最重要句子)。下面是我如何定义函数的方法： ex = tf.train.SequenceExample()有人能指出我在哪里误解了<e
浏览 0提问于2018-03-18得票数 3
回答已采纳
是否有一个例子说明如何构造input_fn所需的tf.contrib.learn.Estimator图像分类模型？我的图像存储在多个TFRecords文件中。使用tf.contrib.learn.read_batch_record_features，我能够生成成批编码的图像字符串。但是，我并不认为将这些字符串转换为图像是一种简单的方法。
浏览 3提问于2017-03-07得票数 4
回答已采纳
1回答
我使用tfrecords存储数据，并使用Dataset API作为张量读取数据，然后使用Estimator API执行培训。现在，我想对数据集中的每一项进行联机数据增强，但经过一段时间的尝试，我无法找到一条出路。我要随机翻转，随机旋转和其他机械手。我正在遵循在教程中给出的指示，使用一个自定义估计器，这是我的CNN，我不知道数据增强步骤在哪里发生。
浏览 0提问于2018-01-19得票数 7
我想用比我的ram更大的数据在Tensorflow 2.0的tf.keras中训练一个模型，但教程只显示了预定义数据集的示例。我遵循了以下教程：这是一个将数组转换为tensorflow数据集的示例。我想要的是让它适用于多个numpy数组文件或多个tfrecords文件。train_dataset = tf.data.Dataset.from_tens
浏览 0提问于2019-04-02得票数 0
我正在使用新的tf.data API为CIFAR10数据集创建迭代器。我正在从两个.tfrecord文件中读取数据。一个保存训练数据(train.tfrecords)，另一个保存测试数据(test.tfrecords)。一切都很好。然而，在某些时候，我需要两个数据集(训练数据和测试数据)作为numpy数组。是否可以从tf.data.TFRecor
浏览 0提问于2018-02-19得票数 5
回答已采纳
我是Tensorflow的新手，我不知道如何用所需的格式将数据读取到Tensorflow Dataset中。1): # line = line.replace('"', '') features = {'label'
浏览 0提问于2018-05-17得票数 5
回答已采纳
我试图从CSV数据创建tfrecords文件，然后使用tf.data.TFRecordDataset()从它们创建Dataset，然后将Dataset提供给tf.keras.Model。(实际上，我正在使用直接从Spark创建tfrecords文件。)
一个tf.data数据集。但是，在一些示例中，我看不到构建tfrecords</em
浏览 1提问于2020-01-21得票数 4
回答已采纳
我正试着用一个自定义的数据集来喂养我的大脑。Tensorflow 给出了一个对象，我可以在其中请求另一批训练数据并将其输入，所以我尝试做一些类似的事情。我创建了dataset对象ds，它公开了函数get_alphabet，它使用WholeFileReader读取png，并使用tf.image.decode_png获取张量。它以数据(train_x)的形式返回张量列表，以one_hot标签(train_y)的形式返回张量列表。问题是，对这些图像进行评估需要花费大量的时间，最终我要等10秒才
浏览 6提问于2016-12-24得票数 0
我阅读是为了寻找一个解决方案来流式传输存储在npz文件中的NumPy数组，这些数组可能太大而无法放入内存。(features.dtype, features.shape)# [Other transformationsfeatures,
浏览 0提问于2019-09-28得票数 2
1回答
我正在创建tfrecords文件，并从tfrecords读取数据。tfrecords有两个特性，vehicleid和length。创建tfrecords：example = tf.train.Example["length"],
浏览 1提问于2017-09-02得票数 1
我有一个从TFRecords数据集中读取和解码单个图像和标签的函数'read_and_decode_Train‘。([image, label], batch_size=BATCH_SIZE, num_threads=8, capacity=2000)
现在，我想根据一些条件将TFRecords数据集分为训练数据集、验证数据集和测试数据集三个子集，例如，如果我有一个csv文件，其中行与<e
浏览 0提问于2016-09-01得票数 1
我正在为一个项目训练一个多任务转换器，并希望将我的数据结构切换到TFRecords，因为我的培训是在运行中数据生成的瓶颈。我目前正在构造一个数据样本作为张量字典，如下所示：
{'continuous_input': tf.Tensor(), 'categorical_input': tf.Tensor(), 'continuous_output我认为我已经成功地以正确的格式(字节-字符串)将数据写入TFRecor
浏览 7提问于2022-11-08得票数 0
回答已采纳
为了将输入数据序列化为TFRecord格式，我尝试遵循TFRecord格式，但是在读取它时，我一直碰到这个错误：
with tf.python_io.TFRecordWriter('train.tfrecords') as writer:
for
浏览 1提问于2018-11-27得票数 18
回答已采纳
2回答
我有一个巨大的数据集，当我试图生成一个很大的tfrecord文件时，生成tfrecord的速度非常慢。因此，我想创建tfrecords的'n‘个碎片。我找不到一种在网上做的方法。我想生成6个tfrecords分片，每个分片有100个图像和100个掩码。我想要的高级/伪代码如下：create n TFRecordWriter
----> for each_item in n TFRecordW
浏览 1提问于2019-08-24得票数 1
我通过读取TFRecords创建一个数据集，我映射值，并希望过滤数据集以获得特定值，但由于结果是带有张量的字典，因此我无法获得张量的实际值，也无法使用tf.cond() / tf.equal检查它。def mapping_func(serialized_example):
feature = { 'label': tf.FixedLenFeature([1],
浏览 120提问于2018-02-16得票数 16
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
