1回答
我有一个jpeg图像文件夹，我正试图将其转换为tfrecords文件夹。从这段代码中，我能做的最好的就是将所有jpegs写到一个tfrecords文件中，但我不知道如何使用该文件(大型tfrecords文件)，而我的其他初学者代码则需要为每个映像单独使用tfrecord文件例如，首先给我一个由5个tfrecs组成的文件夹。", "ALL_MONET_TFREC")
即使使用</e
浏览 13提问于2022-06-02得票数 1
1回答
凯德罗支持tfrecord吗？
、、、、
为了使用Docker容器在AI平台上训练tensorflow keras模型，我们使用tf.data.Dataset将存储在GCS上的原始图像转换为tfrecord。因此，数据永远不会在本地存储。是否可以利用和tfrecord数据集以及tf.data.Dataset的流功能？根据，kedro似乎不支持tfrecord数据集。
浏览 2提问于2020-07-30得票数 2
回答已采纳
我想用tf.data.Dataset接口读取生成的数据集。因此，要读取.tfrecord文件，数据格式必须为： 'image/encoded': tf.FixedLenFeature((), tf.string, "")读取dataset并使用它生成迭代器后，dataset为空，将引发OutOfRangeError: End of sequence。
可以在中找到用于重现的简短py
浏览 60提问于2018-09-08得票数 0
回答已采纳
我注意到方法(在r2.3中添加)只需一行代码就可以将tf.data.Dataset保存到文件中，这似乎非常方便。我们自己序列化tf.data.Dataset并将其写入TFRecord是否还有一些好处，或者这个save函数应该取代这个过程？
浏览 0提问于2020-08-29得票数 1
我们有tfrecord文件，其中每个tfrecord文件包含一个单独的示例，但其中的功能包含一个值列表。我们通过以下方式使用tf.data.Dataset： )
我们不使用n_rows_per_record_file的固定常量，而是查找给定文件路径的行数。我们试着使用<
浏览 34提问于2021-05-22得票数 1
回答已采纳
我正在设置一个TensorFlow管道，用于读取大型HDF5文件作为我的深度学习模型的输入。每个HDF5文件包含100个可变大小长度的视频，存储为一组压缩的JPG图像(使磁盘大小易于管理)。通过使用tf.data.Dataset和到tf.py_func的映射，使用自定义Python逻辑从HDF5文件中读取示例非常容易。将所有100个视频示例读取到dataset对象中，然后转到下一个HDF5文件(最好是在多个线程中，每
浏览 0提问于2018-01-18得票数 21
1回答
是否可以使用一个现有的tfrecord或用于生成它的标注的子集
我正在训练几个具有相同数据的模型，每个模型只需要一个或一个用于最初创建tfrecord的标签子集。tfrecord非常大，所以我想为每个模型的标签子集创建一个。
浏览 3提问于2019-05-15得票数 0
创建tf.data.Dataset后，我想将其写入TFRecords。
要做到这一点，一种方法是遍历整个dataset，并在serializeToString之后将其写入TFRecords。
浏览 21提问于2019-08-12得票数 7
我对TFRecord文件格式以及如何使用它感到相当困惑。我有一个TFRecord，但几乎不知道它到底包含什么和它的结构是什么。如何打印和检查TFRecord和/或其TFExamples？打印TFRecord的output_shapes、output_types或output_classes没有任何提示(为什么？)。不推荐使用tf.io.tf_record_iterator()函数，但是TFRecord数据集现在看起来是可迭代的(但是为什么还需
浏览 13提问于2019-04-26得票数 2
回答已采纳
1回答
在处理大型数据集时，它显然更好，但在使用dataset时，必须将其转换回张量。但为什么不先用张量呢？为什么和何时应该使用tf.data？当数据集的函数最小化时(使用类似于tf.losses.mean_squared_error的方法)，我通常通过张量或numpy数组输入数据，并且不知道如何通过for循环输入数据。我该怎么做？
浏览 0提问于2019-02-26得票数 4
回答已采纳
使用最新的TensorFlow是否有可能(和效率)？Tf1.9中的tf.contrib.data.sample_from_datasets允许从tf.data.Dataset对象列表中取样，weights表示概率。我想知道以下想法是否有意义：
创建1000个tf.data.Dataset对象，每个对象链接一个t
浏览 1提问于2018-07-27得票数 4
回答已采纳
我正在尝试将Tfrecord文件转换为JPEG，但我不知道如何修复此错误。我是新来的，如果我做错了什么，我很抱歉。如果有人可以帮助我，提前感谢你给张量(“DecodeJpeg :0”，shape=(?，1)，dtype=uint8)预期的图像(JPEG，PNG，或GIF)的错误，得到空文件[节点DecodeJpeg(定义在:38) ]
import tensorflow.compat.v1 as tf
浏览 8提问于2020-06-08得票数 0
下面的代码是从TensorFlow文件创建TFRecord数据集的部分：dsds.apply(interleave_ops.parallel_interleave(tf.data.TFRecordDataset, cycle_length=10))
我试图更改此代码以直接从JPEG图像文件创建数据集map_func in parallel_interleave()是用于TFRecord</em
浏览 2提问于2018-04-26得票数 6
回答已采纳
我正在尝试读取tfrecord文件，对其进行洗牌和拆分，然后保存到两个tfrecords，以便在多次运行时使用相同的验证数据。我正在使用Ubuntu16.04并使用Tensorflow 2.1.0。/Data/valid.tfrecord")writer_train = tf.data.experimental.TFRecordWriter/Data&
浏览 5提问于2020-02-05得票数 2
1回答
我有5个tfrecords文件，每个对象一个。在训练时，我希望从所有5个tfrecord中平等地读取数据，即如果我的批处理大小是50，我应该从第一个tfrecord文件中获得10个样本，从第二个tfrecord文件中获得10个样本，依此类推。目前，它只是从所有三个文件中顺序读取，即我从同一记录中获得50个样本。有没有办法从不同的tfrecords文件中采样？
浏览 5提问于2018-02-09得票数 5
回答已采纳
我有一个时间序列数据集，在使用RNN进行训练之前，我希望对其进行规范化。我扫描数据并创建一个tfrecord文件。然后，培训使用此tfrecord文件。我的问题是，在培训期间，如何决定是将数据规范化并使用规范化数据创建tfrecord文件，还是使用原始数据创建tfrecord，并在培训期间将数据规范化，因为这些数据是从tfrecord文件读取的？
浏览 1提问于2018-04-16得票数 0
回答已采纳
有些文件与Tensorflow不直接兼容:我有不能直接用Tensorflow打开的.FITS和.FIT文件。由于这个问题，我使用一个名为Astropy的库来打开这些文件。
用读取<
浏览 5提问于2022-04-16得票数 2
2回答
我希望基于特定条件从大型TFrecord生成分层DataFrame文件，并为此使用write.partitionBy()。通过tensorflow-连接器插件读取这些拼花文件，将它们转换成TFrecord文件。
这是我无法有效完成的第二步。我的想法是在执行器上读取单独的地板文件，并立即将它们写入TFrecord文件中。但是这需要对SQLContext的访问，这只能在驱动程序()中完成，所以不
浏览 1提问于2019-01-22得票数 4
TensorFlow的tf.data.Dataset documentation on consuming numpy arrays指出，为了将Dataset数组与numpy API结合使用，这些数组必须足够小但是，如果您将Dataset与估计器(占位符不可用)结合使用，则文档不会提供使用没有占位符的大型数组的解决方案。是否有其他选项可以将占位符值传递给估计器，以便使用，或者解决方案是以tfrecord或csv格式提供数据？
浏览 12提问于2019-02-27得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
