如何使用tf.data.Dataset.from_generator进行批量处理？我需要修改生成器吗
使用tf.data.Dataset.from_generator可以将生成器转换为tf.data.Dataset对象，从而实现批量处理数据。
要使用tf.data.Dataset.from_generator进行批量处理，首先需要定义一个生成器函数，该函数按照要求生成数据样本。生成器函数应该返回一个元组或一个字典，其中包含一个或多个张量，表示一个数据样本。
接下来，可以使用tf.data.Dataset.from_generator函数将生成器转换为tf.data.Dataset对象。该函数接受两个参数：生成器函数和输出类型（output_types）。输出类型可以是一个元组或一个字典，与生成器函数的返回值类型相对应。
示例代码如下：
import tensorflow as tf
# 定义生成器函数
def generator():
for i in range(10):
yield i
# 转换为tf.data.Dataset对象
dataset = tf.data.Dataset.from_generator(generator, output_types=tf.int32)
# 进行批量处理
batched_dataset = dataset.batch(4)
# 遍历数据集
for batch in batched_dataset:
print(batch)在上述示例中，生成器函数generator生成了0到9的整数。通过tf.data.Dataset.from_generator将生成器转换为tf.data.Dataset对象，并指定输出类型为tf.int32。然后，使用batch方法对数据集进行批量处理，每个批次包含4个样本。最后，通过遍历数据集，可以逐个获取批次数据。
相关·内容
我正在学习“图像分类的联合学习”，但使用我自己的数据集和resnet50。在运行iterative_process.next时，我得到了这个错误。
我相信这是由tf.data.Dataset.from_generator引起的，这里是我的代码：
par1_train_data_dir = './par1/train'
par2_train_data_dir = './par2/train'
input_shape = (img_height, img_width, 3)
img_gen = ImageDataGenerator(preprocessing_fu
浏览 1提问于2020-02-12得票数 1
回答已采纳
集群任务：
我有一个名为" train“的文件夹，其中包含我自己的火车影像数据集(1000)，并且所有影像都未标注(没有两个文件夹分别用于class1和class2)我想使用如下所示的tf.data.Dataset.from_generator导入我的数据集
train_gen = tf.keras.preporocessing.image.ImageDataGenerator()
train_set = train_gen.flow_from_directory('/path/train')
当我运行我的代码时，我发现了以下消息：Found 0 images belo
浏览 1提问于2020-09-04得票数 1
我试图使用基于生成器的数据集：
def gen():
return zip(samples,feature)
ds = tf.data.Dataset.from_generator(gen,output_types=tf.dtypes.float32)
model.fit(ds,
epochs=150,
#callbacks=[tensorboard_callback]
)
model.save("/sda/anyone/imagenet-in-np/transformer")
而特性是numpy.ndar
浏览 10提问于2022-01-21得票数 3
输入管道中有以下错误：
tensorflow.python.framework.errors_impl.InvalidArgumentError:不能对组件0中形状不同的张量进行批处理。第一元素为2,48,48,3，元素1为27,48,48,3。
用这个代码
dataset = tf.data.Dataset.from_generator(generator,
(tf.float32, tf.int64, tf.int64, tf.float32, tf.int64, tf.float32))
data
浏览 0提问于2018-03-28得票数 12
回答已采纳
1回答
我想在几百个GBs的数据上建立一个预测模型。这些数据需要一些不需要密集的预处理，我可以在火星雨中完成，但在tensorflow中不需要。在我的情况下，直接将预处理的结果传递给TF会更方便，理想的情况是将吡火花数据帧作为虚拟输入文件传递给TF，而不是将预处理后的数据保存到磁盘上。然而，我根本不知道怎么做，我在网上也找不到任何地方。
经过一些思考后，在我看来，我实际上需要一个迭代器(如tf.data.Iterator所定义的)来处理spark的数据。然而，我发现网上的评论暗示了这样一个事实:星星之火的分布式结构使得它变得非常困难，如果不是不可能的话。为什么会这样呢？假设我不关心行的顺序，为什么不
浏览 1提问于2018-04-30得票数 6
回答已采纳
1回答
我有一个以概率层结尾的网络，如下所示：
model = tfk.Sequential([
tfkl.InputLayer(10),
tfkl.Dense(tfpl.MultivariateNormalTriL.params_size(2)),
tfpl.MultivariateNormalTriL(2)])
我正在从一个生成器创建我的数据集：
data_generator = tf.data.Dataset.from_generator(
data_generator,
ou
浏览 13提问于2019-10-25得票数 1
1回答
我有一个比我的记忆更大的数据集。一般来说，我必须循环350个点，每个点是一个大约80 Gb大小的数据集。通常，我只需要在一次处理一个文件就可以解决这个问题，但是现在我正在执行一种计算，要求我一次加载所有数据。我正在寻找如何解决这个问题的建议。我已经读过一些关于达斯克和火星雨的书了，但我不确定我需要什么。由于我正在对数据执行主成分分析( PCA )，所以我不能将数据分割成块，所以我需要对整个数据进行计算，数据是速度场，而不是表。也许更改内存中数组的浮点格式可以工作，也可以使用任何其他技巧来压缩内存中的数组。每个点上的所有文件都是泡菜格式的，是3200个文件，总共提供了32 Tb的数据。
我有64
浏览 2提问于2022-07-28得票数 0
我需要向神经网络模型提供从生成器读取的数据。例如，考虑以下内容： import numpy as np
def gener():
for i in range(100):
yield np.random.sample((28,28)) 我正在尝试使用这个： import tensorflow as tf
train_data = tf.data.Dataset.from_generator(gener,output_types=tf.float32)
train_labels = np.random.randint(0, 10, size=100) 创建第一个模型层和
浏览 11提问于2020-06-19得票数 0
目前我有一个定义为: TensorFlow的数据集： dataset = tf.data.Dataset.from_generator(
lambda: sample_generator(
vocab_name, model_name, n_synonyms=5, use_closest_words=True
),
output_signature=(
(
tf.TensorSpec(shape=(1,), dtype=tf.int32),
tf.TensorSpec(shape=(Non
浏览 22提问于2021-08-23得票数 0
我在Tensorflow 1.10上
现在我不确定这是不是一个bug。
我一直在尝试连接我从多个tf.data.Dataset.from_generator生成的大约100个数据集。
for i in range(1, 100):
dataset = dataset.concatenate(
tf.data.Dataset.from_generator(gens[i], (tf.int8, tf.int32), output_shapes=(
(256, 256), (1))))
print(i)
pri
浏览 14提问于2018-08-31得票数 5
1回答
对于语义图像分割，我知道您通常有一个包含图像的文件夹和一个包含相应蒙版的文件夹。在我的例子中，我有尺寸为(32，32，32)的灰度图像。面具自然具有相同的尺寸。标签将另存为强度值(值1=标签1，值2=标签2，依此类推)。共4个班。假设我找到了一个使用keras模型API构建的模型。我如何知道如何准备我的标签数据，以使其被模型接受？它依赖于损失函数吗？它是在模型(输入参数)中定义的吗？我只是添加另一个维度(4，32，32，32)，其中4代表4个不同的类，并对其进行一次热编码吗？ 我想构建一个用于语义分割的3D卷积神经网络，但我无法理解如何在keras中正确地输入数据。预测的输出应该是一个4通道
浏览 18提问于2019-07-04得票数 1
回答已采纳
我正在使用自定义生成器来传递我的数据。但是我一直遇到一个错误，说我已经用完了数据，并在传递数据集时使用repeat()。我使用的是普通生成器，因此不可能使用repeat()。有人能帮我解决这个问题吗？ import os
import numpy as np
import cv2
def generator(idir,odir,batch_size,shuffle ):
i_list=os.listdir(idir)
o_list=os.listdir(odir)
batch_index=0
batch_size = batch_size
sample
浏览 86提问于2021-10-04得票数 0
回答已采纳
我正在尝试用生成器来训练一个估计器，但是我想为每个迭代提供一个样本包给这个估计器。我展示了密码：
def _generator():
for i in range(100):
feats = np.random.rand(4,2)
labels = np.random.rand(4,1)
yield feats, labels
def input_func_gen():
shapes = ((4,2),(4,1))
dataset = tf.data.Dataset.from_generator(generator=_generator,
浏览 0提问于2018-04-05得票数 5
回答已采纳
1回答
当我尝试为LSTM提供多个输入时，我有点挣扎于tf.data.dataset API，也就是说，对于每个特性，都有一个长度为n的向量( time中的步骤)，并且，让我们一天一天地使用5个特性。因此，我有一个有长度的5个向量的列表，比如说，n=3。
例如，我有一个生成器，它在每一步都生成具有以下结构的数据：
[
array(
[
[5.00000000e-01, 5.00000000e-01, 5.00000000e-01],
[9.00000000e+00, 9.00000000e+00, 9.00000000e+
浏览 3提问于2020-02-13得票数 0
回答已采纳
我想创建一个tf.data.Dataset.from_generator(...)数据集。我需要传递一个Python generator。
我想将以前数据集的一个属性传递给生成器，如下所示：
dataset = dataset.interleave(
map_func=lambda x: tf.data.Dataset.from_generator(generator=lambda: gen(x), output_types=tf.int64),
cycle_length=2
)
其中，我将gen(...)定义为接受一个值(它是指向某些数据的指针，比如gen知道如何访问的文件名)。
这
浏览 2提问于2018-01-19得票数 1
回答已采纳
我需要每天使用CSV文件中的大量数据。CSV包含大约120K条记录。在使用hibernate时，这会变得非常缓慢。基本上，在使用saveOrUpdate()时，hibernate似乎是在每次插入(或更新)之前执行SELECT；对于使用saveOrUpdate()持久化的每个实例，都会在实际插入或更新之前发出SELECT。我可以理解它为什么这样做，但它对于批量处理来说效率非常低，我正在寻找替代方案
我确信性能问题出在我使用hibernate的方式上，因为我有另一个使用原生SQL的版本(它以同样的方式解析CSV )，并且它确实围绕着这个新版本运行。)
那么，对于实际的问题，是否存在替代mysqls
浏览 1提问于2011-09-08得票数 28
回答已采纳
Tensorflow2用于训练，我在对象分类训练中打印了相当多的警告。这些警告的原因可能是什么？
2020-04-17 12:15:16.091784: W tensorflow/core/common_runtime/shape_refiner.cc:88] Function instantiation has undefined input shape at index: 486 in the outer inference context.
2020-04-17 12:15:16.091846: W tensorflow/core/common_runtime/shape_refiner
浏览 2提问于2020-04-17得票数 1
我正在设置一个TensorFlow管道，用于读取大型HDF5文件作为我的深度学习模型的输入。每个HDF5文件包含100个可变大小长度的视频，存储为一组压缩的JPG图像(使磁盘大小易于管理)。通过使用tf.data.Dataset和到tf.py_func的映射，使用自定义Python逻辑从HDF5文件中读取示例非常容易。例如：
def read_examples_hdf5(filename, label):
with h5py.File(filename, 'r') as hf:
# read frames from HDF5 and decode the
浏览 0提问于2018-01-18得票数 21
1回答
训练神经网络的多输入特征
、、、、
我正在从事一个项目，其中我有3功能x1，x2，x3，它们是显示在文件夹中的图像，用于训练神经网络。我使用的是库ImageDataGenerator.flow_from_directory()，它提供了以下输出：
Found 78200 images belonging to 46 classes.
Found 78200 images belonging to 46 classes.
Found 78200 images belonging to 46 classes.
Found 13800 images belonging to 46 classes.
最后一个属于测试数据。例如，我的数
浏览 4提问于2021-02-12得票数 0
回答已采纳
我正在尝试检查我的模型在验证数据集上的性能。因此，我使用predict_generator从我的validation_generator返回预测结果。但是，我无法将预测与从validation_generator.classes返回的真实标签进行匹配，因为我的预测的顺序是混淆的。
下面是我初始化生成器的方式：
BATCH_SIZE = 64
data_generator = ImageDataGenerator(rescale=1./255,
validation_split=0.20)
train_generator
浏览 2提问于2018-10-25得票数 1
1回答
我想使用vgg16来训练包含图像的数据集。
在Keras中，我可以使用fit()函数而不是fit_generator()吗？多么?
浏览 0提问于2018-08-17得票数 3
1回答
我有一个keras生成器 train_datagen = ImageDataGenerator(rotation_range=360,
horizontal_flip=True,
vertical_flip=True,
validation_split=0.15,
preprocess
浏览 26提问于2019-09-07得票数 0
回答已采纳
我正在尝试用输入形状(14400,1)的数据在TensorFlow中训练一个1D CNN模型，但我收到了输入形状与模型不兼容的错误。我已经确保我的输入数据具有正确的形状。我使用的是TensorFlow版本2.3.0 批次代码段(每个批次32个示例，数据形状- (14400,1)，标签形状- (1,1) ) batch: 0
Data shape: (32, 14400, 1) (32, 1, 1)
batch: 1
Data shape: (32, 14400, 1) (32, 1, 1)
batch: 2
Data shape: (32, 14400, 1) (32, 1, 1
浏览 21提问于2021-03-26得票数 2
回答已采纳
我想给我的生成器提供参数，以便与tf.data.Dataset.from_generator()结合使用。例如：
def generator(lo, hi):
for i in range(lo, hi):
yield float(i)
这个生成器产生在lo和hi之间。注意，与创建数据集时相比，这些参数从未传递给此生成器。
tf.data.Dataset.from_generator(generator, tf.float64)
这是因为tf.data.Dataset.from_generator()的生成器参数应该不带任何参数。
有什么解决办法吗？
浏览 0提问于2018-08-02得票数 2
回答已采纳
我有一个具有数百(~700)个文档的Firestore，如下所示：
{
name: string
email: string
coins: string
...
}
问题是“硬币”是以字符串而不是数字的形式储存的。
我的问题是：
...
.where('coins', '>=', 0)
.where('coins', '<=', 30)
.get();
该查询获取10、20、100、200、299999等，因为它只考虑第一个字符。
预期的结果应该只有10、15、20和29。
你对如何使w
浏览 2提问于2022-11-24得票数 0
回答已采纳
1回答
每个人都在谈论在Python中使用生成器的优势。这真的很酷也很有用。但没有人谈论他们的缺点。面试官通常会利用这一差距。
那么，除了这两种以外，使用发电机还有其他缺点吗？
对于生成器的工作，需要在内存中保留生成器function.Every的变量--您想要在集合中重用它必须重新生成的元素的时间。
浏览 2提问于2019-12-04得票数 4
回答已采纳
我有多个文件，我想用小块来使用，直到EOF与tf.data一起使用，而不是每个文件使用tf.read_file一次(因为有些文件比其他文件大得多)。
我不知道如何以TensorFlow op (tf.py_func？)的形式使用管道子进程，而来自list_files的dataset元素只有在图形执行期间才知道，因此以下内容无法工作：
def stream(path, bytesize=2048):
args = f'my_program {path}'
with subprocess.Popen(args, stdout=subprocess.PIPE) as
浏览 0提问于2018-05-02得票数 0
回答已采纳
我试图从numpy数组开始在tensorflow 1.14中创建一个Dataset对象(我有一些遗留代码不能在这个特定项目中更改)，但每次我尝试时都会将所有内容复制到我的图中，因此当我创建事件日志文件时，它非常大(在本例中为719 MB )。
最初我尝试使用这个函数"tf.data.Dataset.from_tensor_slices()"，但它不起作用，然后我读到它是一个常见的问题，有人建议我尝试生成器，因此我尝试了以下代码，但我再次得到一个巨大的事件文件(719MB)
def fetch_batch(x, y, batch):
i = 0
while i &
浏览 3提问于2019-11-25得票数 6
回答已采纳
2回答
针对SQL Server2008使用NHibernate 2.1.2.4000。目标表没有触发器或无关索引。这很简单：
create table LogEntries (
Id INT IDENTITY NOT NULL,
HostName NVARCHAR(32) not null,
UserName NVARCHAR(64) not null,
LogName NVARCHAR(512) not null,
Timestamp DATETIME not null,
Level INT not null,
Thread NVARCHAR(64) n
浏览 0提问于2010-08-04得票数 4
回答已采纳
我试图使用tf.data输入管道，允许在运行时选择数据集，同时对数据进行批处理。下面应该允许我运行Init列车/InitTest来选择要使用的数据集：
TrainData = tf.data.Dataset.from_generator(TrainGenerator,tf.float32)
TestData = tf.data.Dataset.from_generator(TestGenerator,tf.float32)
DataIterator = tf.data.Iterator.from_structure(tf.float32)
DataNext = DataIterator.ge
浏览 1提问于2017-11-03得票数 0
回答已采纳
1回答
为什么批处理大小在GPU中分配？
、、、、
给定具有输入形状(None,256,256,3)和batch_size为16的Keras模型(在Colab上)，则为该输入形状分配的内存为16*256*256*3*数据类型(datatype=2,4,8取决于浮动16/32/64)。这就是它的工作原理。我的困惑是，对于给定的batch_size (= 16 )，1*256*256*3可以被分配，16幅图像可以一个一个地传递，最后的梯度可以是平均的。
1)那么，分配是否取决于批大小，这样就可以并行地进行“batch_size”计算，而我前面提到的配置(1*256*256*3)将是序列化的，从而违背了GPU?的目的。
2)在CPU上是否会发生相同类
浏览 2提问于2021-01-05得票数 0
回答已采纳
尝试构建简单的模型，只是为了弄清楚如何处理tf.data.Dataset.from_generator。我无法理解如何设置output_shapes参数。我尝试了几种组合，包括不指定它，但由于张量的形状不匹配，仍然收到一些错误。这个想法就是用SIZE = 10生成两个numpy数组，并用它们运行线性回归。代码如下：
SIZE = 10
def _generator():
feats = np.random.normal(0, 1, SIZE)
labels = np.random.normal(0, 1, SIZE)
yield feats, labels
de
浏览 1提问于2018-02-13得票数 9
回答已采纳
每当我试图将字符串列表转换为tf.Dataset对象时，它都会输出此错误。
tensorflow.python.framework.errors_impl.InvalidArgumentError: Length for attr 'output_shapes' of 0 must be at least minimum 1
; NodeDef: {{node ParallelMapDatasetV2}}; Op<name=ParallelMapDatasetV2; signature=input_dataset:variant, other_arguments:
浏览 1提问于2021-03-14得票数 1
我无法让Hibernate在MySQL上执行批量插入。
我有要排序的主键生成类型，下面是我的dao.xml
<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
xmlns:p="http://www.springframework.org/schema/p"
xmlns:context="http://www.springf
浏览 1提问于2018-05-13得票数 2
1回答
更准确地说。假设我已经有了一个表示某些东西(单词、对象、图像……)的向量。我不能改变我得到它的方式。我想做的是创建一个没有嵌入和池化层的NN，我想知道tensorflow是否支持这种方法。 假设我的向量是10个特征长度(10个浮点数)。对于每个向量，我也有一个标签，假设有3个标签可供选择。 我正在(努力/尝试)做的事情是这样的。我想把这种类型的向量输入推到一个keras密集层，其中包含relu激活和10个神经元(堆栈可能是2或3个)，然后作为最后一层，使用带有3个输出神经元的sigmoid激活。 然后与40(?)纪元等等。 我的主要问题是..这可能吗？我还没有完成代码，也许我问得有点太快了，
浏览 12提问于2019-06-21得票数 0
回答已采纳
2回答
我想使用PyMongo的写操作特性，它可以批量执行写操作，以减少网络往返次数，并增加仪式吞吐量。
我还发现可以使用5000作为批号。
但是，我不想要批号的最佳大小，以及如何在下面的代码中将PyMongo的批量写入操作特性与生成器结合起来？
from pymongo import MongoClient
from itertools import groupby
import csv
def iter_something(rows):
key_names = ['type', 'name', 'sub_name', 'pos&#
浏览 5提问于2014-10-27得票数 2
回答已采纳
我试图使用REST在PingDirectory中创建和更新批量记录，有任何方法可以实现批量更新和插入。使用POST请求与邮递员进行单次插入是很好的
https://directory.*.com/directory/v1/
提亚
浏览 3提问于2022-05-20得票数 1
回答已采纳
在训练我的模型时，我遇到了Tensorflow - Keras: Consider either turning off auto-sharding or switching the auto_shard_policy to DATA to shard this dataset帖子中描述的问题。我现在的问题是：@Graham501617 501617提到的解决方案也适用于生成器吗？下面是我到目前为止使用的一些虚拟代码： class BatchGenerator(Sequence):
def __init__(self, some_args):
...
de
浏览 68提问于2021-01-27得票数 1
1回答
访问多台木星笔记本中的内存数据
、、、、
我有多个CPU，可以并行地训练不同的神经网络，但不幸的是，由于数据很大，我受到CPU内存的限制，不能在不同的笔记本上运行多个型号，因为我必须为每个笔记本加载数据。
是否有方法从一个笔记本载入数据并通过另一个笔记本访问它？
我正在使用TensorFlow/Keras
浏览 0提问于2019-05-07得票数 0
回答已采纳
我正在使用Jooq代码生成器，我注意到，当我对DB进行更改并运行代码生成器时，它会对所有文件进行更改，而不仅仅是那些应该更改的文件。
例如，我添加了一个新表，因此我看到了表的新类和表记录的新类，并且看到表被添加到模式类中。但是，在表示其他表的类中，完全不应该受到影响，我还在“导入”部分中看到了更改。
在一些文件中，我看到只添加了一个空行。在其他情况下，我看到特定导入行的位置发生了更改。在其他类中，包含*的导入行被导入类的整个列表替换，反之亦然。
示例：
我的问题是:为什么Jooq会这么做？我能把这种行为关掉吗？
谢谢!
浏览 5提问于2022-05-16得票数 1
回答已采纳
我正在使用Kaggle数据集开发一个数字分类器模型：https://www.kaggle.com/c/digit-recognizer/data?select=test.csv 当使用np.array对象拟合模型时，它工作得很好，但我不能传递tensorflow ds对象。下面是我使用ds对象进行训练/验证数据的代码： import pandas as pd
import numpy as np
import tensorflow as tf
from tensorflow import keras
from functools import partial
train_df = pd.
浏览 10提问于2020-07-06得票数 0
回答已采纳
我有一个发电机，我正在试着交错： def hello(i):
for j in tf.range(i):
yield j
ds = tf.data.Dataset.range(10).interleave(
lambda ind: tf.data.Dataset.from_generator(lambda: hello(ind), output_types=(tf.int32,)))
for x in ds.take(1):
print(x) 但是我得到了这个错误： TypeError: An op outside of the function build
浏览 11提问于2021-04-30得票数 2
回答已采纳
1回答
假设我有一个Google表单，它收集以下信息：
时间戳(默认字段)
名字
Ref#
然后，表单数据出现在电子表格上，如下所示：
4/10/2013 16:20:31 | Jack, Jill, Oscar | Ref6656X
(注:姓名数目可在1至多之间)
我需要数据出现在电子表格上，如下所示：
4/10/2013 16:20:31 | Jack | Ref6656X
4/10/2013 16:20:31 | Jill | Ref6656X
4/10/2013 16:20:31 | Oscar | Ref6656X
我经常能破译和编辑Goog
浏览 1提问于2013-04-10得票数 1
回答已采纳
我有一个数据集，它是一个很大的形状矩阵(100000,2000)。
我想用训练我的Tensorflow神经网络，所有可能的滑动窗口/子矩阵的形状(16,2000)这个大矩阵。
我用：
from skimage.util.shape import view_as_windows
A.shape # (100000, 2000) ie 100k x 2k matrix
X = view_as_windows(A, (16, 2000)).reshape((-1, 16, 2000, 1))
X.shape # (99985, 16, 2000, 1)
...
model.fit
浏览 4提问于2021-06-22得票数 1
回答已采纳
我正在尝试从生成器构建一个tensorflow数据集。我有一个名为some_list的元组列表，每个元组都有一个整数和一些文本。
当我不把some_list作为参数传递给生成器时，代码可以很好地工作
import tensorflow as tf
import random
import numpy as np
some_list=[(1,'One'),[2,'Two'],[3,'Three'],[4,'Four'],
(5,'Five'),[6,'Six'],[7,'Seve
浏览 9提问于2022-10-20得票数 0
回答已采纳
我有一个数据生成器，我可以从中生成训练图像。我想使用这个Python数据生成器将数据提供给Tensorflow模型，但我不知道如何将生成器转换为Tensorflow张量。我正在寻找类似于Keras的fit_generator()函数的东西。
谢谢!
浏览 13提问于2017-12-23得票数 4
回答已采纳
当数据集变得更大时，以下操作会消耗掉我所有的GPU内存。
tf_train = tf.data.Dataset.from_tensor_slices((X_train, y_train)).shuffle(1000).batch(512, drop_remainder=True).prefetch(1)
我试过了各种选择，但仍然坚持着如何编写生成器。
tf_train = tf.data.Dataset.from_generator(generator=my_gen, output_signature=??)
我不知道如何编写my_gen或输出签名语法。
X_train是数值特征的数据格式，y
浏览 4提问于2022-02-24得票数 0
我正在做一个三维零位数组，然后填充它。但是，由于numpy数组的大小，即使使用64 gb内存，它也会遇到内存问题。我做错了吗？
X_train_one_hot形状为(47827，30,20000)，encInput为形状(47827，30,200)。
X_train_one_hot_shifted = np.zeros((X_train_one_hot.shape[0], 30, 20200))
#X_train_one_hot.shape[0] = 48000
for j in range(0, X_train_one_hot.shape[0]):
current = np.
浏览 1提问于2019-02-28得票数 2
回答已采纳
我最近在使用spacy时遇到了一个奇怪的行为，那就是当我处理字符串时， 在字符串是单个字符串对象的情况下，我必须使用nlp( string )， 而对于由字符串元素组成的列表，我必须使用nlp.pipe(一个列表)。 示例如下。 string='this is a string to be process by nlp'
doc =['this','is','a','string','list','to','be','processed','
浏览 42提问于2021-03-02得票数 0
回答已采纳
我有一个数据集，我想要传递给tf.data.Dataset应用程序接口进行调度。但是，在传递到tf.data.Dataset之前，我需要读取大量数据文件并对其进行预处理。我不想一次读取内存中的所有数据。目前，我一直在一次读取一个文件，对它们进行批处理，然后读取下一个文件。i.e
import itertools
class DataBatcher:
def __init__(self, list_of_files):
self.list_of_files = list_of_files
self.init_index = 0
self.
浏览 0提问于2019-08-02得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议活动推荐
腾讯云开发者
