我有两个数据集:x和y，我想把它们分成训练集和测试集。并且我想保持他们数据的顺序(没有随机混洗)。以下面的代码为例。X有10行(y相同)。
浏览 11提问于2017-03-07得票数 0
在TensorFlow加载图像中 教程 ，作者在使用tf.data时似乎对数据进行了两次打乱： list_ds = tf.data.Dataset.list_files(str(data_dir/'*
浏览 58提问于2021-02-16得票数 0
回答已采纳
2回答
所以我应该把我的数据分成训练集、验证集和测试集。首先，我打乱了我的数据(80%用于训练集，20%用于测试集)。然后，因为我应该确定一些超参数，所以我使用10折交叉验证来拆分我的训练集。最后，我使用训练集(80%的数据)和指定的超参数来训练我的模型。我有个问题。我先打乱我的数据，然后再拆分，这是不是错了？一些研究人员认为，如果你想声称你的模型可以预测未来的数
浏览 0提问于2018-04-30得票数 4
我有多个具有相同结构的tensorflow数据集。我想把它们组合成一个数据集。使用有什么方法可以解决这个问题吗？
浏览 1提问于2018-08-09得票数 5
在Time Series tasks中，我遇到了一个关于将数据拆分成训练和测试集的问题。我知道数据不能被混洗，因为保持数据的时间性很重要，所以我们不能创建能够展望未来的场景。然而，当我打乱数据(用于实验)时，我得到了一个离谱的高R平方分数。是的，R平方是用测试集评估的。有人能简单地解释一下为什么会这样吗？为什么在时间序列中混洗训练和测试数据会产生高R平方分数？
浏览 0提问于2020-05-31得票数 0
2回答
据我所知，在预处理等方面，训练数据集和测试数据集之间绝对没有区别。
关于如何诊断这个问题有什么建议吗？
浏览 13提问于2018-08-05得票数 2
我想混洗一个大型数据集(类型为List<Record>)，然后对其进行多次迭代。通常，混洗列表只会混洗引用，而不是数据。由于频繁的缓存丢失，我的算法的性能受到了极大的影响(3倍)。我可以对混洗后的数据做一个深度拷贝，使其对缓存友好。然而，这将使内存使用量翻倍。
有没有一种更节省内存的方法来对数据进行混洗或重新排序，以便混</e
浏览 2提问于2014-08-01得票数 1
2回答
我正在制作一个图像分类器，我下载了两个类别的图像到两个文件夹：│ ├── pizza如何在tensorflow中通过混洗图像并将其拆分为训练和测试集来创建图像的训练和测试数据集
浏览 10提问于2017-01-25得票数 0
我有一个相对较大的数据集，它是非常异构的。在模型的训练过程中，我已经使用了shuffle my dataset，如文档示例: (但无法将其全部混洗，因为它会占用太多内存)，我还将我的数据集分成多个小碎片，每个碎片大小相等。然而，我有理由认为这种“近似”的混洗是不够的，我还认为馈送已经混洗的数据将提高训练速度。所以现在我的问题是:在我将我的数据集分成Tfrecord
浏览 2提问于2020-12-08得票数 1
在数据框中混洗一组行的最佳方法是什么？对于模型的混洗训练集，需要这个。
例如，每10行作为一个单独的组进行混洗，或者有一些逻辑条件来创建单独的组并将它们作为一个组进行混洗。
浏览 1提问于2018-08-10得票数 1
在最新版本的TF中使用tfds.load调用shuffle_files时，如果像imagenet (我认为拆分成1024个不同的文件)这样的加载数据集的调用方式如下：这将混洗不同的文件，但不是每个1024个文件中的实际图像。这就是为什么你通常会在将一组100张图像送入神经网络之前对其进行混洗的原因吗？
谢谢!
浏览 20提问于2021-05-16得票数 0
回答已采纳
我已经将我的数据集和标签拆分为两个numpy arrays.The数据拆分，trainX和testY作为图像，trainY和testY作为相应的标签。testX, batch_size=batch_size)
当我用ImageDataGenerator混洗另外，验证数据集也应该被混洗吗？
浏览 3提问于2018-08-22得票数 7
回答已采纳
我正在尝试理解如何使用交叉验证函数sklearn.model_selection.KFold。如果我定义(就像在这个tutorial中) from sklearn.model_selection import KFold
You should leave random_state to its default (None),
浏览 160提问于2021-06-29得票数 0
2回答
我有一个用于输入到CNN的4D numpy数组，类似于下面生成的数据： import numpy as np [0.34957495, 0.88521399, 0.30383687, 0.23567811]]])
20 我想在输入网络之前混洗我的数据集，但我不能使用sklearn train_test_spli
浏览 15提问于2020-09-22得票数 0
回答已采纳
它看起来不是均匀分布的。有没有人能看一看问题出在哪里？描述和我的问题：
我在巨大的数据上运行我的应用程序，其中我过滤并加入了3个数据集。在那之后，我缓存连接的数据集，用于生成和聚合不同时间段的特征(这意味着我的缓存数据集在循环中生成特征)。在此之后，我尝试将这些特性存储在partquet文件中。这个拼花文件花了太多时间。
浏览 2提问于2017-09-07得票数 0
在此数据集上，当我使用tf.data.shuffle(buffer_size = some_number)进行混洗时，使用消息Filling Up the shuffle buffer进行混洗需要花费大量时间我的问题是，是否有一种方法可以通过使用列1/列2的索引来混洗数据集，因为这可能不会花费太多时间进行混洗，因为它只是索引。
浏览 0提问于2019-08-19得票数 1
我使用train_test_split将我的数据划分为训练、测试和验证数据集。x_train,x_test,y_train,y_test=train_test_split(x,y,train_size=0.7,random_state=123)在这里
浏览 7提问于2021-04-21得票数 0
2回答
EPOCHS在这里是任意固定到一个给定值(通常是20或40)，拆分是应用于NB_IMG的比率。X, y = next(iter(dataset))
这里有没有人能帮我继续往前走，引导我到一些例子或片段，在那里我可以在更大的数据集上训练模型？
浏览 0提问于2020-05-02得票数 0
这将导致在混洗之前在工作进程中进行一些聚合，从而减少工作进程之间的数据混洗。给定以下数据集和groupByKey()表达式，什么是不利用groupByKey()但提供相同结果的等效且有效的实现(减少的跨工作进程数据混洗)？
浏览 0提问于2015-06-27得票数 11
回答已采纳
云服务器
ICP备案
云直播
即时通信 IM
实时音视频
腾讯云开发者
