目前，我在笔记本电脑上对一些数据进行预处理，然后将其传递给ML引擎进行培训。是否可以将自定义的预处理功能应用于我的数据，然后在ML引擎中进行训练？因此，与这些步骤不同的是：
( a)应用我指定的函数对我的数据进行预处理
浏览 4提问于2018-09-24得票数 0
在数据科学项目中，通常对数据进行预处理。我们还构建、测试和选择不同的模型。模型也有自己的预处理需求，不同模型之间有很大的差异，例如，有些模型需要扩展，而另一些则不关心。在管理数据集(或数据集)的预处理和转换时，什么是最佳做法，这些数据集将提供多个不同的模型，每个模型都有自己的预处理要求？
我想知道如何使预处理足够灵活，以支持多个模型，同时也使其易于管理更改。我最近开始使用炊具数据科学项目，它提倡使用
浏览 0提问于2021-10-08得票数 3
回答已采纳
我正在建立一个神经网络，目的是对未来的新数据进行预测。首先利用sklearn.preprocessing对训练数据进行预处理，然后对模型进行训练，然后进行预测，然后关闭程序。将来，当新数据出现时，我必须使用相同的预处理尺度来转换新数据，然后再将其放入模型中。目前，我必须加载所有的旧数据，适合预处理，然后转换新的数据与这些预处理程序。是否有一种方法可以保存预处理对象(如sklearn.preproce
浏览 9提问于2017-03-16得票数 3
回答已采纳
1回答
我需要训练一个模型，但预处理后的数据太大，无法适应RAM。是否有可能对数据进行分批预处理，并为小数据集训练模型，然后保存权重，然后再用保存的权重对下一批数据进行训练？工作流程将是这样的：如果是的话，我该怎么做？
浏览 0提问于2020-05-21得票数 1
回答已采纳
在Tensorflow中，似乎可以在培训期间、从原始图像(或数据)创建批处理或图像已经是静态的时候进行预处理。考虑到theoretically，预处理所需的时间大致相同(如果它们使用相同的硬件完成)，在进行数据预处理(甚至数据增强)之前，在进行数据预处理(甚至数据增强)方面是否比在实时培训期间有任何实际的缺点？另外一个问题是，如果没有在训练期间进行数据增强，那么是否可以在Tensorflow中进行数据</em
浏览 1提问于2017-01-23得票数 4
回答已采纳
我有一个非常长的(超过3个小时，有点手动)的预处理方法，以获得所有的数据，我需要运行分析。我是在调试模式下运行的，预处理工作非常好，我得到了我想要的所有数据，但是一旦我开始处理数据，我就会发现一个错误。如果我停止进程，我将不得不重新运行预处理，但却发现了另一个可能的错误。有没有办法保存这些预处理过的数据，这样我就可以将其转储到内存中，而不必每次都进行预处理而不停止进程？
我只是在预处理之后和处理之前被断点指向，并且有
浏览 2提问于2013-11-23得票数 1
回答已采纳
1回答
AskTensorFlow
我使用了tensorflow打包的数据集，如MNIST，IMDB来研究tensorflow的工作原理。然而，在实际应用中，我们必须自己对数据集进行预处理和准备。假设我正在处理图像数据集，所以我想将它们预处理为可以输入到tensorflow模型中的格式。如何将图像数据集预处理为tensorflow格式？
浏览 2提问于2018-11-17得票数 0
1回答
我开发了一个文本数据预处理管道，使用了不同的清理技术，如词干、词条化、停止字词删除等。但现在，业务团队的要求是量化预处理步骤(或它生成的文本数据)的质量。我们如何开发一些度量来评估文本数据的预处理质量？
浏览 0提问于2020-12-07得票数 1
我有一个关于处理tensorflow‘猫对狗’数据集的数据预处理的问题 我像这样加载数据： dataset, info = tfds.load(name='cats_vs_dogs, split=tfds.Split.TRAIN, with_info=True) 然后，我想这样定义预处理函数： def preprocess(features): 然后，我想像这样使用这个预处理函数： train_dataset = dataset.map但是，我不知道如何预处理
浏览 17提问于2020-04-18得票数 0
2回答
对图像数据进行预处理？
、、、、
很多图像处理程序都是先对数据进行预处理，再对数据进行预处理，再对数据进行重定标进行预处理 keras.preprocessing.image.ImageDataGenerator(rescale=1/
浏览 137提问于2019-12-23得票数 0
回答已采纳
2回答
我对分层聚类很陌生，并希望对混合数据执行聚类。对于必要的预处理步骤，我有点困惑.我知道如何预处理纯连续的数据，我还不能确定的是，对于混合数据来说，预处理步骤是必需的？我是否只是缩放我的连续变量，计算丢失的数据，而不去处理分类变量？还是需要对所有变量类型执行转换？
浏览 0提问于2020-03-12得票数 2
回答已采纳
据我所知，人们说，在将数据分割成训练/测试数据集之后，对数据进行预处理更正确。我的问题是
1.这是否意味着我们检测到数据的缺陷并在分割后对其进行预处理？如果是/否，为什么？2.在分割数据之前先检测数据的缺陷，然后在分割后对缺陷进行预处理，这样行吗？如果是/不是，为什么？
浏览 0提问于2020-02-26得票数 1
回答已采纳
我有预处理的数据(标记化)。我已成功记录训练好的模型(mlflow.keras.log_model)。我已经使用mlflow服务为模型服务了。现在，在对文本数据进行预测时，我需要使用用于训练的相同标记器对象进行预处理。如何预处理测试数据并从服务模型中获得预测。
浏览 8提问于2020-03-13得票数 2
回答已采纳
1回答
对于需要澄清的数据预处理，我有一个问题。据我所知，当我们通过交叉验证来调优超参数和评估模型性能时，而不是对整个数据集进行预处理时，我们需要在交叉验证中这样做。换句话说，在交叉验证中，我们对训练褶皱进行预处理，然后使用相同的预处理参数对测试褶皱进行处理和预测。
在下面的示例代码中，当我在插入符号：：preProcess中指定时，它会自动这样做吗？从一些在线来源来看，有些人对整个数据集(培训集)进行预处理，然后利用预处理数据</e
浏览 0提问于2018-05-11得票数 5
3回答
但我不确定对这些数据进行预处理的最佳方法，以便进行有效的搜索。例如，在对数据进行预处理之后，如果有人搜索“NY”，我将能够显示包含单词“NY”的消息。建议将预处理后的数据写入xml文件而不是数据库。
浏览 0提问于2011-07-01得票数 0
1回答
我正在探索GCP中的顶点AI AutoML特性，它允许用户导入数据集、训练、部署和预测ML模型。我的用例是自己进行数据预处理(我对AutoML数据预处理不满意)，并希望直接将这些数据输入到管道中，在管道中对模型进行训练和部署。另外，我希望将新数据提供给dataset。它应该负责整个管道(从数据预处理到部署最新模型)。我想知道如何处理这个问题？
浏览 6提问于2022-04-20得票数 2
1回答
现在，预处理例程从SSD中获取数据，进行预处理，并形成用于学习的数据结构。所有这些时间，ML培训过程等待着。然后，ML过程接受这些数据并使用它来训练模型。现在预处理在等待。然后他们就绕来走去。计划如下:一个单一的数据结构将存储一组数据点。每一步训练算法都采用随机子集对模型进行训练(用TensorFlow在GPU上进行训练)。
同时，我希望另一个线程对下一组数据点进行预处理。当预处理就绪时，它将用新的
浏览 4提问于2016-07-05得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
