我有一个TF数据集，它是通过作为单独过程的一部分进行一些复杂的预处理来准备的。现在，我想把它保存到磁盘上，稍后再读。
做到这一点的最好方法是什么？
浏览 19提问于2020-06-04得票数 0
1回答
我想在断电后立即触发挂起到磁盘，这样以后就可以恢复。initrd (默认的Devuan initrd)在交换分区中查找挂起签名，并在找到签名时从它恢复。当向交换分区写入数据时，电源完全中断，我不知道会发生什么情况。这可能发生在电池故障或悬挂系统挂起时。系统是从损坏的交换分区恢复，还是只忽略交换分区？签名是在其他数据之后还是之前写入交换分区？它使用校验和吗？
浏览 0提问于2021-02-21得票数 11
回答已采纳
3回答
我正在开发一种应用程序实例之间的交换格式，以便用户可以将信息保存到文件中，并在以后恢复它。整个“交换格式”是一个单独的类，它被序列化并写入磁盘。
您建议如何在该类中存储图形/声音信息？
浏览 1提问于2008-10-15得票数 1
回答已采纳
我有一个图像分类任务，在这个任务中，我创建了每个图像的多个序列，以及翻转/失败的版本，以扩展有限的数据集。我已经将数据集写入tfrecords文件，其中每个记录由(这里简化为两种作物，只有翻转的版本)组成： lbl: int,
crop_0: np.ndarray在培训期间，我希望将每个图像作为单独的处理，即将每个记录作为具有相同标签的4个图像，与数据集中的其他图像混合处理，从而使N个图像变为4N图像。在测试期间(使用一个单独但结构
浏览 1提问于2018-06-21得票数 2
回答已采纳
如何将HuggingFace数据集写入磁盘？我使用JSONL文件创建了自己的HuggingFace数据集：有什么更好的方法吗？
浏览 10提问于2022-04-26得票数 4
回答已采纳
我目前有一个Redis 6.2.4集群(3个主服务器+3个副本)，具有以下持久性配置save 700 1appendfilename "appendonly.aof"我想尝试禁用AOF写入，并在以后重新启用它来调试磁盘写入性能。如果我对一个正在运行的实例执行CONFIG SET appendonly
浏览 4提问于2022-10-06得票数 0
回答已采纳
目录中创建“global”目录时，/abc/bcd中有一个名为"mkdir: cannot create directory : Invalid argument“的目录，并且我们也无法复制该全局目录的数据当我们复制这个全局目录的数据时，它会生成“Input/output error”，但是当我们在/abc/bcd目录中的另一个目录中创建目录或文件时，它工作得很好，没有任何错误。
浏览 0提问于2015-06-25得票数 1
1回答
“挂起交换”加密
、、、
交换分区是受保护的，因为我启用了完整的磁盘加密(标准的luks和lvm布局)。但是，交换分区在恢复后不受保护。敏感数据可以在很长一段时间内使用(因为我的系统由于内存丰富而很难交换)。相反，它确实可以防止恢复后的敏感数据泄漏。
请考虑以下几点:在应用程序运行时挂起将敏感数据保存在内存中。应用程序本身防止数据被交换出去。但是，挂起必须写入这些数据才能在以后恢复。如果没有挂起加密，则敏感数据</e
浏览 0提问于2020-09-03得票数 0
2回答
如果我有一个足够大的数据集，那就没问题了。但是，如果数据集相对较小，并且在不断增长(大约每天10% )，该怎么办？
有没有办法将更多的数据点添加到重新训练的网络中？我不认为每次我们得到一个新的数据点就重新训练一个完整的模型似乎效率不高。
浏览 2提问于2016-11-15得票数 1
1回答
哪个进程在PostgreSQL中写入数据文件？注意:在postgreSQL-9.5上执行插入/更新/删除操作。我想验证哪个进程正在磁盘上执行提交，即数据文件。WAL和数据文件的使用。
浏览 4提问于2016-12-14得票数 1
从ext4中恢复已删除文件的最佳/最快/最安全方法是什么？
磁盘是1TB SSHD (hibrid HDD + SSD)，分区也是用LUKS加密(版本1)加密的。另外，如果我管理文件的部分恢复，我可以部分恢复mongo的集合吗？
浏览 1提问于2016-06-14得票数 2
回答已采纳
我目前正在实现一个机器学习模型，它使用了相当多的数据表示。我的数据集是由图像组成的。这些图像中的每一幅都被编码成一个(224, 224, 103)矩阵，使得整个数据集非常繁重。我将这些矩阵存储在磁盘上，并在培训期间加载它们。
我目前正在做的是使用迷你批次的8张图片，，并在整个培训过程中从磁盘中加载这8幅图像的.npy文件。这很慢，但很管用。是否有更有效的方法来使用Keras/Tensorflow (这是我用
浏览 1提问于2021-04-05得票数 1
回答已采纳
EarlyStopping如果我训练我的模型，保存最好的模型，恢复最佳时代的权重.
浏览 0提问于2023-02-02得票数 0
回答已采纳
我知道redis可以持久化数据，但在操作期间，当您在redis服务器上查找密钥时，它是否需要在持久化数据(文件)中查找该密钥，还是只在内存缓存中查找？如果在缓存中找不到密钥，它会自动尝试在磁盘上查找它吗？它如何处理缓存太大，如果它将缓存写入内存，那么它是否清除缓存？
浏览 3提问于2018-05-31得票数 0
回答已采纳
我需要能够将日志写到磁盘上，这样用户就可以将日志发送给我，以便进行调试。因此，对我来说，重要的是日志被写入磁盘，并可以在以后的任何时候恢复。因此，我需要类似Logcat的功能(大小有限的环形缓冲区)，但在应用程序崩溃和设备重新启动期间被持久化到磁盘。将日志写入磁盘，
并在磁盘上实现某种环形缓冲区(这样日志文件不能超过预定义的大小，并且始终具有最新的日志)。
浏览 3提问于2016-01-06得票数 5
1回答
我发现许多文档/论坛告诉我们如何将csv转换为Tensorflow数据集，但没有一个文档/论坛说明如何将数据集转换为csv。我现在有两个列的csv (文件名，权重-更多的列可能会在以后添加)。我把它读到了tensorflow并创建了一个数据集。在脚本的末尾，第二列被修改，我需要将这些列保存到csv中。我需要他们在csv (而不是检查点)，因为我可能需要做的东西，它在Matlab上
浏览 2提问于2019-04-04得票数 2
目前，我有多个子进程从分布式文件系统采样数据，并将数据写入本地tfrecords文件(数据集大小超过本地存储)。我的主要训练过程使用TFRecordsDataset & tf.data.Dataset.from_generator在将文件写入磁盘时迭代文件。它是有效的，但是仅仅为了再次读取它而写入磁盘显然不是最优的。我想知道是否有更好的方法可以使用子流程将样本直接传递给Tensorflow。我不能通过Pyth
浏览 17提问于2020-04-05得票数 1
磁盘驱动器/文件系统上的文件具有重叠的IO。显然，当使用系统缓冲区和标准同步WriteFile()时，它会检查整个磁盘并在返回之前分配空间，因为保存实际数据的系统缓存稍后会被写入(一个问题会导致操作系统的延迟写入错误)。需要知道的原因是恢复释放磁盘空间，或插入新媒体，并恢复写入。
浏览 0提问于2019-07-10得票数 0
回答已采纳
当自动检查点在sql server的后台运行时，我知道它会将所有脏页刷新到数据文件中。恢复过程也取决于恢复模型吗？
任何输入/指针都将不胜感激。:)
浏览 0提问于2019-11-27得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
