我正在尝试使用tensorflow TextLineDataset逐行读取文件Shakespear.txt中的文本。将单词拆分成一行，并将单词写到另一个文件txt.txt中，每行一个单词。tf.enable_eager_execution()#from tensorflow.keras.model import Sequential
dataset_in_lines=tf.data.TextLineDataset
浏览 29提问于2019-10-10得票数 0
回答已采纳
问题--这是常识，我不应该将完整的数据集加载到内存中。我正在寻找一个与ImageDataGenerator等价的文本，我可以在完整的数据集上安装一个热编码器，但是可以逐批转换数据。当我将OHE转换应用到训练数
浏览 4提问于2019-11-20得票数 0
我有一个文本文件，每一行包含一个句子。sentences = tf.data.TextLineDataset("data/train.src")sess.
浏览 0提问于2019-07-30得票数 2
回答已采纳
因此，我有多个.txt文件，它们在每一行中存储有关x、y、width和height的信息，例如：947 1176 14 12487 506 55 694 589 114 1064 4 350 292filenames_bb = input_tools.get_required_filenames(args.dataset_dir,
浏览 4提问于2018-08-20得票数 2
我试图使用tf.data.TextLineDataset从csv文件中读取数据集，将数据集分解到多个工作节点上，然后创建一个迭代器对它们进行迭代，以批量地提供数据。我使用了tf.datasets的TensorFlow ()程序员指南。加载数据集时，我使用tf.data.TextLineDataset(file).skip(1)，但根据错误，它似乎不跳过数据集的第一行(列头)。
ds = ds_file.flat_m
浏览 0提问于2018-05-14得票数 0
回答已采纳
我在一个数据集上运行我当前的代码，该数据集具有以下命名信息： 培训文件:培训-？？-？？在哪里?？是通配符(任何范围的占位符)。同样的意思也适用于验证和测试文件(例如验证-？)。在我的代码中，我创建了这样的文件模式： training_file_pattern = os.path.join(config['data_dir'], "training-??-of-??")但我在弄清楚如何获取这两个数据集时遇到了问题。我还尝试以不同的方式定义file_pattern，以包含验证，但我不知
浏览 201提问于2019-06-15得票数 1
我有数百个csv文件，每个文件都包含一个数组，这是我的网络的输入数组。我尝试使用tf.data.TextLineDataset生成csv文件名的数据集，并使用dataset.map()读取它们。然而，我对如何使用tf.decode_csv()感到非常困惑 假设csv内容是 1 2 3 4 5 ... 100 然后使用： dataset = tf.data.TextLineDataset(['a.csvtf.
浏览 17提问于2019-10-19得票数 0
sentences.append(s[:index])PS:按照这里的代码，区别在于我读取文件的方式。如果有更好的方法去做，请告诉我！
浏览 0提问于2021-08-30得票数 3
回答已采纳
最好是从一个项目中获得一个用例，并解释每个用例的使用情况。提前谢谢。
浏览 4提问于2021-01-30得票数 1
回答已采纳
我把.txt文件放在<text>\t<label>格式的目录中。我正在使用TextLineDataset API来使用这些文本记录：
data
浏览 2提问于2017-10-30得票数 4
回答已采纳
原则上，在workers=N和use_multiprocessing=True中使用fit_generator似乎很简单，但在我的情况下，避免从并行生成器获得类似的数据是很棘手的。我的数据在几个文件中，每个文件都有几百万条记录(直到文件结束时才知道总数)。对于每个文件，生成器逐条记录，通过一些数据增强将记录处理为网络的正确输入/输出格式。我想知道是否最容易让多个生成器并行处理一个单独的文件列表。我实际上并不使用批处理中的所有数据，所以如果一个生成器在其
浏览 0提问于2018-07-31得票数 0
我正在加载一个TextLineDataset，我想应用一个经过训练的文件标记器：@tf.function return tokenizer.texts_to_sequences(x)
train_data.map(lambda那么如何在data上进行令牌化呢？
浏览 5提问于2022-03-30得票数 1
回答已采纳
我需要在keras和tensorflow中分析文本文件，我使用os.walk读取文件路径并将它们添加到列表中，然后尝试读取文本内容并使用keras和tensorflow批量处理它们，如下所示 classeslabels.append(labs[file_class])
dataset = tf.data.TextLineDataset(read_files
浏览 11提问于2020-11-03得票数 0
回答已采纳
我想处理一个包含句子的文本文件。每句话都存储为该文本文件的每一行。我想使用迭代器检索每一行，如下所示： def __init__(self, file_name):
dataset = tf.data.TextLineDataset
浏览 13提问于2019-07-29得票数 0
回答已采纳
2回答
下面有两个实现，其中PrintStream对象包装FileOutputStream对象或File对象。我把这两样都做好了。在哪种方法不适用于写作的情况下，它们之间有什么区别吗？ public static void main(String[] args) throws FileNotFoundException{
PrintStrea
浏览 4提问于2013-09-05得票数 0
回答已采纳
我想知道在序列到序列的问题中存储这些数据的推荐方法是什么，以使其在tf.data.Dataset中易于使用和高效？基本上，我可以有一个名为data.txt的文件和另一个名为labels.txt的文件，这两行中的每一行都是一个训练示例。基本上我可以使用tf.data.TextLineDataset，但我需要以某种方式将文本转换为整数序列，即索引到我的词汇表中。我的问题是，是否有一种有效的方法来使用数据集转换来完成这种转换，或者我应该只使用</em
浏览 0提问于2018-03-17得票数 1
1回答
Tensorflow文本输入
、、、、
我正在挣扎如何读取原始文本输入文件。
tf.data.TextLineDataset (与2有什么不同？)TF需要一个固定长度的填充格式，我该如何做？-我:决定一个固定长度值(例如30)，将每一行读到一个列表中，如果长度大于30
浏览 3提问于2018-02-26得票数 2
回答已采纳
我想知道是否有可能在不进入asp.net应用程序的情况下，使用SQL语言将高度规范化的数据转换为二进制数据，并将其存储在其他表中？这可能会帮助我们解决性能问题。这是一个使用MSSQL2008构建在asp.net MVC3平台上的电子商务应用程序。
提前谢谢你。
浏览 0提问于2012-04-25得票数 1
回答已采纳
我使用这段代码将内存流数据写入文本文件。' now Write the MemoryStream to the file但是，当我将数据写入文本文件时如何将内存流写入文本文件的末尾？(只向文件末尾添加内存流数据)
浏览 2提问于2014-04-24得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
