Loading [MathJax]/jax/output/CommonHTML/config.js
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >问答首页 >如何在tensorflow/keras中从下载的tar.gz文件中加载数据?

如何在tensorflow/keras中从下载的tar.gz文件中加载数据?
EN

Stack Overflow用户
提问于 2019-08-09 08:00:31
回答 2查看 5K关注 0票数 5

Tensorflow数据集或tfd自动开始下载我想要的数据。我在我的系统中下载了cifar10。我可以使用: torchvision.datasets.CIFAR10('path/to/directory',.,download=False直接将数据加载到py手电中

是否有与此类似的tensorflow或keras?

EN

回答 2

Stack Overflow用户

回答已采纳

发布于 2020-09-02 02:28:49

我认为您能做的最好的就是首先提取tar文件:

代码语言:javascript
运行
AI代码解释
复制
import tarfile

if fname.endswith("tar.gz"):
    tar = tarfile.open(fname, "r:gz")
    tar.extractall()
    tar.close()
elif fname.endswith("tar"):
    tar = tarfile.open(fname, "r:")
    tar.extractall()
    tar.close()

然后访问模型数据并使用keras加载数据:

model

票数 3
EN

Stack Overflow用户

发布于 2022-05-07 19:29:17

发布另一种方式从本地加载文件,以供稍后发现文件的人使用。

在URL参数中,使用路径提供文件的本地URL。例如,我的D驱动器中有一个文件位于Workspace/DataFiles/tldr.gz文件夹中,那么URL参数的值将如下所示。

代码语言:javascript
运行
AI代码解释
复制
path = 'file:///D:/Workspace/DataFiles/tldr.gz'

path_to_downloaded_file = tf.keras.utils.get_file("tldr_data",path, archive_format='tar', untar=True)`

这样,keras就可以识别URL并从文件中加载数据。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/57433653

复制
相关文章
tensorflow中keras.models()的使用总结
初学者在调用keras时,不需要纠结于选择tf.keras还是直接import keras,现如今两者没有区别。从具体实现上来讲,Keras是TensorFlow的一个依赖(dependency)。但,从设计上希望用户只透过TensorFlow来使用,即tf.keras。
用户1483438
2022/01/02
6.6K0
keras中的数据集
数据在深度学习中的重要性怎么说都不为过,无论是训练模型,还是性能调优,都离不开大量的数据。有人曾经断言中美在人工智能领域的竞赛,中国将胜出,其依据就是中国拥有更多的数据。像Google、amazon、腾讯、阿里巴巴之类的巨头,其产品属性天然拥有大量的数据,那对于个人和小型创业公司,数据从哪儿来呢?
云水木石
2019/07/01
1.8K0
Linux中安装tar.gz文件包示例
在linux中安装tar.gz文件的包的命令为 tar -zxvf 压缩包名称 -C 指定目录 以以上命令在linux中安装jdk安装包 3. 解压完成之后,查看jdk的安装路径 未经允许不得转载:肥猫博客 » Linux中安装tar.gz文件包示例
超级小可爱
2023/02/20
7.5K0
理解CheckPoint及其在Tensorflow & Keras & Pytorch中的使用
Checkpointing Tutorial for TensorFlow, Keras, and PyTorch
狼啸风云
2020/02/14
5K0
如何在PyCharm中配置Tensorflow环境[通俗易懂]
发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/174880.html原文链接:https://javaforall.cn
全栈程序员站长
2022/09/27
6740
从.env文件中为NodeJS加载环境变量[每日前端夜话0xA9]
使用环境变量是配置 Node.js 程序的好方法。而且许多包或模块可以基于不同的 NODE_ENV 变量的值表现出不同的行为。
疯狂的技术宅
2019/08/15
4K0
用 TensorFlow hub 在 Keras 中做 ELMo 嵌入
最新发布的Tensorflow hub提供了一个接口,方便使用现有模型进行迁移学习。我们有时用Keras快速构建模型原型,这里只要少许改几个地方就能将Keras与Tensorflow hub提供的模型整合!
AI研习社
2019/05/17
1.5K0
用 TensorFlow hub 在 Keras 中做 ELMo 嵌入
[译]标准化Keras:TensorFlow 2.0中的高级API指南
Keras是一个非常受欢迎的构建和训练深度学习模型的高级API。它用于快速原型设计、最前沿的研究以及产品中。虽然现在的TensorFlow已经支持Keras,在2.0中,我们将Keras更紧密地集成到TensorFlow平台。
云水木石
2019/07/02
1.7K0
[译]标准化Keras:TensorFlow 2.0中的高级API指南
Python Numpy 从文件中读取数据
测试文件内容(test1.txt) hello,123,nihao 8,9,10 io,he,no 测试代码 import numpy # dtype:默认读取数据类型,delimiter:分隔符 world_alcohol = numpy.genfromtxt("test1.txt", dtype=str, delimiter=",") # 数据结构 print(type(world_alcohol)) # 数据内容 print(world_alcohol) # 帮助文档 print(help(nump
山海散人
2021/03/03
4.3K0
如何在小程序中实现文件上传下载
在如何实现小程序登录鉴权这篇文章中,我们实现了小程序的wx.request请求操作,除了request之外,小程序还有文件下载wx.downloadFile和文件上传wx.uploadFile请求接口。那么这两个请求如何使用呢?请看本篇文章。
六个六
2018/11/13
23.3K4
如何在小程序中实现文件上传下载
教程 | 如何在Tensorflow.js中处理MNIST图像数据
对任何一个机器学习问题而言,数据处理都是很重要的一步。本文将采用 Tensorflow.js(0.11.1)的 MNIST 样例(https://github.com/tensorflow/tfjs-examples/blob/master/mnist/data.js),逐行运行数据处理的代码。
机器之心
2018/07/26
2.5K0
教程 | 如何在Tensorflow.js中处理MNIST图像数据
Keras vs tf.keras: 在TensorFlow 2.0中有什么区别?
在本文中,您将发现Keras和tf.keras之间的区别,包括TensorFlow 2.0中的新增功能。
AI算法与图像处理
2019/10/31
2.7K0
【DB笔试面试511】如何在Oracle中写操作系统文件,如写日志?
可以利用UTL_FILE包,但是,在此之前,要注意设置好UTL_FILE_DIR初始化参数。
AiDBA宝典
2019/09/30
29.7K0
【DB笔试面试511】如何在Oracle中写操作系统文件,如写日志?
[PHP] 框架中.env文件的加载过程
现在很多框架使用根目录的.env文件来配置环境变量,php本身是不会去解析这个文件的,需要使用php代码读取和解析这个文件放入环境变量中
唯一Chat
2020/02/11
1.8K0
tensorflow动态加载文件
如果把文件全部加载到内存中,对大数据量来说,是不可行的,tensorflow使用列队,通过多线程来操作队列进出。举例子来说明> tf.train.slice_input_producer是一个tensor生成器,作用是按照设定,每次从一个tensor列表中按顺序或者随机抽取出一个tensor放入文件名队列。 下面这个例子是将文件名加入到队列中,每次从列队中只能取出一个tensor,然后读取图片数据,还是频繁io操作, import tensorflow as tf import matplotlib.
用户1733462
2018/06/07
1.3K0
TensorFlow中的数据类型
TensorFlow接受了Python自己的原生数据类型,例如Python中的布尔值类型,数值数据类型(整数,浮点数)和字符串类型。单一值将转换为0维张量(标量),列表值将转换为1维张量(向量),列表套列表将被转换成2维张量(矩阵)等等,以下示例来自于TensorFlow for Machine Intelligence.
狼啸风云
2019/11/03
1.8K0
Keras正式从TensorFlow分离:效率大幅提升
对于深度学习领域的从业者而言,Keras 肯定不陌生,它是深度学习的主流框架之一。2015 年 3 月 27 日,谷歌软件工程师、Keras 之父 Francois Chollet 在其 GitHub 上提交并公布了 Keras 的首个版本。作为使用纯 Python 编写的深度学习框架,Keras 的代码更加简单方便,适用于初学者。此外,Keras 具有很强的易扩展性,能够直观地定义神经网络,函数式 API 的使用令用户可以将层定义为函数。
统计学家
2021/07/28
1.3K0
点击加载更多

相似问题

Tensorflow Keras数据集加载大量Numpy文件

124

使用Keras和Tensorflow下载mnist数据

146

如何在Tensorflow中从tf.keras导入keras?

816

如何在Keras/Tensorflow中返回增广数据

12

PyCharm中的Tensorflow Keras数据集文件路径

26
添加站长 进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

扫码加入开发者社群
关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例

扫码关注腾讯云开发者公众号
领券
社区富文本编辑器全新改版!诚邀体验~
全新交互,全新视觉,新增快捷键、悬浮工具栏、高亮块等功能并同时优化现有功能,全面提升创作效率和体验
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
查看详情【社区公告】 技术创作特训营有奖征文