腾讯云

文章/答案/技术大牛

发布

社区首页 >问答首页 >如何在gpu中直接跨不同深度学习框架转换数据(张量)，而无需复制到cpu？

问如何在gpu中直接跨不同深度学习框架转换数据(张量)，而无需复制到cpu？
EN

Stack Overflow用户

提问于 2019-09-06 15:05:49

回答 1查看 54关注 0票数 0

例如，我在pytorch中有一个cuda张量，如何在gpu中直接将其转换为mxnet/tensorflow，而无需将其复制到cpu？频繁地在cpu和gpu之间复制数据非常耗时。

tensorflow

pytorch

tensor

mxnet

回答 1

Stack Overflow用户

发布于 2019-09-06 18:19:00

最快的方法是使用CUDA API。

仅在CPU上支持通过PyTorch共享张量。

如果你想做一些Python展示，你会因为GIL而变慢。

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/57824511

复制

陈天奇等人提出TVM：深度学习自动优化代码生成器

深度学习机器学习人工智能

选自arXiv 作者：陈天奇等机器之心编译参与：李泽南、路雪 TVM 是由华盛顿大学在读博士陈天奇等人提出的深度学习自动代码生成方法，去年 8 月机器之心曾对其进行过简要介绍。该技术能自动为大多数计算硬件生成可部署优化代码，其性能可与当前最优的供应商提供的优化计算库相比，且可以适应新型专用加速器后端。近日，这项研究的论文《TVM: End-to-End Optimization Stack for Deep Learning》终于完成，内容包含新方法的介绍与讨论，以及 TVM 在英伟达、AMD 的 GP

机器之心

2018/05/10

1.2K0

深度学习 - 不同深度学习模型间的转换

深度学习

参考: [Github-Deep Learning Model Convertors].

AIHGF

2019/02/18

5690

告别选择困难症，我来带你剖析这些深度学习框架基本原理

深度学习 nat go tensorflow

无论你喜欢或不喜欢，深度学习就在这里等着你来学习，伴随着技术淘金热而来的过多的可选项，让新手望而生畏。

AI研习社

2018/09/25

1.3K0

PyTorch踩坑记

pytorch keras tensorflow python 深度学习

自己刚开始使用深度学习框架做事情的时候，选择了最容易入门的Keras。Keras是在其它深度学习框架（谷歌的TensorFlow，微软的CNTK以及Theano）的基础上，抽象了底层实现的差异，提供的更高层的API接口。说说Keras的好处吧！个人觉得Keras最吸引人的地方就是API接口的设计特别人性化，对于样本的训练，结果的测试都有一种使用传统机器学习库的感觉；函数式接口设计使得深度网络的时候特别容易，简直就像在玩乐高。如果有人想入门深度学习，我一定也会推荐Keras。

卡尔曼和玻尔兹曼谁曼

2019/01/22

5520

tensorflow+入门笔记︱基本张量tensor理解与tensorflow运行结构与相关报错

tensorflow 深度学习数据结构分布式编程算法

**张量是所有深度学习框架中最核心的组件，因为后续的所有运算和优化算法都是基于张量进行的。**几何代数中定义的张量是基于向量和矩阵的推广，通俗一点理解的话，我们可以将标量视为零阶张量，矢量视为一阶张量，那么矩阵就是二阶张量。

悟乙己

2020/03/27

1.2K0

开发丨深度学习框架太抽象？其实不外乎这五大核心组件

深度学习

许多初学者觉得深度学习框架抽象，虽然调用了几个函数/方法，计算了几个数学难题，但始终不能理解这些框架的全貌。为了更好地认识深度学习框架，也为了给一些想要自己亲手搭建深度学习框架的朋友提供一些基础性的指导，日前来自苏黎世联邦理工学院计算机科学系的硕士研究生Gokula Krishnan Santhanam在博客上撰文，概括了大部分深度学习框架都会包含的五大核心组件，为我们详细剖析了深度学习框架一般性的内部组织结构。以下由AI科技评论编译。 Gokula Krishnan Santhanam认为，大部分深度学

AI科技评论

2018/03/09

1.3K0

业界 | 现代「罗塞塔石碑」：微软提出深度学习框架的通用语言

深度学习

选自arXiv 作者：Ilia Karmanov等机器之心编译参与：路雪、刘晓坤、白妤昕深度学习框架就像语言一样：很多人会说英语，但每种语言都有自己的特殊性。作者为几种不同的网络结构创建了通用代码，并可在多个不同的框架中使用。 repo 1.0 完整版 GitHub 地址：https://github.com/ilkarman/DeepLearningFrameworks 我们的想法是创建一个深度学习框架的罗塞塔石碑（Rosetta Stone）：假设你很了解某个深度学习框架，你就可以帮助别人使用任何

机器之心

2018/05/08

1.1K0

陈天奇团队新研究：自动优化深度学习工作负载

深度学习机器学习人工智能

---- 新智元编译来源：arxiv.org 翻译：肖琴【新智元导读】华盛顿大学计算机系博士生陈天奇、以及上海交通大学和复旦大学的研究团队提出一个基于学习的框架，以优化用于深度学习工作负载的张量程序。该研究使用基于机器学习的方法来自动优化张量运算核心并编译AI工作负载，从而可以将最优的性能部署到所有硬件。实验结果表明，该框架能够为低功耗CPU，移动GPU和服务器级GPU提供与最先进手工调优库相媲美的性能。论文地址：https://arxiv.org/pdf/1805.08166.pdf 深度学

新智元

2018/05/29

6630

[深度应用]·主流深度学习硬件速度对比（CPU，GPU，TPU）

深度学习

我们基于CNN实现Cifar10 数据集分类把这段相同的代码在不同主流深度学习进行测试，得到训练速度的对比数据。

小宋是呢

2019/06/27

2.3K0

[译]GPU加持，TensorFlow Lite更快了

tensorflow android ios 神经网络机器学习

由于处理器性能和电池容量有限，在移动设备上使用计算密集的机器学习模型进行推断是非常耗资源的。虽然可以采用一种加速途径：转换为定点数模型，但用户已经要求作为一种选项，为加速原始浮点模型推理提供GPU支持，而不会产生额外的复杂性和潜在的量化精度损失。

云水木石

2019/07/02

1.3K0

为了加速在GPU上进行深度学习训练，NVIDIA原来还做了这么多事情，你都知道么?

windows tensorflow pytorch 深度学习容器

不同行业采用人工智能的速度取决于最大化数据科学家的生产力。NVIDIA每个月都会发布优化的NGC容器，为深度学习框架和库提供更好的性能，帮助科学家最大限度地发挥他们的潜力。英伟达持续投资于完整的数据科学栈，包括GPU架构、系统和软件栈。这种整体的方法为深度学习模型培训提供了最好的性能，NVIDIA赢得了提交给MLPerf的所有六个基准测试，这是第一个全行业的AI基准测试。NVIDIA在最近几年引入了几代新的GPU架构，最终在Volta和图灵GPU上实现了张量核心架构，其中包括对混合精度计算的本机支持。NVIDIA在MXNet和PyTorch框架上完成了这些记录，展示了NVIDIA 平台的多功能性。

GPUS Lady

2019/04/29

2.3K0

为了加速在GPU上进行深度学习训练，NVIDIA原来还做了这么多事情，你都知道么?

[开发技巧]·PyTorch如何使用GPU加速（CPU与GPU数据的相互转换）

pytorch tensorflow 深度学习 numpy

在进行深度学习开发时，GPU加速可以提升我们开发的效率，速度的对比可以参照笔者这篇博文：[深度应用]·主流深度学习硬件速度对比（CPU，GPU，TPU）结论：通过对比看出相较于普通比较笔记本的(i5 8250u)CPU，一个入门级显卡(GPU MX150)可以提升8倍左右的速度，而高性能的显卡(GPU GTX1080ti)可以提升80倍的速度，如果采用多个GPU将会获得更快速度，所以经常用于训练的话还是建议使用GPU。

小宋是呢

2019/06/27

35.5K1

深度学习框架机器学习的开源库TensorFlow

深度学习机器学习开源 tensorflow

在机器学习的领域中，张量指的是描述神经网络的数学模型中使用的多维数组。换言之，张量通常是一个矩阵或矢量的更高维泛化。通过一种使用秩来显示维数的简单表示法，张量可以将复杂的 n 维矢量和超形状表示为 n 维数组。张量有两个属性：数据类型和形状。关于 TensorFlow TensorFlow 是一个开源的深度学习框架，于 2015 年末依据 Apache 2.0 许可进行发布。自那以后，它成为了在全球得到最广泛采用的深度学习框架之一（根据它的 GitHub 项目数量来判断）。 TensorFlow 的起源

程序你好

2018/07/20

1.2K0

让你捷足先登的深度学习框架

深度学习机器学习人工智能 tensorflow pytorch

大数据文摘授权转载自数据派THU 作者：陈之炎对于据科学的初学者来说，利用开源的深度学习框架，可以大幅度简化复杂的大规模度学习模型的实现过程。在深度学习框架下构建模型，无需花费几天或几周的时间从头开始编写代码，便可以轻松实现诸如卷积神经网络这样复杂的模型。在本文中，将介绍几种非常有用的深度学习框架、它们的优点以及应用，通过对每个框架进行比较，研发人员了解如何有选择地使用它们，高效快捷完成项目任务。深度学习框架概述深度学习框架是一种界面、库或工具，它使编程人员在无需深入了解底层算法的细节的情况下，能够更

大数据文摘

2023/02/23

6770

Ansor论文阅读笔记&&论文翻译

编程算法 ide

这篇文章介绍了Auto-Scheduler的一种方法Ansor，这种方法已经被继承到TVM中和AutoTVM一起来自动生成高性能的张量化程序。

BBuf

2021/07/23

2K0

机器学习者必知的 5 种深度学习框架

其他

本文为雷锋字幕组编译的技术博客，原标题 The 5 Deep Learning Frameworks Every Serious Machine Learner Should Be Familiar With，作者为James Le。

AI研习社

2018/07/26

9220

「人工智能研学社· ML系统与架构小组」第一期：如何在单块GPU上训练超大型深度学习模型

人工智能机器学习

机器之心原创人工智能研学社问题：GPU 内存限制 GPU 在深度神经网络训练之中的强大表现无需我赘言。通过现在流行的深度学习框架将计算分配给 GPU 来执行，要比自己从头开始便捷很多。然而，有一件事你会避之唯恐不及，即 GPU 的动态随机存取内存（DRAM（Dynamic Random Access Memory））限制。在给定模型和批量大小的情况下，事实上你可以计算出训练所需的 GPU 内存而无需实际运行它。例如，使用 128 的批量训练 AlexNet 需要 1.1GB 的全局内存，而这仅是 5

机器之心

2018/05/07

9650

「人工智能研学社· ML系统与架构小组」第一期：如何在单块GPU上训练超大型深度学习模型

TensorFlow Lite发布重大更新！支持移动GPU、推断速度提升4-6倍

tensorflow https 网络安全 android go

虽然移动设备的处理能力和功率都有限。虽然TensorFlow Lite提供了不少的加速途径，比如将机器学习模型转换成定点模型，但总是会在模型的性能或精度上做出让步。

刘盼

2019/03/15

1.3K0

TensorFlow Lite发布重大更新！支持移动GPU、推断速度提升4-6倍

张量解释——深度学习的数据结构

编程算法数据结构神经网络 pytorch

之前分享过一个国外 DEEPLIZARD 的高效入门 pytorch 视频教程，不过是英文的，导致很多小伙伴觉得非常的吃力。不过其实他们是有相对应的文章的，因此我计划将其翻译并整理成中文，方便大家阅读，同时自己也可以学习一波。

AI算法与图像处理

2020/04/16

1.4K0

业界 | 英特尔开源nGraph编译器：从多框架到多设备轻松实现模型部署

人工智能深度学习神经网络

选自ai.intel 作者：Scott Cyphers 机器之心编译参与：刘晓坤、李亚洲近日，英特尔的人工智能产品团队宣布开源 nGraph，这是一个面向各种设备和框架的深度神经网络模型编译器。有

机器之心

2018/05/08

1.4K0

相似问题

如何使用/激活amazon ami深度学习以使用GPU而不是CPU

将深度学习模型从GPU驱动的框架(如Theano )转换为通用的、易于处理的模型(如Numpy

如何跟踪CPU与GPU用于深度学习的时间？

检索部署的深度学习VM上的cpu、gpu规范

116

从GPU复制到CPU比将CPU复制到GPU慢。

210

添加站长进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例

社区富文本编辑器全新改版！诚邀体验～

全新交互，全新视觉，新增快捷键、悬浮工具栏、高亮块等功能并同时优化现有功能，全面提升创作效率和体验

问如何在gpu中直接跨不同深度学习框架转换数据(张量)，而无需复制到cpu？
EN