如何让CUDA XLA知道TensorFlow路径 - 腾讯云开发者社区

文章/答案/技术大牛

发布

0490-如何为GPU环境编译CUDA9.2的TensorFlow1.8与1.12

我们注意到CUDA的版本是9.2，但是目前官方发布的编译好的TensorFlow的CUDA版本还是9.0，为了在CDSW环境中让TensorFlow运行在GPU上，必须使用CUDA9.2，我们需要手动编译...[Y/n]: n No XLA JIT support will be enabled for TensorFlow....Do you wish to build TensorFlow with XLA JIT support?...[y/N]: n No XLA JIT support will be enabled for TensorFlow....64.whl 2.安装成功后，打开Python的交互界面，导入tensorflow，查看版本及路径： ?

3.9K3 0

Google TPU 101

GPU 主要优化「如何让线程跑得更快」，重点在于单个线程或 Warp 的效率、指令调度和访存 coalescing。...而 TPU 则优化「如何让矩阵一直在流动」，重点在于 systolic array 的填满率、数据进入和流出阵列的效率，以及在整个 Pod 级别让矩阵不断流动。...Kernel 编程模型让工程师使用 C++ 或 CUDA C 编写 Kernel，显式指定 Grid 和 Block 配置。...4.3 主流前端栈：TensorFlow / JAX / PyTorch XLA 今天在 Cloud TPU 上常见的前端主要有三类。...PyTorch / XLA 通过 Lazy Tensor 机制收集 IR 图，再下发到 XLA 编译 [4]，尽可能保留 PyTorch 的使用体验，同时让模型跑在 Cloud TPU 或 XLA GPU

991 0

您找到你想要的搜索结果了吗？

是的

没有找到

想提高棋艺？试试这款围棋AI

我等初级选手，经常会碰到那种不按套路的对手，有时明明觉得对方下了无理手，但就是不知道如何反击。再就是棋盘太空旷，不知如何选点。这些虽然在书上可以学到一些基本技巧，但一到实战，往往不知如何下手。.../configure 运行编译配置命令时，会有一系列的选项让你选择，通常情况下使用默认值即可，但是询问CUDA支持时，记得选y。我的配置选项如下： $ ....Do you wish to build TensorFlow with XLA JIT support?...[Y/n]: XLA JIT support will be enabled for TensorFlow....Do you wish to build TensorFlow with CUDA support?

3.8K1 0

Linux & Windows TensorFlow 1.14 升级 2.2

环境需求当前TensorFlow最高版本 2.2.+ ，需要CUDA 10.1，cudnn 7.6 官网下载：https://developer.nvidia.com/ 显卡驱动需要满足CUDA...版本要求 CUDA与显卡驱动：https://docs.nvidia.com/cuda/cuda-toolkit-release-notes/index.html TensorFlow-GPU与CUDA...（之前装过并运行过TensorFlow，相关库不过时的话可以不特意去装 cudnn）我之前安装了CUDA10.0，不需要卸载原始版本，直接使用默认配置安装新版CUDA即可下载 TensorFlow...Devices: 2020-06-18 04:15:11.417085: I tensorflow/compiler/xla/service/service.cc:176] StreamExecutor.../compiler/xla/service/service.cc:168] XLA service 0x55e39ccc83a0 initialized for platform CUDA (this

7211 0

ubuntu16.04 部署GPU环境

/compiler/xla/service/service.cc:150] XLA service 0x3bb3a20 executing computations on platform CUDA....Devices: 2019-09-14 12:27:18.360512: I tensorflow/compiler/xla/service/service.cc:158] StreamExecutor...Devices: 2019-09-14 12:27:18.380503: I tensorflow/compiler/xla/service/service.cc:158] StreamExecutor...:0 -> device: XLA_GPU device /job:localhost/replica:0/task:0/device:XLA_CPU:0 -> device: XLA_CPU device...:0 -> device: XLA_GPU device /job:localhost/replica:0/task:0/device:XLA_CPU:0 -> device: XLA_CPU device

7332 0

通过Docker部署深度学习项目环境

Devices:2019-08-15 09:32:38.550282: I tensorflow/compiler/xla/service/service.cc:175] StreamExecutor...-> device: XLA_CPU device2019-08-15 09:32:38.551424: I tensorflow/core/common_runtime/direct_session.cc...仔细看了一下，最新版的Tensorflow GPU Docker 容器需要的是CUDA>=10.0，这台机器是9.2，并不符合，两种解决方案，一种是升级CUDA到10.x版本，但是我暂时不想升级，google...了一下，发现这个tag版本可用cuda9.x：1.12.0-gpu ，所以重新拉取Tensorflow相应版本的镜像： docker pull tensorflow/tensorflow:1.12.0-...Docker 映像 Deepo官网 Deepo Github Docker安装指南以及使用GPU 如何清理Docker占用的磁盘空间?

2.6K2 0

window10 python 3.6.8 本地 OCR 模块 muggle_ocr 安装实践

:02.706948: I tensorflow/compiler/xla/service/service.cc:168] XLA service 0x1fa8dd3be30 initialized for...platform Host (this does not guarantee that XLA will be used)....Devices: 2020-06-03 16:22:02.712914: I tensorflow/compiler/xla/service/service.cc:176] StreamExecutor...:02.746110: I tensorflow/stream_executor/cuda/cuda_diagnostics.cc:169] retrieving CUDA diagnostic information...for host: DESKTOP-9K42C1Q 2020-06-03 16:22:02.752040: I tensorflow/stream_executor/cuda/cuda_diagnostics.cc

2.2K2 0

PyTorch与torch-xla的桥接

XLA和PyTorch的链接前言 XLA (Accelerated Linear Algebra)是一个开源的机器学习编译器，对PyTorch、Tensorflow、JAX等多个深度学习框架都有支持。...最初XLA实际上是跟Tensorflow深度结合的，很好地服务了Tensorflow和TPU，而与XLA的结合主要依赖于社区的支持，即torch-xla。...，原因是为了让用户少改代码，torch-xla将mark_step封装到了dataloader中，实际上不考虑DDP的完整训练的过程可以简写如下： device = xm.xla_device() model...既然PyTorch本身在编译期间并不知道torch-xla的存在，那么当用户使用一个xla device上的Tensor作为一个torch function的输入的时候，又经历了怎样一个过程调用到pytorch-xla...从XLATensor开始的溯源尽管我们现在并不知道怎么调用到torch-xla中的，但我们知道PyTorch Tensor一定要转换成XLATensor（参考tensor.h），那么我们只需要在关键的转换之处打印出调用堆栈

1.2K3 0

【问答集锦】TensorFlow带你进入深度学习的世界

TensorFlow不是已经在底层用cuda的cuDNN库加速了吗，为什么还要用XLA？关于无监督学习，书中有讲解。无监督学习在深度学习中一般是自编码器等，提取到的是抽象的高阶特征，去除了噪声。...cuda是一门语言，cuDNN是深度学习的库，使用cuda加速也要看是怎么使用它加速，是一层计算执行一次，还是把几层的计算合并在一起执行，XLA做的就是这个，将一些简单的操作编译合并成一个操作。...互联网应用如何结合TensorFlow，能简单介绍一下吗？...如何选择TensorFlow和XGboost？ TensorFlow支持分布式GPU，用于深度学习。...本书结合了大量代码实例，深入浅出地介绍了如何使用TensorFlow、深度剖析如何用TensorFlow实现主流神经网络、详述TensorBoard、多GPU并行、分布式并行等组件的使用方法。 ?

6592 0

如何分析机器学习中的性能瓶颈

Deep Learning Profiler（DLProf）支持 TensorBoard，让您可以目视检查模型。...在此范例中，它们是 use_xla 和 use_tf_amp。在启用 XLA 和 AMP 之后，可以让模型有效率地使用 Tensor 核心、减少需要的内存数量，并利用更快的线性代数运算。 ?...然后，启用 AMP 和 XLA，并进一步缩短使用 DLProf 辅助剖析时的训练时间。 03 PyTorch 和 PyProf 本节示范如何在使用 PyTorch 建立模型时进行剖析。...您已经知道 trace、sample 和 output (-o) 参数。...在TensorFlow 上可以获得类似的改善。虽然TensorFlow 已进行额外的优化（XLA），也可以仅使用AMP，在PyTorch 上获得进一步的改善。

3K6 2

Transformers 4.37 中文文档（十）

/usr/local/cuda-10.2 /usr/local/cuda-11.0 通常，软件包安装程序会将路径设置为最后安装的版本。...如果软件包构建失败，因为找不到正确的 CUDA 版本（尽管它已经在整个系统中安装），则需要配置PATH和LD_LIBRARY_PATH环境变量以指向正确的路径。...为了告诉构建程序要找到您想要的特定 CUDA 工具包，插入正确的路径以首先列出。此命令在现有值之前而不是覆盖现有值。...在 Transformers 内部的 TensorFlow 文本生成模型中，加速的确切数量非常依赖于模型，我们注意到速度提升了约 100 倍。本文将解释如何在这些模型中使用 XLA 来获得最大的性能。...这篇博客文章提供了 XLA 兼容模型的比较基准概述，以及对 TensorFlow 中 XLA 的友好介绍。

1.1K1 0

TensorFlow 的 JupyterLab 环境

Ubuntu Ubuntu 18.04.5 LTS (Bionic Beaver)[1] ubuntu-18.04.5-desktop-amd64.iso CUDA CUDA 11.2.2[2] cuda...-1+cuda11.2_amd64.deb libcudnn8-samples_8.1.1.33-1+cuda11.2_amd64.deb Anaconda Anaconda Python 3.8[4].../compiler/jit/xla_cpu_device.cc:41] Not creating XLA devices, tf_xla_enable_xla_devices not set 2021-...dynamic library libcuda.so.1 2021-04-01 11:18:18.458471: I tensorflow/stream_executor/cuda/cuda_gpu_executor.cc.../stream_executor/cuda/cuda_gpu_executor.cc:941] successful NUMA node read from SysFS had negative value

1.2K5 0

windows 11 搭建 TensorFlow GPU 开发环境【RTX 3060】：2 -- 基于WSL2 docker 方式的使用

如果提高batch size，让CUDA充分忙碌，性能可以接近native！以下是原文链接。...安装 wsl-2 版本的windows NVIDIA驱动 cuda 驱动 on wsl https://developer.nvidia.com/cuda/wsl/download 不知道为啥，这个没有特别说明和...我已经有驱动了，这个不知道装了个啥。做如图所示的选择。...that XLA will be used)..../compiler/xla/service/service.cc:168] XLA service 0x48c1ac0 initialized for platform CUDA (this does

3.7K3 0

业界 | 谷歌正式发布TensorFlow 1.5：终于支持CUDA 9和cuDNN 7

1.5.0 正式版重大更新预构建的二进制文件现在是针对 CUDA 9 和 cuDNN 7 构建的。...TensorFlow Lite：dev 预览版现在可用。支持 CUDA 9 和 cuDNN 7 加速线性代数（XLA）：添加 complex64 支持到 XLA 编译器。...bfloat 支持现已添加到 XLA 架构。使 XLA 和 XLA 一起工作。通过决定性执行程序来生成 XLA 图。...在 NVIDIA Tegra 计算卡上为 CUDA 添加支持。 Bug 修复与其他更新文档更新：明确你只能在 64 位机上安装 TensorFlow。...添加一个短文件解释 Estimators 如何保存检查点。为由 tf2xla 桥支持的操作添加文档。修改 SpaceToDepth 和 DepthToSpace 文件中的小的书写错误。

1.2K6 0

nvmath Python革命：如何让CUDA数学库易用？

接上一篇：CUDA Python的「黄金三角」：PyTorch+RAPIDS+CuPy如何重构科学计算我要深入讲解加速库部分。从历史角度看，这是CUDA堆栈的核心支柱，所有核心功能都在这里实现。...接下来展示时大家会看到，这些是CUDA数学库大部分位于C语言端，市面上存在多种同类库。比如cuBlase、cuFFT、cuRand流行库，实际上已被打包进CUDA工具包。...第三类：内核开发者，他们追求极致性能，却不愿切换到原生CUDA C++开发。...现在聊聊实际应用中的细节：乍一看，CUDA内核的写法与普通Python函数非常相似。顶部带有 decorator，这里导入了CUDA模块，并使用CUDA JIT decorator。...接下来展示二维扩展场景，让大家直观感受加速效果。在网格维度参数中传入2，即扩展到二维计算。CUDA Grid会自动处理行列索引管理，开发者无需手动计算行列位置。

4241 0

【TensorFlow实战——笔记】第3章：TensorFlow第一步_TensorFlow的编译及安装

3.1 TensorFlow的编译及安装安装有两种情况使用CPU，安装容易使用GPU，需要先安装CUDA和cuDNN，比较复杂不管哪种情况，我们都推荐使用Anaconda作为Python的环境，.../configure 选择Python路径，确保使用Anaconda的Python路径选择CPU编译优化选项，默认-march=native就好是否使用jemalloc作为默认的malloc实现(仅...linux)，默认就好是否开启Google云平台支持，选择否是否需要支持Hadoop File System，如果需要读取HDFS数据，就选择yes 是否开启XLA JIT编译功能，建议选no 选择...Python的Library路径，依然使用Anaconda的路径不选择使用GPU，包括OpenCL和CUDA (3) 执行编译 bazel build --copt=-march=native -c.../cuda_8.0.61_375.26_linux.run (3) 按q键跳过协议说明，并接受协议后选择安装驱动程序 (4) 选择安装路径，一般默认/usr/local/cuda-8.0 (5) 不安装

9481 0

基于tensorflow 1.x 的bert系列预训练模型工具

==1.x tqdm jieba 目前本项目都是在tensorflow 1.x下实现并测试的，最好使用1.14及以上版本，因为内部tf导包都是用的 import tensorflow.compat.v1...as tf 使用说明 Config 和 Tokenizer 使用方法和transformers一样多卡运行方式，需要设置环境变量CUDA_VISIBLE_DEVICES，内置trainer会读取参数...： CUDA_VISIBLE_DEVICES=1,2 python run.py 详情查看代码样例 XLA和混合精度训练训练速度测试使用哈工大的rbt3权重进行实验对比，数据为example中的文本分类数据集...开启xla和混合精度后刚开始训练需要等待一段时间优化，所以第一轮会比较慢，等开启后训练速度会加快很多。...开启混合精度比较慢，base版本模型的话需要一两分钟，但是开启后越到后边越快，训练步数少的话可以只开启xla就行了，如果多的话最好xla和混合精度（混合精度前提是你的卡支持fp16）都打开。

1.2K3 0

猫头虎分享：最新 TensorFlow 各版本下载地址、对应 Python 版本、编译和运行环境版本号大全

驱动程序版本： NVIDIA Driver: 对应 CUDA 版本 CUDA Toolkit: 与 TensorFlow 匹配版本 cuDNN: 对应 CUDA 版本安装 CUDA 的简化命令...（以 CUDA 11.8 为例）： sudo apt install nvidia-cuda-toolkit-11-8 TensorFlow 不同版本的性能对比 TensorFlow 版本 GPU...加速支持训练速度提升支持的框架优化 2.12.x ✅ 极高 XLA, TFRT 2.11.x ✅ ⚡ 高 TFRT 2.10.x ✅ ⚡ 高 Grappler 2.8.x ✅ ⚡ 中 Grappler...常见问题 Q&A Q1: 如何确定我的 GPU 是否支持 TensorFlow？...确保 Python 版本符合 TensorFlow 要求，可使用以下命令降级： conda install python=3.x Q3: 如何验证 TensorFlow 是否安装成功？

4.4K2 0

Github1.3万星，迅猛发展的JAX对比TensorFlow、PyTorch

JAX 的安装如何使用 JAX 呢？...、cuDNN ，然后运行以下命令（确保将 jaxlib 版本映射到 CUDA 版本）： $ pip install --upgrade jax jaxlib==0.1.61+cuda110 -f https...的强大功能，必须将代码编译到 XLA 内核中。...要使用 XLA 和 jit，用户可以使用 jit() 函数或 @jit 注释。...Execution（动态图机制），这使得该库更加用户友好，并且是对以前版本的重大升级； Keras 这种高级接口有一定的缺点，由于 TensorFlow 抽象了许多底层机制（只是为了方便最终用户），这让研究人员在处理模型方面的自由度更小

3K2 0

TensorFlow正式发布1.5.0，支持CUDA 9和cuDNN 7，双倍提速

来源：Github 编译：费欣欣【新智元导读】TensorFlow今天正式发布了1.5.0版本，支持CUDA 9和cuDNN 7，进一步提速。...刚刚，TensorFlow发布了1.5.0正式版，很多人都期待已久，最重大的改动是支持CUDA 9和cuDNN 7，这承诺将使Volta GPUs/FP16上的训练速度翻倍。...TensorFlow Lite dev预览现在可用。提供CUDA 9和cuDNN 7支持。加速线性代数（XLA）：将complex64支持添加到XLA编译器。...在fp16 GEMM中添加对CUBLAS_TENSOR_OP_MATH的支持在NVIDIA Tegra设备上添加对CUDA的支持错误修复和其他更改文档更新：说明只能在64位机器上安装TensorFlow...添加了一个简短的文档，解释了Estimators如何保存检查点。为tf2xla网桥支持的操作添加文档。修复SpaceToDepth和DepthToSpace文档中的小错别字。

1.3K6 0

点击加载更多

0490-如何为GPU环境编译CUDA9.2的TensorFlow1.8与1.12

Google TPU 101

想提高棋艺？试试这款围棋AI

Linux & Windows TensorFlow 1.14 升级 2.2

ubuntu16.04 部署GPU环境

通过Docker部署深度学习项目环境

window10 python 3.6.8 本地 OCR 模块 muggle_ocr 安装实践

PyTorch与torch-xla的桥接

【问答集锦】TensorFlow带你进入深度学习的世界

如何分析机器学习中的性能瓶颈

Transformers 4.37 中文文档（十）

TensorFlow 的 JupyterLab 环境

windows 11 搭建 TensorFlow GPU 开发环境【RTX 3060】：2 -- 基于WSL2 docker 方式的使用

业界 | 谷歌正式发布TensorFlow 1.5：终于支持CUDA 9和cuDNN 7

nvmath Python革命：如何让CUDA数学库易用？

【TensorFlow实战——笔记】第3章：TensorFlow第一步_TensorFlow的编译及安装

基于tensorflow 1.x 的bert系列预训练模型工具

猫头虎分享：最新 TensorFlow 各版本下载地址、对应 Python 版本、编译和运行环境版本号大全

Github1.3万星，迅猛发展的JAX对比TensorFlow、PyTorch

TensorFlow正式发布1.5.0，支持CUDA 9和cuDNN 7，双倍提速

相关资讯

热门标签

活动推荐

运营活动

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐