Loading [MathJax]/jax/output/CommonHTML/config.js
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >pytorch学习笔记(十五):pytorch 源码编译碰到的坑总结

pytorch学习笔记(十五):pytorch 源码编译碰到的坑总结

作者头像
ke1th
发布于 2018-01-02 03:14:33
发布于 2018-01-02 03:14:33
3.8K00
代码可运行
举报
运行总次数:0
代码可运行

2017.11.17

最近打算学习一下 pytorch 源码,所以按照官网的教程从头编译了一下 pytorch 。在编译的过程中,碰到了两个坑,在这里记录一下。

源码编译流程

  • 需要 anaconda
  • 如果要编译cuda 版本的话 CUDA7.5 及以上。Cudnn 6 及以上
  • 如果不想编译 cuda 版本的话:命令行执行 export NO_CUDA=1
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
1. export CMAKE_PREFIX_PATH="$(dirname $(which conda))/../"
2. conda install numpy pyyaml mkl setuptools cmake cffi
3. conda install -c soumith magma-cuda80 (这个可装可不装)
4. git clone --recursive https://github.com/pytorch/pytorch (下载源码)
5. cd pytorch
6. python setup.py install (坐等编译安装 完毕。)

以下是碰到的几个错误

  • 第一个错误
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
CMakeFiles/Makefile2:264: recipe for target 'src/ATen/test/CMakeFiles/scalar_test.dir/all' failed
make[1]: *** [src/ATen/test/CMakeFiles/scalar_test.dir/all] Error 2
Makefile:127: recipe for target 'all' failed
make: *** [all] Error 2
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
解决方法是:(由于我是 ubuntu16.04 编译的, gcc 默认的版本是 5.4,但是用 4.9 编译就不会有问题)
sudo apt install gcc-4.9 g++-4.9
export CC="gcc-4.9"
export CXX="g++-4.9"
# change to pytorch directory
python setup.py clean
python setup.py install
  • 第二个错误:(编译安装成功后, import torch 时报这个错)
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
libstdc++.so.6: version `GLIBCXX_3.4.21' not found
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
解决方法:
conda install libgcc 
然后再 import 就没问题了
  • 第三个错误(编译安装成功后,import torch 时报的错)
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
ModuleNotFoundError: No module named 'torch._C'
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
这个错误是 因为 我直接在 `pytorch/` 源码路径下打开的 `ipython``cd` 出来就好了
the problem is that you have a folder called torch in the same directory which is being picked up. Do this: cd .. (to change directory), and then start python and import torch, it should work.
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
Pytorch源码编译简明指南
最近在浅尝Pytorch的源码,利用业余时间去品读品读,看着看着,第一次对Pytorch有了重新的认识。 原来现在Pytorch的版图是如此之大,Pytorch已经不是一年前的Pytorch了。
老潘
2023/10/19
3.4K0
Pytorch源码编译简明指南
PyTorch 2.2 中文官方教程(十二)
PyTorch 提供了大量与神经网络、任意张量代数、数据处理和其他目的相关的操作。然而,您可能仍然需要更定制化的操作。例如,您可能想使用在论文中找到的新型激活函数,或者实现您作为研究的一部分开发的操作。
ApacheCN_飞龙
2024/02/05
1.3K0
Pytorch-0.4.1-cuda9.1-linux源码安装指南
在Pytorch-1.0即将到来之际,再来简单说说Pytorch最新版本的源码安装。
老潘
2023/10/19
6750
Pytorch-0.4.1-cuda9.1-linux源码安装指南
[jetson]源码编译fastdeploy
FastDeploy当前在Jetson仅支持ONNX Runtime CPU和TensorRT GPU/Paddle Inference三种后端推理
云未归来
2025/07/19
1010
详解PyTorch编译并调用自定义CUDA算子的三种方式
「上一篇教程:」 https://godweiyang.com/2021/03/18/torch-cpp-cuda
godweiyang
2021/04/08
3.3K0
教你30分钟安装cuda环境下的torch(非Pytorch)
Pytorch我们都熟悉,是一个优秀的深度学习的运行库,但我们可能也知道Pytorch的前身torch。Torch也是一个优秀的深度学习库,运行语言是lua语言。既然我们有了Pytorch,为什么还要装torch呢?
老潘
2023/10/19
1.6K0
PointPillars/SECOND代码调试笔记
代码链接上一篇文章已经显示。目前最新版的SECOND已经集成了PointPillars功能。
点云乐课堂
2020/05/18
4.9K1
TVM 从入门到精通 | 安装 TVM (Part 1)
内容一览:TVM 共有三种安装方法:从源码安装、使用 Docker 镜像安装和 NNPACK Contrib 安装。本文重点介绍如何通过源码安装 TVM。
HyperAI超神经
2023/02/27
4K0
TVM 从入门到精通 | 安装 TVM (Part 1)
在NVIDIA Jetson TX2上源码编译并使用Pytorch
TX2作为一个嵌入式平台的深度学习端,具备不错的GPU性能,我们可以发现TX2的GPU的计算能力是6.2。这意味着TX2对半精度运算有着良好的支持,我们完全可以在桌面端训练好模型,然后移植到TX2上利用半精度运行进行推理,这样可以达到生产落地的效果。
老潘
2023/10/19
9660
在NVIDIA Jetson TX2上源码编译并使用Pytorch
编译成功了,运行为什么会失败_cython编译python
最新的caffe2 已经移到pytorch中去了,直接下载其中的代码然后按照官方教程就可以了。
全栈程序员站长
2022/11/17
9960
踩坑记 如何编译所有版本的TVM
【GiantPandaCV导语】笔者把tvm v0.9、v0.8、v0.6、v0.5、v0.4、v0.3、v0.2、v0.1都本地安装编译了,也就是除了v0.7没有本地编译以外所有版本都测试了,docker也测试了。遇到了好多小问题,故记录一下。然后测试dlsys的课的作业,原link为dlsys-course/assignment2-2018: (Spring 2018) Assignment 2: Graph Executor with TVM (github.com)
BBuf
2022/05/27
1.1K0
踩坑记 如何编译所有版本的TVM
Pytorch拓展进阶(二):Pytorch结合C++以及Cuda拓展
之前的文章中:Pytorch拓展进阶(一):Pytorch结合C以及Cuda语言。我们简单说明了如何简单利用C语言去拓展Pytorch并且利用编写底层的.cu语言。这篇文章我们说明如何利用C++和Cuda去拓展Pytorch,同样实现我们的自定义功能。
老潘
2023/10/19
1.6K0
Pytorch拓展进阶(二):Pytorch结合C++以及Cuda拓展
网络推理 | PyTorch vs LibTorch:谁更快?
地址:https://zhuanlan.zhihu.com/p/363319763
公众号机器学习与AI生成创作
2021/07/05
3.6K0
树莓派上编译安装pytorch1.4
树莓派是一个香烟盒大小的电脑,能运行window(IOT)和linux系统。可以当做一台普通的电脑用来办公上网,还有裸露的针脚可以用来控制你自己设计的电路。比如读取各种(温度,重力,加速度)传感器信息,也可以驱动马达和蜂鸣器,摄像头什么的。
deephub
2020/05/09
2.7K0
树莓派上编译安装pytorch1.4
TensorFlow开发环境搭建(Ubuntu16.04+GPU+TensorFlow源码编译)
作者:刘才权 编辑:田 旭 安装平台 1 平台 目前TensorFlow已支持Mac、Ubuntu和Windows三个主流平台(64位平台), 2 GPU vs CPU 在安装时可以选择安装版本是否
机器学习算法工程师
2018/03/06
1.9K0
TensorFlow开发环境搭建(Ubuntu16.04+GPU+TensorFlow源码编译)
[jetson]jetson上源码编译fastdeploy报错Could not find a package configuration file provided by “Python“ with
git clone https://github.com/PaddlePaddle/FastDeploy.git cd FastDeploy/python export BUILD_ON_JETSON=ON export ENABLE_VISION=ON
云未归来
2025/07/19
750
torch.cuda.is_available
torch.cuda.get_device_name(0) 返回gpu名字,设备索引默认从0开始;
sofu456
2019/07/09
8.7K0
torch.cuda.is_available
一小时肝一份文档,宠你我们是认真的
一个月黑风高、万籁俱静的夜晚,MMDeploy 社区群里传来一阵躁动,群友们纷纷直呼:牛啊,强啊!
OpenMMLab 官方账号
2022/04/09
5590
一小时肝一份文档,宠你我们是认真的
深度解决添加复杂数据增强导致训练模型耗时长的痛点
最近在训练大规模数据时,遇到一个【添加复杂数据增强导致训练模型耗时长】的问题,在学习了 MMDetection 和 MMCV 底层关于 PyTorch 的 CUDA/C++ 拓展之后,我也将一些复杂数据增强实现了 GPU 化,并且详细总结了一些经验,分享此篇文章和工程,希望与大家多多交流。
OpenMMLab 官方账号
2022/12/30
2.3K0
深度解决添加复杂数据增强导致训练模型耗时长的痛点
Caffe - Ubuntu 安装及问题解决
注:cuDNN在很多工程中兼容性较差,可能需要安装特定的历史版本,只需对如上命令中的版本进行修改. 查看caffe 是否成功使用cuDNN v5:
AIHGF
2019/02/18
4.1K0
相关推荐
Pytorch源码编译简明指南
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验