开源项目介绍｜计图（Jittor） - 基于元算子和统一计算图的高性能深度学习框架

2022腾讯犀牛鸟开源人才培养计划

开源项目介绍

滑至文末报名参与开源人才培养计划

提交计图（Jittor）项目Proposal

计图（Jittor） 项目介绍

计图（Jittor）：一个完全基于动态编译（Just-in-time），内部使用创新的元算子和统一计算图的深度学习框架。元算子可以复合出神经网络计算所需算子，和Numpy一样易于使用，并且超越Numpy能够实现更复杂更高效的操作。统一计算图则是融合了静态计算图和动态计算图的诸多优点，在易于使用的同时，提供高性能的优化。基于元算子开发的深度学习模型，可以被计图实时自动优化并且运行在指定的硬件上，如CPU，GPU，NPU等。

计图（Jittor）项目导师介绍

梁盾

计图核心开发者、

清华大学助理研究员 

导师寄语：

计图是首个由国内高校牵头的具有自主知识产权的深度学习框架，相比于国外主流框架，在性能、多平台适配上有着诸多优势。本项目将带大家进入科研一线，深入浅出地了解最前沿的研究领域与框架开发知识，涵盖内容包括：可微渲染、目标检测与识别、图像分割、几何学习以及算子优化等内容。

计图（Jittor） 相关资料

计图（Jittor） 官网地址：

https://cg.cs.tsinghua.edu.cn/jittor/

计图（Jittor） 文档地址：

https://cg.cs.tsinghua.edu.cn/jittor/assets/docs/index.html

计图（Jittor） 论坛地址：

https://discuss.jittor.org/

计图（Jittor） 任务实战项目

编程任务

【初级】任务一：基于计图框架 NeRF 模型复现和速度优化

背景：

随着VR、AR的蓬勃发展，三维场景、物体的重建与生成越来越重要。在新视角生成及重建任务中，目的是给定若干不同视角的图像或视频，重建场景或获取新视角对应的图像。2020年Mildenhall等人提出的NeRF使用一组稀疏的输入视图来优化MLP网络，该网络输入查询点并输出颜色和密度，通过光线行进在空间中采样点来渲染场景，可以生成高质量的高分辨率图像。

参考论文：

1.NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis

https://arxiv.org/abs/2003.08934

2.Efficient Geometry-aware 3D Generative Adversarial Networks

https://arxiv.org/abs/2112.07945

3.pixelNeRF: Neural Radiance Fields from One or Few Images

https://arxiv.org/pdf/2012.02190

4.Neural Sparse Voxel Fields

https://arxiv.org/abs/2007.11571

相关代码：

1.https://github.com/Jittor/JNeRF

预备知识：

1.熟悉上述参考论文

2.熟悉 Jittor、PyTorch、Tensorflow 的学习和使用

3.熟悉训练神经网络，在测试数据集上测试模型

预期成果：

在计图框架上复现 NeRF 模型，达到论文中的点数，做速度优化，性能超过 PyTorch、Tensorflow等平台。

收获：

1.掌握NeRF 领域的常用模型

2.掌握Jittor、PyTorch、Tensorflow 三种深度学习框架

3.掌握深度学习模型训练和测试

【中级】任务二：基于计图框架 GAN 模型复现和速度优化

背景：

图像生成任务是计算机视觉领域非常重要和实用的一个方向。GAN 模型作为图像生成代表模型，自 2014 年被提出就受到广泛关注。2018 年，StyleGAN 模型被提出，图像生成进入高分辨率时代。本任务希望基于计图框架复现 GAN 的重要模型、复现论文中的点数以及训练、推理速度超过其他深度学习框架。

参考论文：

1.Jittor-GAN: A fast-training generative adversarial network model zoo based on Jittor

（https://link.springer.com/content/pdf/10.1007/s41095-021-0203-2.pdf）

2.A style-based generator architecture for generative adversarial networks（https://openaccess.thecvf.com/content_CVPR_2019/papers/Karras_A_Style-Based_Generator_Architecture_for_Generative_Adversarial_Networks_CVPR_2019_paper.pdf）

3.Analyzing and improving the image quality of stylegan

（https://openaccess.thecvf.com/content_CVPR_2020/papers/Karras_Analyzing_and_Improving_the_Image_Quality_of_StyleGAN_CVPR_2020_paper.pdf）

4.Alias-free generative adversarial networks

（

https://proceedings.neurips.cc/paper/2021/file/076ccd93ad68be51f23707988e934906-Paper.pdf）

相关代码：

1.https://github.com/Jittor/gan-jittor

2.https://github.com/NVlabs/stylegan

3.https://github.com/NVlabs/stylegan2

4.https://github.com/NVlabs/stylegan3

预备知识：

1.熟悉上述参考论文

2.熟悉 Jittor、PyTorch、tensorflow 的学习和使用

3.熟悉训练神经网络，在测试数据集上测试点数

预期成果：

在计图框架上复现 GAN 模型，达到论文中的点数，做速度优化，性能超过 PyTorch、Tensorflow等

收获：

1.掌握 GAN 领域常用模型

2.掌握 Jittor、PyTorch、Tensorflow 三种深度学习框架

3.掌握深度学习模型的训练和测试

【高级】任务三：基于计图框架实现稀疏卷积库

背景：

稀疏卷积是支撑3D视觉非常重要的一部分，因此如何实现快速的稀疏卷积已经成为3D视觉领域不可或缺的一部分。本任务希望基于计图框架实现稀疏库，能够实现目前的大多数稀疏算法，能够在保证精度的前提下，实现较快的速度，并且基于这个库，复现一篇体素分割的论文。

参考论文：

1.Vmnet: Voxel-mesh network for geodesic-aware 3d semantic segmentation

(https://openaccess.thecvf.com/content/ICCV2021/papers/Hu_VMNet_Voxel-Mesh_Network_for_Geodesic-Aware_3D_Semantic_Segmentation_ICCV_2021_paper.pdf)

2.4d spatio-temporal convnets: Minkowski convolutional neural networks

(https://openaccess.thecvf.com/content_CVPR_2019/papers/Choy_4D_Spatio-Temporal_ConvNets_Minkowski_Convolutional_Neural_Networks_CVPR_2019_paper.pdf)

3.TorchSparse: Efficient Point Cloud Inference Engine

Searching Efficient 3D Architectures with Sparse Point-Voxel Convolution

相关代码：

1.https://github.com/rusty1s/pytorch_sparse

2.https://github.com/mit-han-lab/torchsparse

3.https://github.com/NVIDIA/MinkowskiEngine

4.https://github.com/facebookresearch/SparseConvNet

5.https://github.com/rusty1s/pytorch_scatter

6.https://github.com/rusty1s/pytorch_scatter

7.https://github.com/pyg-team/pytorch_geometric

预备知识：

1.熟悉上述参考论文

2.熟悉 Jittor、PyTorch、Tensorflow 的学习和使用

3.熟悉CUDA编程

4.熟悉训练神经网络，在测试数据集上测试点数

预期成果：

在计图框架上实现稀疏库，保证精度和正确性，完成1篇论文的复现。

收获：

1.掌握3D视觉常用模型

2.掌握深度学习框架底层算法

3.掌握Jittor、PyTorch、Tensorflow 三种深度学习框架

4.掌握深度学习模型的训练和测试

扫码填写问卷报名，提交项目proposal

加入开发实战

与导师一起成长这一夏

计图（Jittor） 开源项目交流群

更多开源项目信息，

尽在“腾讯犀牛鸟开源人才社区”

扫码加入，解锁所有学习资料

🔍学生指南Q&A：https://github.com/Tencent/OpenSourceTalent/issues/14

 🔍官方QQ群：

859260607 （加群请备注学校+专业）

腾讯犀牛鸟开源人才培养计划官网

https://opensource.tencent.com/summer-of-code

（点击文末阅读原文直接访问）

合作或疑问欢迎联系：tencentopen@tencent.com