英特尔最近发布了 Neural Compressor，这是一个用于模型压缩的开源 Python 包。该库可应用于 CPU 或 GPU 上的深度学习部署，以减小模型大小并加快推理速度。此外它为著名的网络压缩技术提供统一的用户界面，包括跨各种深度学习框架的量化、修剪和知识蒸馏。该工具的自动精度驱动调整技术可用于生成最佳量化模型。此外，它允许知识蒸馏，以便可以将来自教师模型的知识转移到学生模型中。它实现了几种权重剪枝方法，以使用预定的稀疏目标生成剪枝模型。为了改进框架互操作性，
【磐创AI导读】：本篇文章为大家介绍了深度学习框架Keras与Pytorch对比，希望对大家有所帮助。想要获取更多的机器学习、深度学习资源，欢迎大家点击上方蓝字关注我们的公众号：磐创AI。
【磐创AI 导读】：本篇文章讲解了PyTorch专栏的第四章中的使用ONNX将模型转移至Caffe2和移动端。查看专栏历史文章，请点击下方蓝色字体进入相应链接阅读。查看关于本专栏的介绍：PyTorch专栏开篇。想要更多电子杂志的机器学习，深度学习资源，大家欢迎点击上方蓝字关注我们的公众号：磐创AI。
化妆迁移不仅是提取参考图像的化妆风格，而且是将化妆风格渲染到目标图像的语义对应位置。然而，大多数现有的方法侧重于前者而忽视后者，导致无法达到预期的结果。为了解决上述问题，我们提出了一种统一的对称语义感知变换器（SSAT）网络，该网络结合了语义对应学习来同时实现补足转移和补足移除。在SSAT中，提出了一种新的对称语义对应特征转移（SSCFT）模块和一种弱监督语义丢失模型，以便于建立精确的语义对应。在生成过程中，利用SSCFT对提取的化妆特征进行空间扭曲，实现与目标图像的语义对齐，然后将扭曲的化妆特征与未修改的化妆无关特征相结合，生成最终结果。实验表明，我们的方法获得了更加直观准确的化妆转移结果，与其他最先进的化妆转移方法相比，用户研究反映了我们方法的优越性。此外，我们还验证了该方法在表情和姿势差异、对象遮挡场景等方面的鲁棒性，并将其扩展到视频合成传输中
TensorFlow 是很多科学家、工程师和开发人员的首个深度学习框架。虽然 TensorFlow 1.0 早在 2017 年 2 月就发布了，但使用过程中对用户不太友好。
PyTorch是一个很棒的深度学习框架，简单易学。本篇文章将带领大家从头开始构建一个“原始”的神经网络。
深度学习模型已被证明可以通过增加数据和参数来改善。即使使用175B参数的Open AI最新GPT-3模型，随着参数数量的增加，我们仍未看到模型达到平稳状态。
本文介绍了可提升大语言模型的训练后量化表现的增强型 SmoothQuant 技术，说明了这项技术的用法，并证明了其在准确率方面的优势。此方法已整合至英特尔® Neural Compressor(1) 中。
深度学习中，我们一直在训练模型，通过反向传播求导更新模型的权重，最终得到一个泛化能力比较强的模型。同样，如果我们不训练，仅仅随机初始化权重，同样能够得到一个同样大小的模型。虽然两者大小一样，不过两者其中的权重信息分布相差会很大，一个脑子装满了知识、一个脑子都是水，差不多就这个意思。
原文链接：https://blog.inten.to/speeding-up-bert-5528e18bb4ea
在本文中，评估了权值初始化的许多方法和当前的最佳实践 零初始化 将权值初始化为零是不行的。那我为什么在这里提到它呢?要理解权值初始化的需要，我们需要理解为什么将权值初始化为零是无效的。 让我们考虑
BERT 在 NLP 领域的地位正如 ResNet 在 CV 领域的地位一样，属于里程碑的进展。目前，BERT 已经成为 NLP 深度学习管道中的重要组成部分。
峰值内存消耗是训练深度学习模型（如视觉 Transformer 和 LLM）时的常见瓶颈。本文提供了一系列可以在不牺牲建模性能和预测精度的情况下，将 PyTorch 中的内存消耗降低到约 1/20 的技术。
【磐创AI 导读】：本篇文章讲解了PyTorch专栏的第三章中的PyTorch小试牛刀。查看专栏历史文章，请点击下方蓝色字体进入相应链接阅读。查看关于本专栏的介绍：PyTorch专栏开篇。想要更多电子杂志的机器学习，深度学习资源，大家欢迎点击上方蓝字关注我们的公众号：磐创AI。
本文提出了一种用于三维卷积神经网络（3D CNN）的模型压缩和移动加速框架 RT3D，通过结合神经网络权重剪枝和编译器代码优化技术，使模型的端到端运行时间与目前支持 3D CNN 的移动框架相比速度提升高达 29.1 倍，准确性损失仅为 1％~1.5％。当在手机上采用 C3D 或 R(2+1)D 模型时，可以在 150ms 内完成 16 帧视频的计算。该工作由 CoCoPIE 团队：美国东北大学（Northeastern University）的王言治研究组、威廉与玛丽学院（William & Mary）的任彬研究组以及北卡罗来纳州立大学（North Carolina State University）的慎熙鹏研究组共同完成，发表于第 35 届美国人工智能协会年会（AAAI 2021）。
预训练的模型很容易使用，但是您是否忽略了可能影响模型性能的细节? 你有多少次运行以下代码片段： 1import torchvision.models as models 2inception = mo
什么是 PyTorch？其实 PyTorch 可以拆成两部分：Py+Torch。Py 就是 Python，Torch 是一个有大量机器学习算法支持的科学计算框架。PyTorch 的前身是Torch，但是 Torch 是基于 Lua 语言。Lua 简洁高效，但由于其过于小众，用的人不是很多，以至于很多人听说要掌握 Torch 必须新学一门语言就望而却步。考虑到 Python 在人工智能领域的领先地位，以及其生态完整性和接口易用性，几乎任何框架都不可避免地要提供 Python 接口。终于，在 2017 年，Torch 的幕后团队使用 Python 重写了 Torch 的很多内容，推出了 PyTorch，并提供了 Python 接口。此后，PyTorch 成为最流行的深度学习框架之一。
对于许多科学家、工程师和开发人员来说，TensorFlow是他们的第一个深度学习框架。但indus.ai公司机器学习工程师George Seif认为，TF并不是非常的用户友好。
大型语言模型（LLM）虽然性能强劲，但动辄几百上千亿的参数量，对计算设备还是内存的需求量之大，都不是一般公司能承受得住的。
光子的吸收可以让分子的电子从ground state to an excited state，这个过程叫做激发态excitation。激发态也可以由其他的机制产生，比方说机械的或化学作用。当一个电子被提升到激发态的时候，有几种可能的结果：被激发的电子relax到基态，可以发出光子或热量
最近做了一些和gnn相关的工作，经常听到GCN 和 embedding 相关技术，感觉很是困惑，所以写下此博客，对相关知识进行索引和记录：
关键要点 我们看到越来越多的公司使用深度学习算法。因此，我们将深度学习从创新者转移到了早期采用者类别。与此相关的是，深度学习存在新的挑战，例如在边缘设备上部署算法和训练非常大的模型。 尽管采用率正在缓慢增长，但现在有更多的商业机器人平台可用。我们在学术界之外看到了一些用途，但相信未来会有更多未被发现的用例。 GPU 编程仍然是一项很有前途的技术，但目前尚未得到充分利用。除了深度学习，我们相信还有更多有趣的应用。 借助 Kubernetes 等技术，在典型的计算堆栈中部署机器学习变得越来越容易。我们看到越来越
高分辨率网络（HRNet）是用于人体姿势估计的先进神经网络-一种图像处理任务，可在图像中找到对象的关节和身体部位的配置。网络中的新颖之处在于保持输入数据的高分辨率表示，并将其与高分辨率到低分辨率子网并行组合，同时保持有效的计算复杂性和参数计数。
本文通过详细且实践性的方式介绍了 PyTorch 的使用，包括环境安装、基础知识、张量操作、自动求导机制、神经网络创建、数据处理、模型训练、测试以及模型的保存和加载。
对于许多数据科学家、工程师和开发人员来说，TensorFlow是他们深度学习框架的第一选择。TensorFlow 1.0于2017年2月发布，至少可以说，它不是非常用户友好。
来源：机器之心本文约4200字，建议阅读8分钟剑桥大学在读博士生 Chaitanya K. Joshi 从数据准备、高效架构和学习范式三个方向综述了研究者们在克服这些问题时取得的进展。 图神经网络在应用到现实世界时会面临很多挑战，比如内存限制、硬件限制、可靠性限制等。在这篇文章中，剑桥大学在读博士生 Chaitanya K. Joshi 从数据准备、高效架构和学习范式三个方向综述了研究者们在克服这些问题时取得的进展。 用于高效和可扩展的图形表示学习的工具箱。 本文旨在概述关于高效图神经网络和可扩展图表示学
选自Github 作者：Chaitanya K. Joshi 机器之心编译 机器之心编辑部 图神经网络在应用到现实世界时会面临很多挑战，比如内存限制、硬件限制、可靠性限制等。在这篇文章中，剑桥大学在读博士生 Chaitanya K. Joshi 从数据准备、高效架构和学习范式三个方向综述了研究者们在克服这些问题时取得的进展。 用于高效和可扩展的图形表示学习的工具箱。 本文旨在概述关于高效图神经网络和可扩展图表示学习的关键思想，并将介绍数据准备、GNN 架构和学习范式方面的关键进展，这些最新进展让图神经网
二维卷积应该是最常用的卷积方式了，在Pytorch的nn模块中，封装了nn.Conv2d()类作为二维卷积的实现。使用方法和普通的类一样，先实例化再使用。下面是一个只有一层二维卷积的神经网络，作为nn.Conv2d（）方法的使用简介：
作者：Hongzheng Chen, Cody Hao Yu, Shuai Zheng, Zhen Zhang, Zhiru Zhang, Yida Wang
原标题：PyTorch Callable Neural Networks - Deep earning In Python
这篇文章将讨论机器学习的一大基本算法：线性回归。我们将创建一个模型，使其能根据一个区域的平均温度、降雨量和湿度（输入变量或特征）预测苹果和橙子的作物产量（目标变量）。训练数据如下：
今年初，Facebook 推出了 PyTorch 1.0，该框架集成了谷歌云、AWS 和 Azure 机器学习。学习本教程之前，你需要很熟悉 Scikit-learn，Pandas，NumPy 和 SciPy。这些程序包是使用本教程的重要先决条件。
使用自定义模型类从头开始训练线性回归，比较PyTorch 1.x和TensorFlow 2.x之间的自动差异和动态模型子类化方法。
注意：所有运行在内存的Tensors，除了 Char Tensor，都可以转换为Numpy array，并且可以相互转换
PyTorch既是一个深度学习框架又是一个科学计算包，她在科学计算方面主要是PyTorch张量库和相关张量运算的结果。（张量是一个n维数组或者是一个n－D数组）PyTorch是一个张量库，她紧密地反映了numpy的多维数组功能，并且与numpy本身有着高度的互操作性。Pytorch中常用包的介绍
这篇文章主要翻译DeepSpeed的Megatron-LM GPT2 ，Zero零冗余优化器技术，ZeRO-Offload技术。关于DeepSpeed 的Zero和ZeRO-Offload的技术原理大家也可以查看图解大模型训练之：数据并行下篇(ZeRO，零冗余优化) 这篇文章，文章里面对内存的计算和通信量的分析都很棒。
选自Stanford 作者：李飞飞等 机器之心编译 参与：Smith、蒋思源 斯坦福大学的课程 CS231n (Convolutional Neural Networks for Visual Recognition) 作为深度学习和计算机视觉方面的重要基础课程，在学界广受推崇。今年 4 月，CS231n 再度开课，全新的 CS231n Spring 2017 仍旧由李飞飞带头，带来了很多新鲜的内容。今天机器之心给大家分享的是其中的第八讲——深度学习软件（Deep Learning Software）。主
【磐创AI 导读】：本篇文章讲解了PyTorch专栏的第四章中的生成对抗示例。本教程将提高您对ML（机器学习）模型的安全漏洞的认知，并将深入了解对抗性机器学习的热门话题。查看专栏历史文章，请点击下方蓝色字体进入相应链接阅读。查看关于本专栏的介绍：PyTorch专栏开篇。想要更多电子杂志的机器学习，深度学习资源，大家欢迎点击上方蓝字关注我们的公众号：磐创AI。
实际中，基本没有人会从零开始（随机初始化）训练一个完整的卷积网络，因为相对于网络，很难得到一个足够大的数据集[网络很深, 需要足够大数据集]。通常的做法是在一个很大的数据集上进行预训练得到卷积网络ConvNet, 然后将这个ConvNet的参数作为目标任务的初始化参数或者固定这些参数。
文章超长，秉承用代码搞定一切的原则，内含大量代码，建议收藏，并分享给你喜欢的人。同时如果有什么疑问，也欢迎留言告知我们。
随着近年来 CNN 在目标检测领域的发展和创新，目标检测有了更加广泛的应用。考虑到在实际场景中的落地需求，目标检测网络往往需要在保持高准确率的同时拥有较低的计算延迟。而现有的目标检测网络，在资源有限的平台上，尤其是手机和嵌入式设备上部署这类应用时，很难同时实现高准确率与实时检测。
机器之心专栏 机器之心编辑部 本文提出了一套模型压缩和编译结合的目标检测加速框架，根据编译器的硬件特性而设计的剪枝策略能够在维持高 mAP 的同时大大提高运行速度，压缩了 14 倍的 YOLOv4 能够在手机上达到 19FPS 的运行速度并且依旧维持 49mAP（COCO dataset）的高准确率。相比 YOLOv3 完整版，该框架快出 7 倍，并且没有牺牲准确率。该框架由美国东北大学王言治研究组和威廉玛丽学院任彬研究组共同提出。 随着近年来 CNN 在目标检测领域的发展和创新，目标检测有了更加广泛的应
近日，深度学习领域知名研究者、Lightning AI 的首席人工智能教育者 Sebastian Raschka 在 CVPR 2023 上发表了主题演讲「Scaling PyTorch Model Training With Minimal Code Changes」。
如果在单个 GPU 上训练模型太慢或者模型的权重无法适应单个 GPU 的内存，则过渡到多 GPU 设置可能是一个可行的选择。在进行此过渡之前，彻底探索在单个 GPU 上进行高效训练的方法和工具中涵盖的所有策略，因为它们普遍适用于任意数量的 GPU 上的模型训练。一旦您采用了这些策略并发现它们在单个 GPU 上不足以满足您的情况时，请考虑转移到多个 GPU。
大家好，我是小五。最近遇到了一个问题，需要将头像转化动漫风，当时第一想法就是找现成的轮子。比如我们在之前的文章中《超有趣的Python实战：将图片转成像素风！》，就是通过调用名为Tiler的开源库，生成可爱像素风图片！
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
