AI绘画专栏之statble diffusion SDXL 1.0 更加精细的OpenPose DW Openpose(23)

更为精细的DW openpose

OpenPose代表了第一个在单张图像上联合检测人体、手部、面部和足部关键点（共 135 个关键点）的实时多人系统。

全身（身体、脚部、面部和手部）2D 姿势估计

测试 OpenPose：（左）悉尼视频中的 Crazy Uptown Funk 快闪族。（中和右）作者吉内斯·伊达尔戈（Ginés Hidalgo）和托马斯·西蒙（Tomas Simon）测试面部和手部

全身 3D 姿态重建和估计

运行时分析

我们展示了 3 个可用的姿态估计库（相同的硬件和条件）之间的推理时间比较：OpenPose、Alpha-Pose（快速 Pytorch 版本）和 Mask R-CNN。OpenPose 的运行时间是恒定的，而 Alpha-Pose 和 Mask R-CNN 的运行时间随人数线性增长。更多细节在这里。

特征

主要功能：

• 2D实时多人关键点检测：
  • 15、18 或 25 个关键点身体/脚部关键点估计，包括 6 个脚部关键点。运行时与检测到的人数不变。
  • 2x21 关键点手部关键点估计。运行时间取决于检测到的人数。请参阅 OpenPose Training，了解运行时不变的替代方案。
  • 70 个关键点人脸关键点估计。运行时间取决于检测到的人数。请参阅 OpenPose Training，了解运行时不变的替代方案。
• 3D实时单人关键点检测：
  • 来自多个单个视图的 3D 三角测量。
  • 处理Flir热像仪的同步。
  • 兼容 Flir/Point Grey 相机。
• 校准工具箱：估计畸变、固有和外在相机参数。
• 单人跟踪，可进一步加速或视觉平滑。

输入：图像、视频、网络摄像头、Flir/Point Grey、IP 摄像头，并支持添加您自己的自定义输入源（例如，深度摄像头）。

输出：基本图像+关键点显示/保存（PNG、JPG、AVI等），关键点保存（JSON、XML、YML等），KEY点作为数组类，并支持添加自己的自定义输出代码（例如，一些花哨的UI）。

操作系统： Ubuntu （20， 18， 16， 14）， Windows （10， 8）， Mac OSX， Nvidia TX2.

硬件兼容性：CUDA （Nvidia GPU）、OpenCL （AMD GPU） 和非 GPU（仅限 CPU）版本。

替代使用方法：

• 内置功能的命令行演示。
• 用于自定义功能的 C++ API 和 Python API。例如，添加自定义输入、预处理、后处理和输出步骤。

有关更多详细信息，请查看已发布的主要功能和发行说明文档。

模型对比

DWPose for CN

对比 openPose

安装

目前还没有直接在Contronet中直接使用的案例，虽然他是基于CN的

体验网址

DWPose cloab体验地址https://colab.research.google.com/github/camenduru/DWPose-colab/blob/main/DWPose_colab.ipynbhttps://colab.research.google.com/github/camenduru/ControlNet-v1-1-nightly-colab/blob/main/ControlNet-v1-1-nightly-dw-openpose.ipynb

AI时代设计工具

AI布局

AI设计系统

AI魔法框

开放内测

我正在参与2023腾讯技术创作特训营第三期有奖征文，组队打卡瓜分大奖！