DragGAN：鼠标拉伸创作新图像的神奇交互体验！

测试开发囤货

发布于 2023-08-08 01:29:27

48500

代码可运行

文章被收录于专栏：测试开发囤货测试开发囤货

运行总次数：0

代码可运行

DragGAN：鼠标拉伸创作新图像的神奇交互体验！

什么是 DragGAN

DragGAN 是一款全新的人工智能应用程序，可以通过在图像上拖动来轻松调整照片和艺术作品。

安装 DragGAN 依赖

DragGAN模型本质上是给各种GAN开发的一种交互式图像操作方法，实现了通过鼠标拉伸图像即可自动生成新图像的神奇功能。

「启用虚拟环境」

python3.9 -m venv darggan

「激活虚拟环境」

source darggan/bin/activate

「克隆项目代码」

git clone https://github.com/Zeqiang-Lai/DragGAN.git
cd DragGAN
pip install -r requirements.txt

「安装ffmpeg」

最后保存图片的时候需要ffmpeg，提前安装。

brew install ffmpeg

安装 pytorch

https://pytorch.org/get-started/locally/

选择你系统对应的安装命令，以mac m1 为例

# MPS acceleration is available on MacOS 12.3+
pip3 install torch torchvision torchaudio

体验 DragGAN

命令行运行启动命令

# if you have a Nvidia GPU
python gradio_app.py
# if you use m1/m2 mac
python gradio_app.py --device mps
# otherwise
python gradio_app.py --device cpu

启动成功访问：http://127.0.0.1:7860/

在浏览器中操作

功能按钮，如下

注意事项

「模型信息汇总」

「最大迭代步数」：有些比较困难的拖拽，需要增大迭代次数，当然简单的也可以减少。

「设置拖拽点对」：模型会将蓝色的点拖拽到红色点位置。记住需要在 Setup handle points 设置拖拽点对。

「设置可变化区域（可选）」：这部分是可选的，你只需要设置拖拽点对就可以正常允许。如果你想的话，你可以在 Draw a mask 这个面板画出你允许模型改变的区域。注意这是一个软约束，即使你加了这个mask，模型还是有可能会改变超出许可范围的区域。

绘制效果

视频效果如下

引用

https://vcai.mpi-inf.mpg.de/projects/DragGAN/

@inproceedings{pan2023draggan,
    title={Drag Your GAN: Interactive Point-based Manipulation on the Generative Image Manifold}, 
    author={Pan, Xingang and Tewari, Ayush, and Leimk{\"u}hler, Thomas and Liu, Lingjie and Meka, Abhimitra and Theobalt, Christian},
    booktitle = {ACM SIGGRAPH 2023 Conference Proceedings},
    year={2023}
}