舞蹈迁移：EverybodyDanceNow reproduced in pytorch

Environments

Ubuntu 16.04 Python 3.6.5 Pytorch 0.4.1 OpenCV 3.4.4 2. PS:不是linux环境：设置 nThreads=0 in EverybodyDanceNow_reproduce_pytorch/src/config/train_opt.py

预训练模型和原视频

• Download vgg19-dcbb9e9d.pth.crdownload here and put it in ./src/pix2pixHD/models/
• Download pose_model.pth here and put it in ./src/PoseEstimation/network/weight/
• Source video can be download from here
• Download pre-trained vgg_16 for face enhancement here and put in ./face_enhancer/

Full process

Pose2vid network

获取源图片

• 将原视频 mv.mp4 i放在 ./data/source/ and run make_source.py, 标签图片保存在 ./data/source/test_label_ori/ and ./data/source/pose_souce.npy (在第6步使用). 如果想从摄像头抓取图片./src/utils/save_img.py

获取目标图片

获取你的目标视频 重命名为 mv.mp4 放在 ./data/target/ ，运行n make_target.py, pose.npy 保存在 ./data/target/，其中包含协调的脸部表情。

训练使用pose2vid network

• 运行train_pose2vid.py 模型保存在 ./checkpoints/
• 如何你想终止训练继续上次的训练可以设置, load_pretrain = './checkpoints/target/ 在 ./src/config/train_opt.py *运行 normalization.py 正则化标签图片, 可以使用两张图片 ./data/target/train/train_label/ and ./data/source/test_label_ori/ 来完成正则化
• 运行 transfer.py 结果保存在 ./results

Face enhancement network

Train and use face enhancement network

• 运行 cd ./face_enhancer.
• 运行prepare.py 在data 文件夹检测结果， 分别在这两个文件夹 (data/face/test_sync and data/face/test_real).
• 运行 main.py执行面部强化训练.运行 enhance.py 执行强化测试

结果生成

• cd 回到根路径，执行 make_gif.py生成gif文件.

图片