GFPGAN - GFPGAN 旨在开发用于真实世界面部恢复的实用算法。

Created at: 2021-03-19 14:18:20
开发语言: Python
授权协议: NOASSERTION

下载 皮皮 未决问题 已关闭的问题 许可证  anaconda 绒 发布点

  1. Colab Demo for GFPGAN 谷歌colab标志;(另一个Colab演示的原始纸质模型)
  2. 在线演示:拥抱脸(仅返回裁剪后的脸)
  3. 在线演示:Replicate.ai(可能需要登录,返回整个图像)
  4. 在线演示:Baseten.co(由 GPU 支持,返回整个图像)
  5. 我们提供 GFPGAN 的干净版本,无需 CUDA 扩展即可运行。因此,它可以在WindowsCPU模式下运行。

🚀 感谢你对我们工作的关注。你可能还想查看我们在Real-ESRGAN 😊中动漫图像和视频的微型模型上的新更新

GFPGAN旨在开发一种用于真实世界人脸修复的实用算法
它利用封装在预训练的面部GAN(例如,StyleGAN2)中的丰富多样的先验进行盲脸恢复。

常见问题可以在 FAQ.md 中找到。

🚩 更新

  • 🔥🔥 添加 V1.3 模型,该模型可产生更自然的恢复效果,并在非常低质量/高质量输入下产生更好的结果。查看 Comparisons.md 莫尔动物园的更多选择
  • 与Gradio一起集成到Huggingface Spaces中。请参阅 Gradio Web Demo
  • 支持使用 Real-ESRGAN 增强非人脸区域(背景)。
  • 我们提供干净版本的GFPGAN,不需要CUDA扩展。
  • 我们提供更新的模型,不给人脸着色。

如果GFPGAN对你的照片/项目有帮助,请帮助此存储库或向你的朋友推荐。感谢😊其他推荐项目:
▶️ Real-ESRGAN:一种用于一般图像恢复
▶️的实用算法 BasicSR:开源图像和视频恢复工具箱
▶️ facexlib:提供有用的人脸关系功能
▶️的集合 HandyView:基于PyQt5的图像查看器,便于查看和比较


📖GFP-GAN:迈向具有生成性面部先验的现实世界盲脸修复

[论文][项目页面][演示]
王新涛李宇张红伦, 腾讯PCG应山
应用研究中心(ARC)


🔧依赖关系和安装

安装

我们现在提供 GFPGAN 的干净版本,不需要自定义 CUDA 扩展。
如果你想使用我们论文中的原始型号,请参阅 PaperModel.md 进行安装。

  1. 克隆存储库

    git clone https://github.com/TencentARC/GFPGAN.git
    cd GFPGAN
  2. 安装依赖包

    # Install basicsr - https://github.com/xinntao/BasicSR
    # We use BasicSR for both training and inference
    pip install basicsr
    
    # Install facexlib - https://github.com/xinntao/facexlib
    # We use face detection and face restoration helper in the facexlib package
    pip install facexlib
    
    pip install -r requirements.txt
    python setup.py develop
    
    # If you want to enhance the background (non-face) regions with Real-ESRGAN,
    # you also need to install the realesrgan package
    pip install realesrgan

快速推理

我们以 v1.3 版本为例。可以在此处找到更多型号。

下载预训练模型:GFPGANv1.3.pth

wget https://github.com/TencentARC/GFPGAN/releases/download/v1.3.0/GFPGANv1.3.pth -P experiments/pretrained_models

推理!

python inference_gfpgan.py -i inputs/whole_imgs -o results -v 1.3 -s 2
Usage: python inference_gfpgan.py -i inputs/whole_imgs -o results -v 1.3 -s 2 [options]...

  -h                   show this help
  -i input             Input image or folder. Default: inputs/whole_imgs
  -o output            Output folder. Default: results
  -v version           GFPGAN model version. Option: 1 | 1.2 | 1.3. Default: 1.3
  -s upscale           The final upsampling scale of the image. Default: 2
  -bg_upsampler        background upsampler. Default: realesrgan
  -bg_tile             Tile size for background sampler, 0 for no tile during testing. Default: 400
  -suffix              Suffix of the restored faces
  -only_center_face    Only restore the center face
  -aligned             Input are aligned faces
  -ext                 Image extension. Options: auto | jpg | png, auto means using the same extension as inputs. Default: auto

如果你想使用我们论文中的原始模型,请参阅 PaperModel.md 进行安装和推理。

🏰模型动物园

版本 型号名称 描述
1.3 版 GFPGANv1.3.pth 基于 V1.2;更自然的恢复效果;在非常低质量/高质量的输入上获得更好的结果。
1.2 版 GFPGANCleanv1-NoCE-C2.pth 无着色;不需要 CUDA 扩展。通过预处理使用更多数据进行训练。
版本 1 GFPGANv1.pth 带有着色的纸张模型。

比较是 Comparisons.md

请注意,V1.3 并不总是比 V1.2 更好。你可能需要根据自己的目的和输入选择不同的模型。

版本 优势 弱点
1.3 版 ✓ 自然输出
✓在非常低质量的
输入上获得更好的结果 ✓在相对高质量的输入上工作
✓可以重复(两次)恢复
✗不是很尖锐
✗对身份有轻微的变化
1.2 版 ✓更清晰的输出
✓与美容化妆
✗ 有些输出不自然

你可以在这里找到更多的型号(比如鉴别器):[Google Drive],或者[腾讯云腾讯微云]

💻训练

我们提供GFPGAN的培训代码(在我们的论文中使用)。
你可以根据自己的需要改进它。

技巧

  1. 更高质量的脸部可以提高修复质量。
  2. 你可能需要进行一些预处理,例如美容化妆。

程序

(你可以尝试不需要人脸组件特征点的简单版本 ( )。

options/train_gfpgan_v1_simple.yml

  1. 数据集准备:FFHQ

  2. 下载预先训练的模型和其他数据。将它们放在文件夹中。

    experiments/pretrained_models

    1. 预训练的 StyleGAN2 模型:StyleGAN2_512_Cmul1_FFHQ_B12G4_scratch_800k.pth
    2. FFHQ 的组件位置:FFHQ_eye_mouth_landmarks_512.pth
    3. 一个简单的 ArcFace 模型:arcface_resnet18.pth
  3. 相应地修改配置文件。

    options/train_gfpgan_v1.yml

  4. 训练

python -m torch.distributed.launch --nproc_per_node=4 --master_port=22021 gfpgan/train.py -opt options/train_gfpgan_v1.yml --launcher pytorch

📜许可和确认

GFPGAN 在 Apache 许可证版本 2.0 下发布。

BibTeX

@InProceedings{wang2021gfpgan,
    author = {Xintao Wang and Yu Li and Honglun Zhang and Ying Shan},
    title = {Towards Real-World Blind Face Restoration with Generative Facial Prior},
    booktitle={The IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
    year = {2021}
}

📧联系

如果你有任何疑问,请发送电子邮件或 .

xintao.wang@outlook.com
xintaowang@tencent.com