CodeFormer - NeurIPS 2022] 使用 Codebook Lookup Transformer 实现稳健的盲脸修复

使用密码本查找变压器实现稳健的盲脸修复 （NeurIPS 2022）

纸张|项目页面|视频

周尚辰， 陈启强， 李崇义， 陈变乐

南洋理工大学S实验室

⭐ 如果 CodeFormer 对你的图像或项目有帮助，请帮助为这个存储库加注星标。谢谢！🤗

【新闻】：🐳由于版权问题，我们不得不推迟训练代码的发布（预计今年年底发布）。请加星并继续关注我们未来的更新！

更新

• 2022.10.05： 支持视频输入。尝试它来增强你的视频！🎬

  --input_path [YOUR_VIDOE.mp4]

• 2022.09.14：融入🤗拥抱脸。尝试在线演示！
• 2022.09.09：集成复制🚀。尝试在线演示！
• 2022.09.04：添加人脸上采样，实现高分辨率 AI 创建的人脸增强。

  --face_upsample

• 2022.08.23：对人脸检测和融合进行了一些修改，以实现更好的 AI 创建的人脸增强。
• 2022.08.07： 集成真实ESRGAN以支持背景图像增强。
• 2022.07.29： 集成新的人脸检测器。

  ['RetinaFace'(default), 'YOLOv5']

• 2022.07.17：添加代码前者的 Colab 演示。
• 2022.07.16：发布人脸修复推理代码。😊
• 2022.06.21：创建此存储库。

待办事项

• [ ] 为面部修复添加检查点
• [ ] 为人脸着色添加检查点
• [ ] 添加训练代码和配置文件
• [x] 添加背景图像增强

🐼尝试增强旧照片/修复 AI 艺术

面部修复

面部颜色增强和恢复

面部修复

依赖关系和安装

• Pytorch >= 1.7.1
• 库达 >= 10.1
• 其他必需的软件包

  requirements.txt

# git clone this repository
git clone https://github.com/sczhou/CodeFormer
cd CodeFormer

# create new anaconda env
conda create -n codeformer python=3.8 -y
conda activate codeformer

# install python dependencies
pip3 install -r requirements.txt
python basicsr/setup.py develop

快速推理

下载预训练模型：

从 [Google Drive | 下载 facelib 预训练模型一个驱动器]到文件夹。你可以手动下载预训练模型，也可以通过运行以下命令进行下载。

weights/facelib

python scripts/download_pretrained_models.py facelib

从 [Google 云端硬盘|下载 CodeFormer 预训练模型一个驱动器]到文件夹。你可以手动下载预训练模型，也可以通过运行以下命令进行下载。

weights/CodeFormer

python scripts/download_pretrained_models.py CodeFormer

准备测试数据：

你可以将测想像放在文件夹中。如果要对裁剪和对齐的面进行测试，可以将它们放在文件夹中。

inputs/TestWhole

inputs/cropped_faces

面部修复测试：

[注]如果你想在论文中比较 CodeFormer ，请运行以下命令指示（用于裁剪和对齐的面部），因为整个图像的命令将涉及面部-背景融合的过程，这可能会破坏边界上的头发纹理，从而导致不公平的比较。

--has_aligned

🧑🏻 面部修复（裁剪和对齐的面部）

# For cropped and aligned faces
python inference_codeformer.py -w 0.5 --has_aligned --input_path [input folder]

🖼️全图像增强

# For whole image
# Add '--bg_upsampler realesrgan' to enhance the background regions with Real-ESRGAN
# Add '--face_upsample' to further upsample restorated face with Real-ESRGAN
python inference_codeformer.py -w 0.7 --input_path [image folder/image path]

🎬视频增强

# For video clips
python inference_codeformer.py --bg_upsampler realesrgan --face_upsample -w 1.0 --input_path [video path]

保真权重 w 位于 [0， 1] 中。通常，较小的w倾向于产生更高质量的结果，而较大的w会产生更高的保真度结果。

结果将保存在文件夹中。

results

引文

如果我们的工作对你的研究有用，请考虑引用：

@inproceedings{zhou2022codeformer,
    author = {Zhou, Shangchen and Chan, Kelvin C.K. and Li, Chongyi and Loy, Chen Change},
    title = {Towards Robust Blind Face Restoration with Codebook Lookup TransFormer},
    booktitle = {NeurIPS},
    year = {2022}
}

许可证

该项目根据NTU S-Lab许可证1.0获得许可。再分发和使用应遵循此许可证。

确认

该项目基于 BasicSR。一些代码来自Unleashing Transformers，YOLOv5-face和FaceXLib。我们还采用Real-ESRGAN来支持背景图像增强。感谢他们的出色作品。

联系

如果你有任何疑问，请随时与我联系。

shangchenzhou@gmail.com