# The first example (object removal)
python inference_propainter.py --video inputs/object_removal/bmx-trees --mask inputs/object_removal/bmx-trees_mask 
# The second example (watermark removal)
python inference_propainter.py --video inputs/watermark_removal/running_car.mp4 --mask inputs/watermark_removal/mask.png

结果将保存在文件夹中。要测试你自己的视频，请准备输入（或）和。

results

mp4 video

split frames

frame-wise mask(s)

如果要指定要处理的视频分辨率或避免内存不足，可以设置 和 的视频大小：

--width

--height

# process a 576x320 video; set --fp16 to use fp16 (half precision) during inference.
python inference_propainter.py --video inputs/watermark_removal/running_car.mp4 --mask inputs/watermark_removal/mask.png --height 320 --width 576 --fp16

🚀 内存高效推理

视频修复通常需要大量的 GPU 内存。在这里，我们提供了各种功能来促进内存高效推理，从而有效避免内存不足 （OOM） 错误。你可以使用以下选项进一步减少内存使用量：

• 通过减少（默认为 10）来减少本地邻居的数量。

  --neighbor_length

• 通过增加（默认为 10）来减少全局引用的数量。

  --ref_stride

• 设置 （默认 1.0） 以调整处理视频的大小。

  --resize_ratio

• 通过指定 和 来设置较小的视频大小。

  --width

  --height

• 设置为在推理过程中使用 fp16（半精度）。

  --fp16

• 减少子视频的帧数（默认为 80），从而有效地将 GPU 内存成本和视频长度解耦。（即将推出！

  --subvideo_lentgh

Blow 以 fp32/fp16 精度显示不同子视频长度的估计 GPU 内存需求：

数据集准备

中提供了训练和测试拆分文件。对于每个数据集，应放置到 。将所有视频帧调整为训练大小。将下载的掩码文件解压缩到 。

datasets/<dataset_name>

JPEGImages

datasets/<dataset_name>

432x240

datasets

目录结构将排列为：（注：请仔细检查）

datasets

datasets
   |- davis
      |- JPEGImages_432_240
         |- <video_name>
            |- 00000.jpg
            |- 00001.jpg
      |- test_masks
         |- <video_name>
            |- 00000.png
            |- 00001.png   
      |- train.json
      |- test.json
   |- youtube-vos
      |- JPEGImages_432_240
         |- <video_name>
            |- 00000.jpg
            |- 00001.jpg
      |- test_masks
         |- <video_name>
            |- 00000.png
            |- 00001.png
      |- train.json
      |- test.json   

训练

我们的培训配置以 train_flowcomp.json（用于循环流完成网络）和 train_propainter.json（用于 ProPainter）提供。

 # For training Recurrent Flow Completion Network
 python train.py -c configs/train_flowcomp.json
 # For training ProPainter
 python train.py -c configs/train_propainter.json

 # Compute optical flow for training dataset
 python scripts/compute_flow.py --root_path <dataset_root> --save_path <save_flow_root> --height 240 --width 432

 # For evaluating flow completion model
 python scripts/evaluate_flow_completion.py --dataset <dataset_name> --video_root <video_root> --mask_root <mask_root> --save_results
 # For evaluating ProPainter model
 python scripts/evaluate_propainter.py --dataset <dataset_name> --video_root <video_root> --mask_root <mask_root> --save_results

results_eval

--save_results

@inproceedings{zhou2023propainter,
   title={{ProPainter}: Improving Propagation and Transformer for Video Inpainting},
   author={Zhou, Shangchen and Li, Chongyi and Chan, Kelvin C.K and Loy, Chen Change},
   booktitle={Proceedings of IEEE International Conference on Computer Vision (ICCV)},
   year={2023}
}

shangchenzhou@gmail.com