mmpose - OpenMMLab 姿势估计工具箱和基准。

Created at: 2020-07-08 14:02:55
Language: Python
License: Apache-2.0

英语|简体中文

介绍

MMPose是一个基于PyTorch的姿态估计开源工具箱。它是OpenMMLab项目的一部分。

主分支与 PyTorch 1.5+ 配合使用。

https://user-images.githubusercontent.com/15977946/124654387-0fd3c500-ded1-11eb-84f6-24eeddbf4d91.mp4

主要特点
  • 支持多种任务

    我们支持当前研究界广泛的主流姿态分析任务,包括二维多人人体姿势估计、二维手部姿势估计、二维人脸特征点检测、133个关键点全身人体姿态估计、三维人体网格恢复、时尚地标检测和动物姿势估计。有关详细信息,请参阅 demo.md

  • 效率更高,精度更高

    MMPose实现了多种最先进的(SOTA)深度学习模型,包括自上而下和自下而上的方法。我们实现了比其他流行的代码库(如HRNet)更快的训练速度和更高的准确性。有关详细信息,请参阅 benchmark.md

  • 支持各种数据集

    该工具箱直接支持多个流行和代表性的数据集,CO,AIC,MPII,MPII-TRB,OCHuman等。有关详细信息,请参阅 data_preparation.md

  • 精心设计、测试和记录

    我们将MMPose分解为不同的组件,并且可以通过组合不同的模块轻松构建自定义的姿势估计框架。我们提供详细的文档和API参考,以及单元测试。

最新消息

  • 2022-10-14:MMPose v0.29.0 正式发布。主要更新包括:
  • 2022-09-01:MMPose v1.0.0测试版发布[代码|文档 ]。欢迎尝试,你的反馈将不胜感激!
  • 2022-02-28:MMDeploy v0.3.0 支持 MMPose 模型部署 MMPose 网络摄像头 API 是一个简单而强大的工具,用于开发具有 MMPose 功能的交互式网络摄像头应用程序。
  • 2021-12-29: OpenMMLab开放平台上线!尝试我们的姿势估计演示

安装

MMPose依赖于PyTorchMMCV。以下是安装的快速步骤。有关详细的安装指南,请参阅 install.md

conda create -n openmmlab python=3.8 pytorch=1.10 cudatoolkit=11.3 torchvision -c pytorch -y
conda activate openmmlab
pip3 install openmim
mim install mmcv-full
git clone https://github.com/open-mmlab/mmpose.git
cd mmpose
pip3 install -e .

开始

请参阅 get_started.md 了解 MMPose 的基本用法。还有教程:

模型动物园

结果和模型可在每个方法的配置目录的 README.md 中找到。摘要可以在模型动物园页面中找到。

支持的算法:
支持的技术:
支持的数据集
支持的主干:

型号请求

我们将紧跟社区的最新进展,并支持更多流行的算法和框架。如果你有任何功能要求,请随时在MMPose路线图中发表评论。

基准

准确性和训练速度

MMPose 在 COCO 等标准关键点检测基准测试上实现了卓越的训练速度和准确性。有关更多详细信息,请参阅 benchmark.md

推理速度

我们总结了MMPose中主要模型的模型复杂度和推理速度,包括不同批量大小的CPU和GPU设备上的FLOP、参数计数和推理速度。请参阅inference_speed_summary.md 了解更多详情。

数据准备

请参阅 data_preparation.md 了解数据准备的一般知识。

常见问题

有关常见问题,请参阅常见问题解答。

贡献

我们感谢所有为改进MMPose所做的贡献。有关贡献指南,请参阅 CONTRIBUTING.md

确认

MMPose是一个开源项目,由来自不同学院和公司的研究人员和工程师贡献。我们感谢所有实施其方法或添加新功能的贡献者,以及提供宝贵反馈的用户。我们希望工具箱和基准能够通过提供一个灵活的工具包来重新实施现有方法并开发自己的新模型,从而为不断增长的研究界服务。

引文

如果你发现该项目对你的研究有用,请考虑引用:

@misc{mmpose2020,
    title={OpenMMLab Pose Estimation Toolbox and Benchmark},
    author={MMPose Contributors},
    howpublished = {\url{https://github.com/open-mmlab/mmpose}},
    year={2020}
}

许可证

该项目在 Apache 2.0 许可证下发布。

OpenMMLab 中的项目

  • MMCV:OpenMMLab 计算机视觉基础库。
  • MIM:MIM 安装 OpenMMLab 包。
  • MMClassization:OpenMMLab图像分类工具箱和基准测试。
  • MMDetection:OpenMMLab检测工具箱和基准测试。
  • MMDetection3D:OpenMMLab用于通用3D物体检测的下一代平台。
  • MMYOLO:OpenMMLab YOLO系列工具箱和基准测试
  • MMRotate:OpenMMLab旋转对象检测工具箱和基准测试。
  • MMSegmentation:OpenMMLab语义分割工具箱和基准测试。
  • MMOCR:OpenMMLab文本检测、识别和理解工具箱。
  • MMPose:OpenMMLab位姿估计工具箱和基准测试。
  • MMHuman3D:OpenMMLab 3D人体参数模型工具箱和基准测试。
  • MMSelfSup:OpenMMLab 自监督学习工具箱和基准测试。
  • MMRazor:OpenMMLab模型压缩工具箱和基准测试。
  • MMFewShot:OpenMMLab fewshot 学习工具箱和基准测试。
  • MMAction2:OpenMMLab的下一代行动理解工具箱和基准。
  • MMTracking:OpenMMLab视频感知工具箱和基准测试。
  • MMFlow:OpenMMLab光流工具箱和基准测试。
  • MMEditing:OpenMMLab图像和视频编辑工具箱。
  • MMGeneration:OpenMMLab图像和视频生成模型工具箱。
  • MMDeploy:OpenMMLab模型部署框架。