官网：https://openmmlab.com
Github：https://github.com/open-mmlab
公众号：OpenMMLab
参考视频：Github八万star，开源计算机视觉神器OpenMMLab

AI实战营二期 开营课笔记

1. OpenMMLab起源与发展

OpenMMLab诞生于2018年，是一个由中国开发者主导，有国际影响力的人工智能·计算机视觉开源算法体系

OpenMMLab累计开源超过30个算法库、2400个预训练模型，涵盖图像识别分类、目标检测、图像分割、姿态估计、视频理解、OCR、3D目标检测、3D人体姿态估计、模型轻量化、自监督、少样本、光流、预训练、多模态、AIGC、推理部署等等计算机视觉任务

2. OpenMMLab部分开源算法库介绍

2.1 目标检测算法库 MMDetection

• 包含了目标检测、实例分割、全景分割、目标追踪的所有基本上最常用的算法和论文的复现
• 不仅有最基础教科书级别的最经典的必读必会的论文，也有最近几年更前沿的顶会论文
• 在大模型时代模型就是产品，模型就是效率。模型和算法这部分繁杂的开发工作，OpenMMLab已经帮你完成了

2.2 目标检测算法库 MMYOLO

• 专门用来解决YOLO目标检测问题的
• YOLO—— you only look once，是经典的单阶段目标检测算法，它的特点就是特别快
• MMYOLO收录了各种YOLO版本，复现了各种YOLO论文，你可以用它很轻松的获得不同的YOLO
• 既可以解决目标检测问题，也可以解决实力分割问题

2.3 文字检测识别算法库 MMOCR

它主要解决三类问题：

• 文本检测：就是把图像上的文本区域抠出来，或者说画出来
• 文本识别：把文字的内容识别出来
• 关键信息提取：是对一些结构化的票据、证件、牌照来进行信息的提取

2.4 3D目标检测算法库 detection 3D

• 专门做3D目标检测的算法库
• 应用：通过激光雷达和毫米波雷达感知无人驾驶车周围的3D点云数据来进行3D目标检测

2.5 旋转目标检测算法库 MMRotate

• 旋转目标检测里框有方向

2.6 图像分割算法库 MMSegmentation

应用：

• 识别医疗影像中的病灶区域、肿瘤的区域
• 遥感图像中河流山地农田的面积
• 街景数据里边的马路、交通标志和其他车的位置以及车道线

2.7 图像分类+预训练+多模态算法库 MMPretrain

2.8 姿态估计算法库 MMPose

2.9 三维人体姿态估计算法库 MMHuman3D

所谓的三维人体姿态估计，就是要用一个3D的模型去包络出人体，我们就可以用一个3D的数字人，去拟合一个真人。

2.10 生成模型+底层视觉+ AIGC算法库 MMagic

目前 MMagic 支持多种图像和视频的生成/编辑任务

SOTA 算法

MMagic 提供了处理、编辑、生成图像和视频的 SOTA 算法。

强有力且流行的应用

MMagic 支持了流行的图像修复、图文生成、3D生成、图像修补、抠图、超分辨率和生成等任务的应用。特别是 MMagic 支持了 Stable Diffusion 的微调和许多激动人心的 diffusion 应用，例如 ControlNet 动画生成。MMagic 也支持了 GANs 的插值，投影，编辑和其他流行的应用。请立即开始你的 AIGC 探索之旅！

高效的框架

通过 OpenMMLab 2.0 框架的 MMEngine 和 MMCV， MMagic 将编辑框架分解为不同的组件，并且可以通过组合不同的模块轻松地构建自定义的编辑器模型。我们可以像搭建“乐高”一样定义训练流程，提供丰富的组件和策略。在 MMagic 中，你可以使用不同的 APIs 完全控制训练流程。得益于 MMSeparateDistributedDataParallel, 动态模型结构的分布式训练可以轻松实现。

3. 模型终端部署应用 MMDeploy

• 你可以用OpenMMLab训练模型,再用MMDeploy来部署到各种各样的推理框架和终端硬件设备上
• 你就实现了从数据到训练算法再到应用部署的全流程

4. OpenMMLab 趣味应用游乐场&社区

• 里面有很多有趣的项目，也有一些项目也很前沿