侧边栏壁纸
博主头像
thinkTV博主等级

喜爱动漫的二刺螈一枚,摩托车云爱好者(快要有车了)。 懂一点技术的在读生物医学工程研究生( •̀ ω •́ )✧,多多指教。

  • 累计撰写 127 篇文章
  • 累计创建 17 个标签
  • 累计收到 0 条评论

目 录CONTENT

文章目录

浦视开源算法体系OpenMMLab介绍

thinkTV
2023-06-01 / 0 评论 / 0 点赞 / 132 阅读 / 1,214 字 / 正在检测是否收录...

官网:https://openmmlab.com
Github:https://github.com/open-mmlab
公众号:OpenMMLab
参考视频:Github八万star,开源计算机视觉神器OpenMMLab

AI实战营二期 开营课笔记

1. OpenMMLab起源与发展

图片

OpenMMLab诞生于2018年,是一个由中国开发者主导,有国际影响力的人工智能·计算机视觉开源算法体系

图片-1685610296809

OpenMMLab累计开源超过30个算法库、2400个预训练模型,涵盖图像识别分类、目标检测、图像分割、姿态估计、视频理解、OCR、3D目标检测、3D人体姿态估计、模型轻量化、自监督、少样本、光流、预训练、多模态、AIGC、推理部署等等计算机视觉任务

2. OpenMMLab部分开源算法库介绍

2.1 目标检测算法库 MMDetection

图片-1685610495161

  • 包含了目标检测、实例分割、全景分割、目标追踪的所有基本上最常用的算法和论文的复现
  • 不仅有最基础教科书级别的最经典的必读必会的论文,也有最近几年更前沿的顶会论文
  • 在大模型时代模型就是产品,模型就是效率。模型和算法这部分繁杂的开发工作,OpenMMLab已经帮你完成了

2.2 目标检测算法库 MMYOLO

图片-1685612674468

  • 专门用来解决YOLO目标检测问题的
  • YOLO—— you only look once,是经典的单阶段目标检测算法,它的特点就是特别快
  • MMYOLO收录了各种YOLO版本,复现了各种YOLO论文,你可以用它很轻松的获得不同的YOLO
  • 既可以解决目标检测问题,也可以解决实力分割问题

2.3 文字检测识别算法库 MMOCR

图片-1685612895568

它主要解决三类问题:

  • 文本检测:就是把图像上的文本区域抠出来,或者说画出来
  • 文本识别:把文字的内容识别出来
  • 关键信息提取:是对一些结构化的票据、证件、牌照来进行信息的提取

2.4 3D目标检测算法库 detection 3D

图片-1685613026458

  • 专门做3D目标检测的算法库
  • 应用:通过激光雷达和毫米波雷达感知无人驾驶车周围的3D点云数据来进行3D目标检测

2.5 旋转目标检测算法库 MMRotate

图片-1685613173029

  • 旋转目标检测里框有方向

2.6 图像分割算法库 MMSegmentation

图片-1685613232430

应用:

  • 识别医疗影像中的病灶区域、肿瘤的区域
  • 遥感图像中河流山地农田的面积
  • 街景数据里边的马路、交通标志和其他车的位置以及车道线

2.7 图像分类+预训练+多模态算法库 MMPretrain

图片-1685613425735

图片-1685613477531

2.8 姿态估计算法库 MMPose

图片-1685613578693

2.9 三维人体姿态估计算法库 MMHuman3D

图片-1685614028100

所谓的三维人体姿态估计,就是要用一个3D的模型去包络出人体,我们就可以用一个3D的数字人,去拟合一个真人。

2.10 生成模型+底层视觉+ AIGC算法库 MMagic

图片-1685614336495

目前 MMagic 支持多种图像和视频的生成/编辑任务

SOTA 算法

MMagic 提供了处理、编辑、生成图像和视频的 SOTA 算法。

强有力且流行的应用

MMagic 支持了流行的图像修复、图文生成、3D生成、图像修补、抠图、超分辨率和生成等任务的应用。特别是 MMagic 支持了 Stable Diffusion 的微调和许多激动人心的 diffusion 应用,例如 ControlNet 动画生成。MMagic 也支持了 GANs 的插值,投影,编辑和其他流行的应用。请立即开始你的 AIGC 探索之旅!

高效的框架

通过 OpenMMLab 2.0 框架的 MMEngine 和 MMCV, MMagic 将编辑框架分解为不同的组件,并且可以通过组合不同的模块轻松地构建自定义的编辑器模型。我们可以像搭建“乐高”一样定义训练流程,提供丰富的组件和策略。在 MMagic 中,你可以使用不同的 APIs 完全控制训练流程。得益于 MMSeparateDistributedDataParallel, 动态模型结构的分布式训练可以轻松实现。

3. 模型终端部署应用 MMDeploy

图片-1685614422130

  • 你可以用OpenMMLab训练模型,再用MMDeploy来部署到各种各样的推理框架和终端硬件设备上
  • 你就实现了从数据到训练算法再到应用部署的全流程

4. OpenMMLab 趣味应用游乐场&社区

图片-1685614556408

  • 里面有很多有趣的项目,也有一些项目也很前沿

图片-1685614613671

图片-1685614645300

0

评论区