侧边栏壁纸
博主头像
thinkTV博主等级

喜爱动漫的二刺螈一枚,摩托车云爱好者(快要有车了)。 懂一点技术的在读生物医学工程研究生( •̀ ω •́ )✧,多多指教。

  • 累计撰写 127 篇文章
  • 累计创建 17 个标签
  • 累计收到 0 条评论

目 录CONTENT

文章目录

深度学习预训练与MMPretrain

thinkTV
2023-06-05 / 0 评论 / 0 点赞 / 147 阅读 / 389 字 / 正在检测是否收录...

官网:https://openmmlab.com
Github:https://github.com/open-mmlab
公众号:OpenMMLab
参考视频:深度学习预训练与MMPretrain

OpenMMLab AI实战营第二期-day4笔记

1. MMPreTrain算法库介绍

1.1 算法库与任务组成

MMPretrain是一个全新升级的预训练开源算法框架,旨在提供各种强大的
预训练主干网络,并支持了不同的预训练策略。

图片-1685974388204

支持开箱即用的推理API和模型,包含丰富的相关任务

  • 图像分类(Image Classification)
  • 图像描述(Image Caption)
  • 视觉问答(Visual Question Answering)
  • 视觉定位。(Visual Grounding)
  • 检索(Retrieval, Image- To-Image, Text- To-lmage, Image-To- Text)

1.2 框架概览

深度学习模型的训练涉及几个方面:

  • 模型结构:模型有几层、每层多少通道数等
  • 数据:数据集划分、数据文件路径、批大小、数据增强策略等
  • 训练优化:梯度下降算法、学习率参数、训练总轮次、学习率变化策略等
  • 运行时:GPU、分布式环境配置等
  • 辅助功能:如打印日志、定时保存checkpoint等

代码框架

图片-1685974736166

图片-1685974793538

2. 经典主干网络

图片-1685974837848

模型层数增加到一定程度后,分类正确率不增反降

图片-1685975097048

2.1 ResNet

ResNet中的两种残差模块

图片-1685975156445

图片-1685975178501

2.2 Vision Transformer

图片-1685975320415

注意力机制Attention Mechanism

图片-1685975410687

3. 自监督学习

自监督学习常见类型

图片-1685975524230

3.1 SimCLR

图片-1685975552285

3.2 MAE

图片-1685975616089

4. 多模态算法

4.1 CLIP

图片-1685975699940

4.2 BLIP

图片-1685975773664

0

评论区