官网：https://openmmlab.com
Github：https://github.com/open-mmlab
公众号：OpenMMLab
参考视频：深度学习预训练与MMPretrain

OpenMMLab AI实战营第二期-day4笔记

1. MMPreTrain算法库介绍

1.1 算法库与任务组成

MMPretrain是一个全新升级的预训练开源算法框架，旨在提供各种强大的
预训练主干网络，并支持了不同的预训练策略。

支持开箱即用的推理API和模型，包含丰富的相关任务

• 图像分类(Image Classification)
• 图像描述(Image Caption)
• 视觉问答(Visual Question Answering)
• 视觉定位。(Visual Grounding)
• 检索(Retrieval, Image- To-Image, Text- To-lmage, Image-To- Text)

1.2 框架概览

深度学习模型的训练涉及几个方面:

• 模型结构：模型有几层、每层多少通道数等
• 数据：数据集划分、数据文件路径、批大小、数据增强策略等
• 训练优化：梯度下降算法、学习率参数、训练总轮次、学习率变化策略等
• 运行时：GPU、分布式环境配置等
• 辅助功能：如打印日志、定时保存checkpoint等

代码框架

2. 经典主干网络

模型层数增加到一定程度后，分类正确率不增反降

2.1 ResNet

ResNet中的两种残差模块

2.2 Vision Transformer

注意力机制Attention Mechanism

3. 自监督学习

自监督学习常见类型

3.1 SimCLR

3.2 MAE

4. 多模态算法

4.1 CLIP

4.2 BLIP