多模态学习路线——基础篇

作者： 作者的头像   成理第一深情 ,  2024-04-23 18:57:57 ,  所有人可见 ,  阅读 21

1


1
  1. vision transformer——主干网络
  2. SimCLR——视觉表征对比学习的简单框架
  3. Dino——引入蒸馏的概念，可以学习一下知识蒸馏
  4. MAE——经典论文
  5. iBOT——结合Dino和MAE，学习Bert
  6. CLIP
  7. BLIP
  8. BLIP-2
  9. MiniGPT-4
  10. LLaVA

  11. mPLUG-Owl

  12. 将上述论文和相关的知识学习透彻，方便未来对多模态的学习

  13. 每篇论文的代码也要熟悉，计算资源够的情况下部分可以复现一下

0 评论