标签:ViT

别只盯着DiT,国产模型也在暗自发力!U-ViT:ViT 架构实现 Diffusion 的开山之作!

本文介绍了一种基于Vision Transformer (ViT) 的扩散模型U-ViT,该模型由清华大学、中国人民大学和北京智源的研究团队开发。U-ViT使用ViT替换了传统扩散模型...

ECCV 2024|POA:已开源,蚂蚁集团提出同时预训练多种尺寸网络的自监督范式

POA自监督学习框架的核心是引入了一个创新的弹性student分支,该分支通过参数共享嵌入了一系列子网络,这些子网络是基于观察到现代网络结构中,较小尺寸的模...

Yann LeCun:ViT慢且效率低,实时图像处理还得看卷积

在当前的人工智能领域,关于Vision Transformer(ViT)与传统卷积神经网络(CNN)哪个更优越的争论一直存在。今年初,OpenAI的Sora模型使得ViT架构受到关注。...

CVPR’24|DeiT-LT:印度科学院提出针对长尾数据的`DeiT`升级模型

Deit-LT模型的核心特点包括:1. 通过OOD图像进行蒸馏:Deit-LT使用强增强生成的分布外图像,从低分辨率教师网络中提取知识,增强了模型对少数类的泛化能力。2...