标签:多模态数据

多模态大模型不够灵活,谷歌DeepMind创新架构Zipper:分开训练再「压缩」

Zipper架构通过两个自回归解码器tower的结合,实现了多模态生成能力。每个tower使用下一个token预测功能分别对单个模态进行训练,并在交叉注意力层中实现模态...