今日应用
今日话题
Bi-MTDP：通过二值网络加速多任务密集预测，又快又提点｜CVPR 2024
重点标签 二值化多任务密集预测器、深度信息瓶颈层、知识蒸馏机制、二值神经网络、多任务学习
文章摘要
本文介绍了一种名为Bi-MTDP（Binary Multitask Dense Predictor）的二值化多任务密集预测器，旨在通过二值神经网络（BNNs）显著加速多任务密集预测模型，同时保持甚至提高模型性能。论文首先分析了多任务学习在计算机视觉领域处理密集预测任务的趋势，指出现有最先进模型的高计算需求限制了其在资源受限环境中的应用。为了解决这一问题，作者提出了Bi-MTDP，通过引入深度信息瓶颈层和知识蒸馏机制，优化了二值化操作对信息流的影响。
二值化多任务密集预测器（Bi-MTDP）
Bi-MTDP的核心思想是通过二值化模块构建多任务密集预测器，以解决传统二值化操作导致信息流降级的问题。论文提出了两个关键机制来优化Bi-MTDP：
1. 深度信息瓶颈层：在正向传播中实施变分信息瓶颈机制，使嵌入遵循具有稀疏性质的高斯分布，以过滤掉与任务无关的因素。
2. 知识蒸馏机制：在反向传播中利用现有全精度模型通过基于特征的知识蒸馏来校准二值网络梯度。
二值神经网络（BNNs）的优势
二值化作为一种量化形式，可以显著降低模型的存储成本和提高推断速度。理论上，二值化可以将存储成本降低32倍，并将推断速度提高64倍，使得BNNs适用于边缘设备。
多任务密集预测模型的挑战
尽管BNNs在图像分类方面取得了显著成果，但其应用主要局限于小规模模型，难以扩展到更大规模的计算密集型计算机视觉任务。此外，现有多任务密集预测模型通常需要深层复杂模型并配备多模态融合结构，加剧了有效实施二值化所面临的挑战。
实验结果
论文通过实验验证了Bi-MTDP的性能，结果表明，通过二值化和多任务密集预测框架的结合，Bi-MTDP能够有效地补充信息，提高各个二值模型的性能。此外，Bi-MTDP的变体Bi-MTDP-C（仅二值化多模态蒸馏的全精度骨干模型）在某些情况下甚至优于其全精度版本，表明Bi-MTDP不仅是模型性能和效率之间的权衡，而是提升多任务密集预测器的有力工具。
结论
Bi-MTDP通过引入深度信息瓶颈层和知识蒸馏机制，成功地解决了二值化操作在多任务密集预测任务中的信息流降级问题，为边缘设备上的计算机视觉应用提供了一种高效的解决方案。
文章来源
原文地址: 点我阅读全文
原文作者: 极市平台
相关文章
