今日应用
今日话题
ECCV 2024｜1p-frac：已开源，仅用单张分形图片即可媲美ImageNet的预训练效果
重点标签 合成图像、分形几何、预训练、迁移学习、ImageNet-1k
文章摘要
本文探讨了使用最小的合成数据集进行预训练的可能性，特别是通过单一分形图像生成的扰动构建数据集，并研究其与大规模真实图像数据集（如ImageNet-1k）相当的性能。文章首先介绍了分形几何的基本原理，指出分形是通过递归迭代生成的，可以用于构建合成图像。接着，论文提出了一个关键问题：是否真的需要大规模真实世界图像数据集进行预训练。通过实验，论文发现即使使用非常有限的合成图像，预训练仍然有效，且性能与使用大规模数据集相当。
论文的主要贡献包括三个发现：
1. 预训练的有效性：证明了即使只有非常有限的合成图像，预训练也能取得与大规模数据集相似的效果。
2. 人工类别构建：研究了构建数据集中单个参数的方式，发现即使形状差异微小，这些差异对于获得强大性能至关重要。
3. 预训练的最小要求：发现将合成图像数量从1k大幅减少到1个，甚至可能提升预训练性能，这激发了对“逆向缩放”的进一步探索。
此外，论文还探讨了使用灰度图像和仿射变换对真实图像进行增强，发现这些方法也能实现有效的预训练效果。最后，论文提出了一个名为1p-frac的最小化合成数据集，仅包含单一分形图像，并展示了如何利用局部扰动交叉熵（LPCE）损失进行预训练。实验结果表明，即使只有一个分形图像，也能进行有效的预训练，并且预训练效果可与百万级标记图像数据集相媲美。
这项研究挑战了传统的预训练方法，提出了一种新的视角，即通过最小化合成数据集进行有效的预训练，这可能对计算机视觉领域产生重要影响。
文章来源
原文地址: 点我阅读全文
原文作者: 极市平台
© 版权声明
文章版权归作者所有，未经允许请勿转载。
相关文章
暂无评论...
晒应用是一个专注于软件和资源网站分享的导航类网站。我们致力于为用户提供最新、最热门的应用推荐和AI资源，涵盖各种AI绘画、AI制图、AI工具、AI剪辑、AI文本、AI创作、实用工具、免费软件、在线服务和在线影视导航。无论您是寻找最佳的数字工具还是想要了解最新的黑科技应用，晒应用都能满足您的需求。