反转了？在一场新较量中，号称替代MLP的KAN只赢一局

今日应用

吐司-文生动态图

可在线生图的 AI 模型分享社区，还是免费的！

今日话题

反转了？在一场新较量中，号称替代MLP的KAN只赢一局

 

重点标签 多层感知器、Kolmogorov-Arnold Networks、深度学习、神经网络、机器学习

文章摘要

新加坡国立大学的研究者对多层感知器（MLP）和Kolmogorov-Arnold Networks（KAN）进行了全面的比较。研究发现，在控制参数或浮点运算（FLOP）的情况下，KAN在符号公式表示任务中优于MLP，但在其他任务如机器学习、计算机视觉、自然语言处理和音频处理中，MLP通常优于KAN。KAN的优势在于其使用的B-样条激活函数，而MLP在替换为B-样条激活函数后性能得到提升，甚至在某些情况下超过了KAN。此外，KAN在连续学习任务中的表现并不比MLP好，且在固定训练迭代条件下，KAN的遗忘问题比MLP更严重。研究还详细分析了KAN和MLP的参数数量和FLOP，并在多个领域进行了实验，以确保比较的公平性。

摘要：
多层感知器（MLP）作为深度学习的基本组成部分，在机器学习中具有重要地位。然而，MLP存在局限性，如难以解释的表示和扩展性问题。Kolmogorov-Arnold Networks（KAN）作为MLP的替代方案，提供了更高的准确性和可解释性。为了探究KAN的潜力，新加坡国立大学的研究者在公平的设置下对KAN和MLP进行了全面比较。

研究结果显示，在控制参数或FLOP的情况下，KAN在符号公式表示任务中优于MLP，但在其他任务中通常不如MLP。KAN的优势来源于其使用的B-样条激活函数。当MLP使用B-样条激活函数后，其性能得到提升，甚至在某些情况下超过了KAN。然而，B-样条无法进一步提高MLP在其他任务上的性能。

在连续学习任务中，KAN的表现并不比MLP好。在固定的训练迭代条件下，KAN的遗忘问题比MLP更严重。此外，KAN和MLP的主要区别在于激活函数和线性与非线性运算的顺序。研究者通过比较KAN和MLP在不同任务上的表现，发现两者之间的差异主要是激活函数。

为了确保公平比较，研究者推导出了计算KAN和MLP参数数量和FLOP的公式，并在实验中控制相同数量的参数或FLOP来比较两者的性能。实验涵盖了机器学习、计算机视觉、自然语言处理、音频处理和符号公式表示等多个领域。

在机器学习数据集上，MLP在多数情况下保持优势。在计算机视觉数据集中，KAN的性能始终不如具有相同参数数量或FLOP的MLP。在音频和文本任务中，MLP仍然是更好的选择。然而，在符号公式表示任务中，KAN的表现优于MLP。

通过这项研究，我们可以看到KAN和MLP各有优势，选择哪一种取决于具体的任务需求。研究者的建议是，在符号公式表示任务中优先考虑KAN，而在其他任务中，MLP可能是更合适的选择。

文章来源

原文地址: 点我阅读全文
原文作者: 机器之心