KAN干翻MLP，开创神经网络新范式！一个数十年前数学定理，竟被MIT华人学者复活了

今日应用

万彩AI

万彩AI是一款强大的AI内容创作工具合集，除了提供AI智能写作支持之外，还集成了AI换脸、照片数字人制作和AI短视频制作等强大的AI生成内容功能，进一步扩展了AI的创作领域，使您的创作具有无限可能

今日话题

KAN干翻MLP，开创神经网络新范式！一个数十年前数学定理，竟被MIT华人学者复活了

 

重点标签 神经网络、机器学习、AI、科学发现、数学定理

文章摘要

极市导读：KAN的诞生标志着机器学习领域的新纪元，这一创新由MIT华人科学家Ziming Liu及其团队提出。与多层感知器（MLP）相比，KAN架构在神经网络的透明性和功能上实现了显著提升，为科学研究提供了新的视角和工具。

神经网络的革新：神经网络作为AI领域的核心工具，在处理大数据集时展现出无与伦比的能力。然而，MLP作为神经网络的基本组件，其“黑盒”特性限制了人们对其内部运作原理的理解。为了解决这一问题，研究人员一直在探索更透明且可靠的神经网络架构。2024年4月，MIT、加州理工等机构的研究人员提出了Kolmogorov-Arnold network（KAN），这一新架构不仅透明，而且在处理特定问题时几乎可以替代普通神经网络。

KAN的起源与优势：KAN的构想源于上世纪中期的数学思想，由数学家Andrey Kolmogorov和Vladimir Arnold提出。这一数学原理在深度学习时代被华人科学家Ziming Liu及其团队重新发现并应用于神经网络。KAN通过使用函数而非数值权重的边进行函数拟合，展现了更高的灵活性和敏感性。与MLP相比，KAN在表示某些函数时能够达到完美，而MLP则存在局限性。

MIT华人科学家的探索：Ziming Liu在MIT物理学研究生期间，决定重新探讨KAN的可能性。尽管面临导师和前人研究的质疑，Liu坚持探索并最终发现了KAN在科学应用中的潜力。在导师Max Tegmark的建议下，Liu尝试了多层KAN架构，成功处理了更复杂的任务。他们的研究团队进一步证明了三层KAN的可行性，并在六层KAN上进行了实验，每一层都能与更复杂的输出函数实现对准。

KAN在科学领域的应用：KAN在数学的纽结理论和凝聚态物理中的Anderson局域化现象中得到了验证。与MLP相比，KAN不仅提供了答案，还提供了解释，展现了其在科学领域中的巨大应用潜力。此外，KAN的可解释性使其在科学研究中具有独特的优势，能够揭示数据背后的物理原理。

KAN的未来发展：KAN的论文发表后，在AI领域引起了广泛关注。研究人员开始探索自己的KAN架构，并在求解偏微分方程等方面取得了显著成果。同时，KAN团队也在不断迭代和优化KAN架构，发布了“KAN 2.0”版本，旨在使其更加实用和易于使用。KAN的诞生不仅推动了“好奇心驱动的科学”的发展，也为研究人员提供了一种全新的科学研究方法。

文章来源

原文地址: 点我阅读全文
原文作者: 极市平台