可解释性终极追问，什么才是第一性解释？20篇CCF-A+ICLR论文给你答案

今日应用

磁力多

强大的磁力资源搜索网站，BT搜索，汇聚海量资源，一键获取高清影音、热门软件等。快速稳定，搜索精准，让你轻松找到所需内容，畅享无限资源。

今日话题

可解释性终极追问，什么才是第一性解释？20篇CCF-A+ICLR论文给你答案

 

重点标签 等效交互可解释性理论、神经网络泛化性、第一性原理、理论体系构建、数学证明

文章摘要

本文深入探讨了神经网络的可解释性，提出了等效交互可解释性理论体系，并在此基础上分析了神经网络在训练过程中的泛化性变化。文章首先回顾了该理论体系的基本概念，强调了寻找可解释性领域的“第一性原理”的重要性。作者指出，一个严谨的理论体系应当能够全方位地解释神经网络的内在机制。

文章的作者张俊鹏、任启涵、张拳石，通过构建等效交互理论，从语义解释、性能指标背后的可证明根因以及统一工程性深度学习算法三个角度解释了神经网络的内在机理。他们证明了神经网络的决策逻辑可以被少量符号化逻辑所覆盖，并建立了神经网络性能指标与交互概念之间的数学关系。

研究的核心发现是神经网络在训练过程中存在两阶段现象：第一阶段，网络消除中高阶交互，学习低阶交互；第二阶段，网络逐渐学习更高阶的交互，此时过拟合风险增加。文章通过理论推导和实验验证了这两阶段现象，并探讨了其与神经网络泛化能力变化的关系。

文章还讨论了两个常见的误解：一是神经网络的第一性表征是等效交互而非参数和结构；二是泛化性问题应被视为混合模型问题，而非高维空间中的向量问题。作者通过定义等效交互，并证明其满足无限拟合性、稀疏性和样本间迁移性等公理性准则，进一步支持了等效交互作为神经网络根本表征的观点。

最后，文章提出了对神经网络训练过程中交互变化的两阶段现象的理论证明，包括初始化神经网络的“纺锤形”交互分布、训练第二阶段的交互变化动态过程，以及训练第一阶段的交互变化动态过程。这些理论成果为深入理解神经网络的泛化性和可解释性提供了新的视角和方法。

文章来源

原文地址: 点我阅读全文
原文作者: 极市平台