偏微分方程有了基础模型：样本需求数量级减少，14项任务表现最佳

今日应用

TheFuture书籍搜索

TheFuture书籍搜索是为读书爱好者们打造的电子书搜索引擎，只需输入书名即可快速找到想看的书籍，让获取书籍变得简单快捷！让知识触手可及

今日话题

偏微分方程有了基础模型：样本需求数量级减少，14项任务表现最佳

 

重点标签 Poseidon、机器学习、偏微分方程、数据驱动、模型架构

文章摘要

Poseidon是一种由苏黎世联邦理工学院等机构的研究者提出的用于学习偏微分方程（PDEs）的基础模型。该模型基于多尺度Operator Transformer，能够实现连续时间评估，并通过大规模数据集预训练，展现出在样本效率和准确率方面的优异性能。Poseidon模型在15项具有挑战性的下游任务上进行了评估，包括线性和非线性、时间相关以及不同类型PDE，结果表明其性能远超基线，并且能够很好地泛化到预训练期间未见过的物理学问题。

Poseidon模型的架构包括可扩展的Operator Transformer或scOT，这是一种具有前置时间条件的分层多尺度视觉Transformer，适用于算子学习。模型通过SwinV2 transformer块处理patch嵌入的输出，并采用U-Net类型的编码器-解码器架构，通过patch合并和扩展操作完成多尺度处理。实验结果显示，Poseidon在15个下游任务中表现良好，明显优于Fourier Neural Operator (FNO)。例如，Poseidon-L模型平均只需20个样本即可达到FNO 1024个样本的误差水平，且在13个任务中所需的样本比FNO少一个数量级。此外，Poseidon在相同样本数量下的错误明显低于FNO，增益范围从10%到25倍不等。

Poseidon模型及其底层预训练和下游数据集均为开源，为PDE基础模型的可行性提供了有力证据，并为进一步开发和部署Poseidon作为高效的通用PDE基础模型铺平了道路。研究者还提供了包含6个算子的预训练数据集，并在15个具有挑战性的下游任务上进行了实验，考虑了三种不同规模的Poseidon模型：Poseidon-T（约21M参数）、Poseidon-B（约158M参数）和Poseidon-L（约629M参数）。这些实验结果进一步证明了Poseidon模型的泛化能力和性能优势。

文章来源

原文地址: 点我阅读全文
原文作者: 机器之心