AeroGTO:An Efficient Graph-Transformer Operator for Learning Large-Scale Aerodynamics of 3D Vehicle Geometries
相关信息
代码:AeroGTO
Abstract
从广泛和不同的几何形状中捕捉复杂的物理相关性,同时平衡大规模离散化和计算成本,仍然是一个重大挑战。AeroGTO结合了通过信息传递进行局部特征提取和通过projection-inspired attention
进行全局相关性捕获,采用频率增强的图神经网络(frequency-enhanced graph neural network
),并辅以k近邻(k-nearest neighbors
)来处理三维(3D)不规则几何体。
与五种先进型号相比,AeroGTO在两个标准基准Ahmed Body
和DrivAerNet
上进行了广泛测试,在表面压力预测方面(surface pressure prediction)提高了7.36%,阻力系数估计(drag coefficient estimation)提高了10.71%,FLOPs更少,仅使用了先前领先方法使用的参数的1%。
Introduction
对于传统的GNNs,增加图大小会引入两个主要问题:
(1)Complexity:随着nodes和消息传递迭代都线性增加,计算图的时间和内存复杂度不可避免地变为二次方;
(2)Oversmoothing:图卷积充当低通滤波器,抑制高频信号。因此,堆叠的 MPs 迭代地将信息投影到图的特征空间上,平滑高频信号,这使训练过程复杂化。
对于传统的Transformer
模型,数据点被投影到潜空间中,然后由注意块处理。然而,仅使用MLP
来学习汽车几何形状中大规模点云(point clouds)之间的复杂关系可能会导致重要拓扑信息的损失(losses of important topological information),这降低了它捕获复杂物理相关性的能力。
AeroGTO通过使用kNN来增强frequency-enhanced GNN
进行精确的局部特征提取,有效地隔离和捕获点和边的物理信息,并将该空间数据投影到拓扑结构化的隐藏空间中,从而增强可解释性。
此外,该模型集成了具有全局线性复杂度注意力的Transformer,它捕获网格点之间的长期依赖关系,并促进局部和全局复杂物理相关性之间的多级交互。这种设计有效地降低了复杂数据集的成本,实现了快速准确的推理。
Methodology
Problem Setting and Notations
Neural operators of PDEs 是从输入函数(如初始/边界条件、几何、系数和源场)到解的映射
设
对给定的k个汽车形状,输入
对参数化的算子
训练数据集的大小,
Model Architecture
Encoder
Encoder分为节点编码与边编码两部分,输入包含离散化网格
Edge-Focused Sampling
考虑由无方向的边
该方法特别合适当我们已知原始网格中的单元信息,可以很容易地提取边缘关系的情景。
Node-Focused Sampling
随机采样节点,选择总节点的比例
这种方法更适合原始网格非常复杂,使得从单元格信息中提取边缘关系变得棘手的情况。
Nodes
节点信息包含坐标
为了有效地捕捉坐标的空间和频率相关特征,我们采用了正弦位置编码(SPE):
最后再使用MLP
Edges
为了更好地表达几何拓扑结构,我们同样要对边进行编码。我们得到网格边
然后使用MLP
最后,我们可以得到汽车几何的潜在表示
、 和 使用两个线性层实现,并且具有相同的宽度 和SiLU激活函数。
Processor
AeroGTO基于projection-inspired attention,通过信息传递和全局相关性捕获来组合局部特征提取。
每个网格边
其中的MLP是使用GELU为激活函数的残差连接线性层
Global Attention via Projection-Inspired Attention
其中,
Pre-Norm Structure
我们采用pre-norm结构来促进整个处理器的更有效的计算:
在实践中,我们通过引入多头注意力来增强模型捕获不同头部的各种交互和依赖关系的能力,从而提高其表示数据中复杂关系的能力。此外,通过堆叠多个过程块,该模型利用了层的集体效应,从而在复杂的局部和全局物理相关性之间实现更有效的多级交互。
Decoder
Decoder将局部特征和全局特征表示投影回物理空间,
Inference
在推理过程中,需要考虑不同的采样方法。对于Edge-Focused
采样方法,节点的数量在pipeline中保持不变(即 Node-Focused
,基于采样率