基于改进残差网络的大地电磁反演研究

图1 卷积神经网络^[13]

Fig.1 Sructure diagram of convolutional neural network^[13]

对于卷积神经网络而言,网络越深准确率越高,然而过深的网络不仅容易出现梯度消失和梯度爆炸的问题,还会出现“退化现象”,即当网络达到一定的深度后继续增加层数,模型的准确率却会下降。于是He等学者提出了残差网络^[14]。残差网络不仅可以有效地解决神经网络中梯度爆炸和梯度消失的问题,还通过引入“快捷连接”来解决 “退化现象”。“快捷连接”能将输入 $x$ 添加到经过两个权重层之后的输出中,如图2所示,因此输出 $H (x)$ 等于输入的映射 $F (x)$ 加上输入 $x$ ,该模型即为残差模块。

图2

图2 残差网络的一般结构

Fig.2 General structure of ResNet

残差网络采用的不是直接学习堆叠网络的潜在映射 $H (x)$ ,而是增加一个恒等映射来拟合残差映射 $F (x) = H (x) - x$ , $F (x)$ 包含2个权值层和1个ReLU(linear rectification function),易于优化。具体在构造ResNet时, $F (x)$ 可以根据实际要求采用不同的残差块。如图3展示的两种典型的残差结构,基于基本块(residual block)和基于瓶颈块(bottleneck block),用于构建基于深度卷积网络的ResNet。其中,n、i分别表示经过1×1或2×2卷积后的特征图数量,也就是通道数量。图3a与图3b的不同在于后者具有3个卷积层,当输入与输出的维度不相同时需要用图3b来调整维度。

图3

图3 两种典型的残差结构

Fig.3 Two typical residual structures

1.2 反演原理

目前,CNN 的主要应用集中在图像识别、目标检测等领域^[15],处理的目标通常是图像。在地球物理领域,利用CNN实现大地电磁二维反演时,以二维视电阻率作为输入数据,二维地电模型参数作为网络的输出,核心思想是用卷积神经网络建立从输入(视电阻率)到输出(地电模型)之间的映射关系,即通过求解以下优化问题来实现。

用数学公式可以这样描述这个过程:给定一组视电阻率数据 $d$ 和地电模型 $m$ ,通过损失函数L去调整参数 $θ$ ,最终获得参数化模型Net $(d, θ)$ 。神经网络参数更新表达式为^[16]

(1)

\overset{︿}{θ} = a r g m i n_{θ} L (m, N e t (d, θ))

式中: $θ$ 表示网络中需要更新的权重和偏差;Net(·)卷积神经网络表示从视电阻率数据 $d$ 到预测地电模型 $m^{p r e d}$ 之间的映射;L是MSE损失函数。上式的意义在于优化 $θ$ ,使得预测地电模型 $m^{p r e d}$ 和真实地电模型 $m$ 之间的误差最小。

1.3 目标函数设置

本文的目标函数设置为

(2)

L' = a \cdot \frac{1}{n} \overset{n}{\sum_{i = 1}} {(m_{i} - \overset{︿}{m_{i}})}^{2} + b \cdot \frac{λ}{2 n} \overset{n}{\sum_{i = 0}} {W_{i}}^{2}

式中: $n$ 为反演参数个数;系数 $a$ 、 $b$ 可以用于平衡模型约束和网络权重约束之间的关系; $m_{i}$ 为归一化后测试模型电阻率参数理论值; $\overset{︿}{m_{i}}$ 为归一化反演电阻率。

如式(2)所示,本文目标函数由两部分组成:损失函数和正则化项,其中,损失函数用来均衡模型的预测结果与真实值之间的误差;正则化项用来避免模型过拟合。具体来说,损失函数为理论模型与反演结果的均方误差,对应目标函数第一项;正则化项为网络权重约束项,对应目标函数第二项。如此设置,能使神经网络不仅拥有一定的学习能力,还能增强其泛化能力。

2 基于iResNet的大地电磁反演

2.1 反演流程

反演是由观测数据反推模型参数的映射,具体实现过程如图4所示,主要包括4个步骤:构建数据集、搭建网络、训练网络与数据反演。

图4

图4 反演过程

Fig.4 Inversion process

1)利用有限单元法计算不同地电模型的视电阻率,将视电阻率和模型对组成数据集,并按一定的比例分为训练集和验证集。

2)设计iResNet超参数建立网络模型,超参数主要包括:网络模型结构、卷积层、残差模块的窗口和步长等。

3)分别利用训练集和验证集对网络进行训练和测试,不断优化网络参数。

4)将未“学习”过的视电阻率数据输入到已训练好的iResNet网络,输出对应的地电模型,实现反演。

2.2 残差网络结构

通过图3所示的残差结构,本文借鉴经典的残差网络ResNet18,改进得到一种新的反演网络iResNet。该网络主要由4个残差块和2个全连接层组成,其中每个残差块由4个卷积核和2个快捷连接组成,在Block2、3、4中由于输入和输出的数据维度不同,因而第一个快捷连接的方式存在差异。网络具体参数如图5所示^[9]。

图5

图5 iResNet网络结构^[9]

Fig.5 iResNet network structure^[9]

3 模型试验与结果分析

3.1 数据集设置

在二维大地电磁TM极化模式下,设计了5×5(500 m×500 m)、6×6(600 m×600 m)、8×4(800 m×400 m)、4×8(400 m×800 m)、5×10(500 m×1 000 m)、10×5(1 000 m×500 m)共7个形状规则且单一的模型,以及由3个4×8堆叠的不规则梯形,并针对每种模型均设置4个阻值:高阻3 000、2 500 Ω·m,低阻500、200 Ω·m,部分模型如图6所示。

图6

图6 模型示意

Fig.6 Schematic diagram of models

在正演过程中,有限单元法目标区域网格规模设置为32×57,网格间距为100 m。考虑到计算量的问题,异常体和围岩的电阻率值不变,只通过改变异常体位置获得用于网络训练和反演测试的二维数据,其中异常体移动位置遍布整个网格,每次移动间距为200 m,共生成8 987组数据构成数据集。计算时,选择53个测点,并记录27个频点的视电阻率。将采集范围内所有测点和频点电阻率作为网络输入,则输入为27×53的二维数据矩阵;将地电模型参数作为网络输出,则输出层神经元个数为32×57。

3.2 数据预处理

对上文中获得的数据集进行归一化处理。数据的归一化操作可有效提升网络训练效率,避免梯度爆炸的产生。采用线性函数归一化方法实现样本数据的归一化,将数据归一化到[0,1],其表达公式为

(3)

x_{i}^{*} = \frac{x_{i} - x_{m i n}}{x_{m a x} - x_{m i n}}

式中: $x_{i}$ 、 $x_{i}^{*}$ 分别表示归一化前后的数据; $x_{m i n}$ 、 $x_{m a x}$ 分别表示样本数据中的最小、最大值。经过上述处理后的感应电动势数据与其对应的地电模型存于Excel表格中,并转换为CSV文件,便于读取后输入网络进行训练。

3.3 验证集反演结果

在TM模式下,对上文3.1节中的模型进行反演测试。通常,训练集用于训练网络的权重与偏差,而验证集用于验证训练后网络的准确性。在本文中,对于iResNet网络,一共有8 987组数据样本,随机抽取90%(8 088组)作为训练集,剩下10%(899组)作为验证集。表1为训练网络时的参数设置。

表1 iResNet网络参数设置

Table 1 iResNetFc network parameter settings

分类	参数设置
数据集	训练集	8088
数据集	测试集	899
网络设置	学习率	$η = 0.001$
	激活函数	ReLU
	优化器	Adam
	L2正则化	$λ$ =0.003
	Dropout	0.5
训练过程	Epochs	2000
训练过程	Batch size	500

新窗口打开| 下载CSV

通过调整参数进行迭代训练。图7给出了随机抽取的几组反演结果,可以看出:iResNet网络反演精度较高,能准确反演出模型的具体位置、形状以及电阻率值,且反演精度受探测深度影响较小,具有较好的纵向分辨率。

图7

图7 部分验证集样本的反演结果

Fig.7 Inversion results of part of the validation set samples

3.4 与CNN反演结果对比

图8为廖晓龙等^[11]用CNN网络得到的反演结果,其中用于反演的低阻异常体电阻率为100 Ω·m,形状为5×5(1 km×1 km),背景电阻率为1 000 Ω·m;地堑模型凹陷部分电阻率为100 Ω·m,长度为6格(1.2 km),宽度为11格(2.1 km);基底电阻率为1 000 Ω·m。在保持背景电阻率、异常体形状及电阻率均与上述参数相同的情况下,本文使用iResNet网络的反演结果如图9所示。对比来看,CNN网络得到的反演模型随着所处位置的加深,其形状逐渐模糊且边缘电阻率值与真实值相差较大,而本文使用的iResNet网络得到的反演模型其形状以及电阻率值不会受到深度的影响,在反演准确性、探测深度和纵向分辨率方面均优于CNN网络。

图8

图8 CNN的反演结果^[11]

Fig.8 Inversion results of CNN

图9

图9 iResNet的反演结果

Fig.9 Inversion results of iResNet

3.5 泛化能力测试

由于训练集和验证集中的模型形状和电阻率值都是已“学习”过的,所以验证集的反演结果只能用来评估网络的质量,而不能评估网络的泛化能力。因此本文设计了多个未“学习”过的模型来评估iResNet网络的泛化能力。

3.5.1 实验一

采用“学习”过的电阻率参数(3 000、2 500、500、200 Ω·m)搭配未“学习”过的形状(6×12、7×7、4个4×8堆叠的不规则梯形)构成测试集来进行评估。随机抽取几组反演结果,根据图10a~d中单一规则模型的反演结果来看,反演得到的模型其位置与真实模型基本一致,模型四周少量单元格的电阻率值与实际值存在差异,但均可较好地确定模型的整体形状;图10e~f中,4个4×8堆叠的不规则梯形反演结果的位置及形状几乎与真实模型一致,少许单元格的电阻率值略低于实际值。

图10

图10 实验一的反演结果

Fig.10 Inversion results of experiment one

3.5.2 实验二

采用“学习”过的形状(6×6、4×8、3个4×8堆叠的不规则梯形)搭配未“学习”过的电阻率参数(2 800、2 300、700 Ω·m)构成测试集来进行评估。

图11为随机抽取的几组反演结果,可见反演得到的模型位置、形状以及电阻率值均与真实模型基本一致。

图11

图11 实验二的反演结果

Fig.11 Inversion results of experiment two

3.5.3 实验三

为了进一步评估本方法的泛化能力,实验三采用未“学习”过的形状(7×7、4个4×8堆叠的不规则梯形)搭配未“学习”过的电阻率参数(2 300、700 Ω·m)构成测试集来进行评估。反演结果(图12)表明, 反演得到的模型位置以及形状与真实模型一致,电阻率数值与真实值接近,仅少许单元格的电阻率值低于实际值。由此说明本文iResNet网络可以用来解决大地电磁反演问题,并且具有较好的泛化能力。

图12

图12 实验三的反演结果

Fig.12 Inversion results of experiment three

3.6 抗噪能力测试

在真实环境中,大地电磁通常受噪声等因素的影响,因此将高斯白噪声添加到视电阻率数据中,以分析网络的抗噪能力。抗噪能力实验采用前文3.1节中的7种模型,正演时在视电阻率数据中分别加入3%和5%的高斯白噪声(图13),构成数据集用以训练网络,并用实验一中设计的未“学习”过的模型来评估网络的抗噪能力。

图13

图13 加入高斯白噪声后的视电阻率

Fig.13 Apparent resistivity after adding white Gaussian noise

由图14、图15可以看出,无论是加入3%还是5%的高斯白噪声,反演结果受噪声的影响均较小,反演得到的模型形状、位置都接近于真实模型,仅模型边缘较少单元格的电阻率值略低于实际值,说明本文所提网络具有较好的抗噪声能力。

图14

图14 加入3%高斯白噪声后的反演结果

Fig.14 Inversion results after adding 3% Gaussian white noise

图15

图15 加入5%高斯白噪声后的反演结果

Fig.15 Inversion results after adding 5% Gaussian white noise

4 实例

以非洲南部实测大地电磁数据^[12]为例,探讨验证iResNet网络的可行性与反演结果的可靠性。图16所示为非洲南部的刚果克拉通(Congo craton)和达马拉—杭济—乔贝带(Damara—Ghanzi—Chobe Belt)的详细地质图。前人认为在ETO007~ETO009间可能存在达马拉造山带与刚果克拉通南部间的分界线。本文重点研究ETO009及之后的6个测点,即ETO009~ETO014^[17]。这6个测点分布于Damara Northern Zone、Damara Northern Margin Zone、Northern Damara basement_Kamanjab Inlier3块区域,前人将这3块区域统称为南部刚果克拉通(Southern Congo craton)的Northern zone^[18]。

图16

图16 非洲南部部分区域详细地质图^[19]

Fig.16 Detailed geological map of parts of southern Africa^[19]

本文选择以下27个频点进行研究:0.0092、0.0134、0.0183、0.0269、0.037、0.054、0.073、0.107、0.146、0.215、0.293、0.43、0.59、0.86、1.17、1.72、2.34、3.4、4.7、6.9、9.4、13.7、18.8、27.5、40、66、97 Hz。从图17中的视电阻率数值可以看出,研究区域多为高阻。

图17

图17 Northern zone的视电阻率

Fig.17 Apparent resistivity map of Northern zone

图18为iResNet网络对Northern zone的反演结果,可以看出:该区域整体电阻率值较高,大约为10⁴ Ω·m,红色弧线以上的区域电阻率值较低,约为10³ Ω·m,红色弧线以下区域电阻率值高达10^4.5 Ω·m。现有研究结果表明,Kamanjab Inlier上层为元古代沉积物覆盖层,内层主要为花岗岩和片麻岩,因此呈现出上层电阻率值低,内层电阻率值高(超过10⁴ Ω·m)的结果,且在ETO011和ETO012站点之间可以追踪到内层的表面边界^[20]。整体而言,本文反演结果与现有研究结果基本一致:iResNet网络可以大体反映出地下物性的分布范围与趋势,并划分电阻率值的变化边界。

图18

图18 iResNet对Northern zone反演结果

Fig.18 iResNet inversion results for Northern zone

为验证反演结果的准确性,引用Khoza等^[18]采用非线性共轭梯度法对非洲南部的KIM+ETO测线进行反演的结果,图19中红色方框即为本文重点研究的区域。通过对比图18与图19,不难看出iResNet反演结果与正则化反演结果相似,但对于电阻率值极低的地质构造,iResNet则无法反演出非常准确的结果。相较于前人使用残差网络对非洲南部大尺度实测数据进行反演的结果^[12]而言,本文所使用的iResNet在小尺度上拥有更加精细的反演结果,该反演结果也更加接近正则化反演结果。总体来说,本文方法可以有效用于大地电磁重建地下电阻率结构。

图19

图19 KIM+ETO测线正则化反演结果^[18]

Fig.19 KIM+ETO line regularization inversion results^[18]

5 结论

本文提出一种基于改进残差网络iResNet的大地电磁反演方法。实验结果表明,该方法可以快速准确反演出地电模型的位置、形状和电阻率值,具有较好的泛化能力和抗噪声能力,在实际资料处理中具有一定的实用性,能用于大地电磁二维反演问题。但该方法也存在一定的局限性,例如本文的目标函数中重点约束的是模型形状,由此导致网络会牺牲模型电阻率值的恢复以保证模型形状的恢复,因此在今后的工作中,可以进一步修改目标函数使其能对模型的电阻率值进行约束,从而提高反演的精度。如今,残差网络应用较为广泛,但面对更加复杂的三维反演工作,如何进行网络结构的优化和数据的选取也值得进一步深入研究。

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

童孝忠.

大地电磁测深有限单元法正演与混合遗传算法正则化反演研究[D]. 长沙: 中南大学, 2008.

Tong

X Z

Research of forward using finite element method and regularized inversion using hybrid genetic algorithm in magnetotelluric sounding[D]. Changsha: Central South University, 2008.

[2]

姜奋勇, 叶益信, 陈海文,

等.

基于非结构网格的带地形MT二维Occam反演及应用

[J]. 物探与化探, 2022, 46(2):482-489.

Jiang

F Y

, Ye

Y X

, Chen

H W

et al.

Application of 2D inversion of magnetotelluric data bearing terrain information based on an unstructured mesh

[J]. Geophysical and Geochemical Exploration, 2022, 46(2):482-489.

[3]

谭捍东.

大地电磁法三维快速松弛反演

[J]. 地球物理学报, 2003, 46(6):850-854.

Tan

H D

Three-dimensional rapid relaxation inversion fir the magnetotelluric method

[J]. Chinese Journal of Geophysics, 2003, 46(6):850-854,

[4]

阮帅, 汤吉, 陈小斌,

等.

三维大地电磁自适应L1范数正则化反演

[J]. 地球物理学报, 2020, 63(10):3896-3911.

DOI:10.6038/cjg2020N0453 [本文引用: 1]

常规三维大地电磁反演的正则项为L2范数，它以电阻率空间分布函数处处光滑为模型期望，弱化了算法对电性突变界面的分辨能力.本文实现了正则项为L1范数的三维大地电磁反演算法，让模型空间梯度向量更有机会取得稀疏解，在充分正则的迭代下能够有效突出模型真实电性界面.为避免L1范数零点不可导带来的求解困难，使用迭代重加权最小二乘法把原问题转换为一系列L2正则子问题迭代求解.每个子问题的极小方法使用改进型拟牛顿法，其下降方向既能保证正则项海塞矩阵的精确性，又能允许反演过程随迭代灵活更新正则因子.使用比值法或分段衰减法自适应更新正则因子以避免迭代早期陷入奇异解，从而提升反演收敛的稳定性并降低初始模型依赖度.合成的无噪数据反演表明L1正则算法的模型恢复效果优于L2正则；不同噪声水平的合成数据反演表明本文的算法具有稳健性；实测数据反演对比表明在合理的正则因子调整策略下，L1正则反演结果的模型分辨率优于L2正则.另外，不同初始模型的反演测试还表明，正则因子选取不合理时L1正则可能造成方块状假异常.

Ruan

, Tang

, Chen

X B

et al.

Three-dimensional magnetotelluric inversion based on adaptive L1-norm regularization

[J]. Chinese Journal of Geophysics, 2020, 63(10):3896-3911.

[5]

熊杰, 孟小红, 刘彩云,

等.

基于差分进化的大地电磁反演

[J]. 物探与化探, 2012, 36(3):448-451.

Xiong

, Meng

X H

, Liu

C Y

et al.

Magnetotelluric inversion based on differential evolution

[J]. Geophysical and Geochemical Exploration, 2012, 36(3):448-451.

[6]

Liu

, Hu

, Liu

et al.

Ant colony optimization inversion of surface and borehole magnetic data under lithological constraints

[J]. Journal of Applied Geophysics, 2015, 112(1):115-128.

DOI:10.1016/j.jappgeo.2014.11.010 URL [本文引用: 1]

[7]

Conway

, Alexander

, King

et al.

Inverting magnetotelluric responses in a three-dimensional earth using fast forward approximations based on artificial neural networks

[J]. Computers & Geosciences, 2019, 127(6):44-52.

DOI:10.1016/j.cageo.2019.03.002 URL [本文引用: 1]

[8]

Noh

, Yoon

, Byun

Imaging subsurface resistivity structure from airborne electromagnetic induction data using deep neural network

[J]. Exploration Geophysics, 2020, 51(2):214-220.

DOI:10.1080/08123985.2019.1668240 URL [本文引用: 1]

[9]

Liu

, Chen

, Ren

et al.

Deep learning audio magnetotellurics inversion using residual-based deep convolution neural network

[J]. Journal of Applied Geophysics, 2021, 188(6433):104309.

DOI:10.1016/j.jappgeo.2021.104309 URL [本文引用: 4]

[10]

Wang

, Liu

, Xi

Z Z

Nonlinear inversion for magnetotelluric sounding based on deep belief network

[J]. Journal of Central South University, 2019, 26(9):2482-2494.

DOI:10.1007/s11771-019-4188-2 [本文引用: 1]

To improve magnetotelluric (MT) nonlinear inversion accuracy and stabilitythis work introduces the deep belief network (DBN) algorithm. Firstlya network frame is set up for training in different 2D MT models. The network inputs are the apparent resistivities of known modelsand the outputs are the model parameters. The optimal network structure is achieved by determining the numbers of hidden layers and network nodes. Secondlythe learning process of the DBN is implemented to obtain the optimal solution of network connection weights for known geoelectric models. Finallythe trained DBN is verified through inversion testsin which the network inputs are the apparent resistivities of unknown modelsand the outputs are the corresponding model parameters. The experiment results show that the DBN can make full use of the global searching capability of the restricted Boltzmann machine (RBM) unsupervised learning and the local optimization of the back propagation (BP) neural network supervised learning. Comparing to the traditional neural network inversionthe calculation accuracy and stability of the DBN for MT data inversion are improved significantly. And the tests on synthetic data reveal that this method can be applied to MT data inversion and achieve good results compared with the least-square regularization inversion.

[11]

廖晓龙, 张志厚, 姚禹,

等.

基于卷积神经网络的大地电磁反演

[J]. 中南大学学报:自然科学版, 2020, 51(9):2546-2557.

Liao

X L

, Zhang

Z H

, Yao

et al.

Magnetotelluric inversion based on convolutional neural network

[J]. Journal of Central South University:Science and Technology, 2020, 51(9):2546-2557.

[12]

范振宇.

基于卷积神经网络的大地电磁深度学习反演研究[D]. 北京: 中国地质大学(北京), 2020.

Fan

Z Y

Magnetotelluric deep learning inversion based on convolutional neural network[D]. Beijing: China University of Geosciences(Beijing), 2020.

[13]

刘倩.

基于深度学习的重力异常反演[D]. 荆州: 长江大学, 2021.

[本文引用: 2]

Liu

Inversion of gravity anomaly based on deep learning[D]. Jingzhou: Yangtze University, 2021.

[本文引用: 2]

[14]

, Zhang

, Ren

et al.

Deep residual learning for image recognition

[C]// Proceedings of the IEEE conference on computer vision and pattern recognition. 2016:770-778.

[15]

Zhang

X Y

, Zou

J H

, He

K M

et al.

Accelerating very deep convolutional networks for classification and detection

[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 38(10):1943-1955

DOI:10.1109/TPAMI.2015.2502579 PMID:26599615 [本文引用: 1]

This paper aims to accelerate the test-time computation of convolutional neural networks (CNNs), especially very deep CNNs [1] that have substantially impacted the computer vision community. Unlike previous methods that are designed for approximating linear filters or linear responses, our method takes the nonlinear units into account. We develop an effective solution to the resulting nonlinear optimization problem without the need of stochastic gradient descent (SGD). More importantly, while previous methods mainly focus on optimizing one or two layers, our nonlinear method enables an asymmetric reconstruction that reduces the rapidly accumulated error when multiple (e.g., ≥ 10) layers are approximated. For the widely used very deep VGG-16 model [1], our method achieves a whole-model speedup of 4 × with merely a 0.3 percent increase of top-5 error in ImageNet classification. Our 4 × accelerated VGG-16 model also shows a graceful accuracy degradation for object detection when plugged into the Fast R-CNN detector [2].

[16]

王蓉, 熊杰, 刘倩,

等.

基于深度神经网络的重力异常反演

[J]. 物探与化探, 2022, 46(2) :451-458.

Wang

, Xiong

, Liu

et al.

Inversion of gravity anomalies based on a deep neural network

[J]. Geophysical and Geochemical Exploration, 2022, 46(2):451-458.