基于在线惯序极限学习机的瞬变电磁非线性反演

doi:10.11720/wtyht.2021.1514

基于在线惯序极限学习机的瞬变电磁非线性反演

李瑞友^,, 张淮清^,, 吴昭

重庆大学输配电装备及系统安全与新技术国家重点实验室,重庆 400044

Online sequential extreme learning machine for transient electromagnetic nonlinear inversion

LI Rui-You^,, ZHANG Huai-Qing^,, WU Zhao

State Key Laboratory of Power Transmission Equipment & System Security and New Technology, Chongqing University, Chongqing 400044, China

通讯作者: 张淮清(1979-), 男,博士,教授,主要从事电信号处理、电磁场计算、人工智能研究工作。Email:zhanghuaiqing@cqu.edu.cn

责任编辑: 沈效群

收稿日期: 2020-11-23 修回日期: 2021-05-4

基金资助:

国家自然科学基金. 51377174

Received: 2020-11-23 Revised: 2021-05-4

作者简介 About authors

李瑞友(1994-),男, 博士,毕业于哈尔滨理工大学,主要从事瞬变电磁正反演理论及人工智能研究工作。 Email: 1378546842@qq.com

摘要

基于梯度下降法的传统人工神经网络瞬变电磁反演方法计算效率低,不能保证全局收敛。为了解决上述问题,提出一种在线惯序极限学习机(online sequential extreme learning machine, OSELM)的瞬变电磁反演方法。该方法针对瞬变电磁法所获取的高维勘探数据进行建模反演,首先,通过随机设定隐层参数(输入权值和偏差)来简化模型的学习过程;然后,将测试得到的预测样本加入训练样本中,作为下一次的更新信息,建立在线贯序极限学习机预测模型,从而最大限度提高反演精度;最后,设计了两个经典的瞬变电磁层状地电模型并进行了拟二维地电模型的反演。反演结果表明,该方法能够较好地解决瞬变电磁法高维数据非线性建模的反演问题,同时相较极限学习机(extreme learning machine, ELM),非线性反演方法具有更加准确的反演结果、更好的泛化能力以及更高的计算效率,为神经网络在地球物理反演中的应用提供了新思路。

关键词： 瞬变电磁法 ; 人工神经网络 ; 在线惯序极限学习机 ; 反演

Abstract

The traditional transient electromagnetic inversion method using artificial neural network based on gradient descent method is inefficient and can not guarantee global convergence. In order to solve these problems, this paper proposes a transient electromagnetic inversion method based on on online sequential extreme learning machine (OSELM). This approaches is used for inversion of high-dimensional exploration data obtained by transient electromagnetic method. Firstly, the hidden layer parameters (input weight and deviation) are randomly set to simplify the learning process of the model. Then, the prediction samples obtained from the test are added to the training samples as the next update information, and the online sequential extreme learning machine prediction model is established to maximize the inverse accuracy. Finally, the inversion results of two classical TEM layered geoelectric models and a quasi two-dimensional geoelectric model show that the proposed method can solve the problem of nonlinear modeling and high-dimensional data for TEM inversion, and a comparison with extreme learning machine (ELM) shows that this method has more accurate inversion, better generalization ability and higher calculation efficiency, which provides a new idea for the application of neural network in geophysical inversion.

Keywords： transient electromagnetic method ; artificial neural network ; online sequential extreme learning machine ; inversion

PDF (2487KB) 元数据多维度评价相关文章导出 EndNote| Ris| Bibtex 收藏本文

本文引用格式

李瑞友, 张淮清, 吴昭. 基于在线惯序极限学习机的瞬变电磁非线性反演. 物探与化探[J], 2021, 45(4): 1048-1054 doi:10.11720/wtyht.2021.1514

LI Rui-You, ZHANG Huai-Qing, WU Zhao. Online sequential extreme learning machine for transient electromagnetic nonlinear inversion. Geophysical and Geochemical Exploration[J], 2021, 45(4): 1048-1054 doi:10.11720/wtyht.2021.1514

0 引言

瞬变电磁法(transient electromagnetic method, TEM)是地球物理勘探中最常用的方法之一,广泛应用于矿产、地下水勘探及浅层地质调查等领域^[1,2,3]。瞬变电磁法是一种利用快速关断脉冲电流产生二次接收电压的电磁探测方法,而TEM反演是根据其得到的探测数据推导出地电结构参数,后者是一个典型的具有非线性特征和不适定参数估计的反演问题,它一直是地球物理研究中的重要问题。在过去的几十年里,各种解释地电阻率数据的方法相继发表^[4,5,6]。其中,人工神经网络在TEM数据解释中展现了最为广阔的潜力。

人工神经网络反演算法能够模拟人脑神经元信息学习和处理,直接从样本数据中构造数学模型,以较强的学习能力和泛化能力在地球物理反演解释中得到广泛应用^[7,8,9,10] 。其中,Srinivas等^[11]比较了一维垂直电测深数据中BPNN (back propagation neural network)、RBFNN(radial basis function neural network)和GRNN(general regression neural network)的反演性能表现;Maiti等^[12] 研究了一种以一维电测深数据为基础的贝叶斯神经网络训练方法;Johnson等^[13] 利用人工神经网络方法成功地估算了层状大地模型电阻率参数。综上所述,在地球物理反演解释中神经网络得到了广泛的应用(具有良好的非线性拟合能力),但在瞬变电磁反演应用中仍然存在收敛速度慢、精度低以及训练中过拟合等局限性^[14] 。因此,复杂的电磁响应数据和模型参数(电阻率和层厚)反演需要更高效的神经网络模型和更完善的优化程序来获得更好的结果和解释。

极限学习机是由Huang等^[15]提出的一种新的单隐含层前馈神经网络(single hidden layer feedforward neural network, SLFN)模型,其输入层权值和隐含层偏差均是随机产生,输出层权值通过解析计算可获得唯一的全局最优解,很好地克服了传统神经网络(如BPNN、RBFNN等)存在的训练时间长、易陷入局部极值及过拟合等问题。该算法具有结构简单、学习速度快和泛化性能强等特点,已广泛应用于回归与分类^[16,17]、图像识别^[18,19] 和决策支持^[20] 等领域。但是,传统的ELM基本上是批量学习算法,即一次将样本输入训练,得到输出,然而在大多数情况下,数据样本都不能一次性得到,而是不断地有新的样本加入,因此限制了ELM在实时或非平稳情况下的适用性。最近,Liang等^[21] 提出了一种在线惯序极限学习机(OSELM),它可以通过固定或不同长度的逐个或逐块学习训练数据。与传统极限学习机算法相比,OSELM可以提供更好的泛化性能,以更快的速度学习。基于这些优点,OSELM在预测问题领域得到了广泛的应用^[22,23,24] 。

本文针对TEM反演的高维、非凸及非线性特征,提出了一种在线惯序极限学习机反演算法,该方法通过随机设定隐层参数来简化反演模型的学习过程,提高了反演算法的计算效率;同时,OSELM的Moore-Penrose广义逆计算过程和逐块式学习训练数据保证了反演算法的全局最优和泛化能力,较好地解决了TEM的局部收敛问题。文中还给出了TEM正演方法、样本采集方法及非线性反演模型的流程,并通过两个经典的层状地电模型和一个异常体模型反演验证本文算法的有效性。

1 层状地电模型

1.1 TEM正演

假设n层水平大地各层介质的电阻率和层厚表示为ρ₁,h₁;ρ₂,h₂;…;ρ_n,h_n;h_n→∞。在地表(h=0)的中心回线发射线圈Tx向地下发射斜阶跃波形式的激励信号,同时利用在地表的接收线圈Rx采集具有地下信息的电磁响应数据H_z,如图1所示。

图1

新窗口打开| 下载原图ZIP| 生成PPT

图1 层状地电模型和TEM方法示意

Fig.1 Schematic diagram of the layered geoelectric model and TEM method

在准静态(忽略位移电流)下柱坐标系中,层状大地中心回线源地表(z=0)处的垂直磁场频域响应表达式为^[25] :

$H_{z} = Ia \int_{0}^{\infty} \frac{λ^{2}}{λ + λ_{1} / R_{1}^{*}} J_{1} (λρ) d λ 。$

式中:I为发射电流;a为发射线圈的半径;J₁(λρ)为1阶贝塞尔函数;ρ是发射线圈和接收线圈之间的距离;λ为汉克尔变换积分变量,λ₁= $\sqrt[]{λ^{2} - k_{1}^{2}}$ ,k₁是传导电流, $k_{1}^{2}$ =-iωμσ₁,σ₁为电导率; $R_{1}^{*}$ 可由相关递推公式得到^[25] 。

采用Hankel变换求解上式中的贝塞尔函数,再通过Gaver-Stehfest变换实现频—时域的转换,可得到垂直磁场时域响应:

$H_{z} (ρ, t) = \frac{\ln 2}{t} \overset{N}{\sum_{n = 1}} K_{n} H_{z} (ρ, s_{n}) 。$

式中:K_n为系数;s_n=ln2·t^-1·n, n由计算机位决定,一般n=12。

1.2 TEM数据采集方法

针对层状大地电阻率测深进行非线性反演,反演算法训练数据集来源于瞬变电磁正演理论计算方法。其中,中心回线瞬变电磁法的各项理论参数设置如下:发射线圈半径r=100 m,发射电流为斜阶跃响应,关断时间为1 μs,幅值为1 A。由于在野外数据采集中往往含有不可避免的噪声,于是添加5%高斯噪声到正演响应计算的代码中。

通常采用随机改变电阻率和层厚度值构建训练样本的地电模型,但是,由于实际构造不可能发生剧烈的地电参数突变^[26],所以TEM反演一般采用限定约束多层模型,可以降低模型的复杂性。基于此,提出了一种去除冗余特征的样本分布极限策略,每层地电模型参数构造方式如下:

$\begin{array}{l} G = fix (10^{lo g_{10} p_{\min} + i \cdot \frac{lo g_{10} p_{\max} - lo g_{10} p_{\min}}{N - 1}}), \\ i = 0,1, \dots, N - 1 。 \end{array}$

式中:fix为取整函数,p_min、p_max分别是地电模型参数(电阻率和厚度)的最小值和最大值,N为样本数目。为了使本文的算法能够有效适用于常规的观测数据,应使模型参数取值范围尽可能大,因此设置p_min和p_max如表1所示(以5层和9层地电模型为例)。文中算法的输入层节点数为31个(时间采样点H_z),输出层节点数为地电结构参数数目(电阻率和层厚)。通过以上模型构造方式,设计了2.5万组用于训练和测试的样本模型,其中5 000组作为测试,其他组作为训练。

表1 5层、9层地电模型各层参数的最大值与最小值

Table 1 Maximum and minimum values of parameters in each layer for five-layer and nine-layer geoelectric model

五层模型	ρ/(Ω·m) h/m
五层模型	ρ₁		ρ₂			ρ₃			ρ₄			ρ₅			h₁			h₂			h₃			h₄
p_min	10		5			1			20			100			10			10			5			10
p_max	1 000		500			100			2000			10 000			1 000			1000			500			10 000
九层模型	ρ/(Ω·m) h/m
九层模型	ρ₁	ρ₂		ρ₃	ρ₄		ρ₅	ρ₆		ρ₇	ρ₈		ρ₉	h₁		h₂	h₃		h₄	h₅		h₆	h₇		h₈
p_min	10	1		10	1		10	5		13	10		10	2		2	2		2	6		2	3		1
p_max	1 000	100		1 000	100		1 000	500		1 300	1 000		1 000	200		200	200		200	600		200	300		100

新窗口打开| 下载CSV

1.3 在线惯序极限学习机

ELM是由Huang等^[15] 提出的一种非迭代学习的神经网络算法。ELM的显著优点是所有隐藏节点参数(输入权值和偏差)都是随机生成的,并利用Moore-Penerose广义逆计算输出权值,克服了基于梯度下降学习理论的机器学习的固有缺陷,具有学习速度快、不易陷入局部极值、泛化能力强等优点。其三层的网络拓扑结构如图2所示。

图2

新窗口打开| 下载原图ZIP| 生成PPT

图2 ELM神经网络结构

Fig.2 ELM neural network structure

在图2中,x为ELM的输入值,f(x)为ELM的预测输出值,G(w,b,x)为ELM的激活函数(本文均采用Sigmoid激活函数),β为ELM的输出权值。隐含层用于拟合从垂直磁场到地电模型的本构关系。

OSELM是在ELM的基础上由Liang等^[21] 提出的一种增量学习算法,它的主要目的是解决分批次到达数据的学习问题(ELM本质上是批处理/批量或离线学习方法)。OSELM过程可分为两部分(图3):第一,在初始化阶段,OSELM由给定的少量训练数据估计初始输出权重矩阵β⁽⁰⁾和初始矩阵H₀;第二,在线学习阶段,每当接收到新的数据块时,将再次运行ELM并获得新的输出权重。新、旧输出权重合并,产生输出权重矩阵β₀以完成神经网络的更新。算法1给出了OSELM伪代码,其中I为恒等矩阵,详见文献[21] 。

图3

新窗口打开| 下载原图ZIP| 生成PPT

图3 OSELM算法计算流程

Fig.3 Block diagram of the calculation flow of the OSELM algorithm

对OSELM的具体训练如下。初始化阶段:样本D={(x_i,t_i)|x_i∈Rⁿ,t_i∈R^m|,i=1,…,N}的子集D₀=[(x_i,t_i) $]_{i = 1}^{N_{0}}$ 被认为是初始训练样本,其中:n是输入特征向量的维数,m是输出特征向量的维数,N₀≥L,L是隐藏节点的数目。采用Sigmoid激活函数,输入权重w_i和隐层偏差b_i随机生成。初始输出权重H₀计算如下:

$H_{0} = {[\begin{array}{l} G (w_{1}, b_{1}, x_{1}) & \dots & G (w_{L}, b_{L}, x_{1}) \\ \dots & \dots & \dots \\ \dots & \dots & \dots \\ \dots & \dots & \dots \\ G (w_{1}, b_{1}, x_{N_{0}}) & \dots & G (w_{L}, b_{L}, x_{N_{0}}) \end{array}]}_{N_{0} \times L},$

得到初始输出权值矩阵:

$\begin{array}{l} K_{0} = H_{0}^{T} H_{0}, \\ β^{(0)} = K_{0}^{- 1} H_{0}^{T} T_{0} 。 \end{array}$

式中:T₀=[ ${t^{T}}_{1}$ , ${t^{T}}_{1}$ ,…, ${t^{T}}_{N_{0}}$ ]^T,设置初始迭代K = 0。

在线惯序学习阶段:当接收到新的数据样本时,假设有N₁样本进入模型,可以根据ELM的思想得到

$β^{(1)} = K_{1}^{- 1} {[\begin{array}{l} H_{0} \\ H_{1} \end{array}]}^{T} [\begin{array}{l} T_{0} \\ T_{1} \end{array}],$

其中,β⁽¹⁾由β⁽⁰⁾表示,即

$β^{(1)} = β^{(0)} + K_{1}^{- 1} {H^{T}}_{1} (T_{1} - H_{1} β^{(0)}) 。$

因此,可以得到在线学习的递推关系

$\begin{array}{l} P_{k + 1} = P_{k} - P_{k} {H^{T}}_{k + 1} (I + H_{k + 1} P_{k} {H^{T}}_{k + 1})^{- 1} H_{k + 1} P_{k}, \\ β^{(k + 1)} = β^{(k)} + P_{k + 1} {H^{T}}_{k + 1} (T_{k + 1} - H_{k + 1} β^{(k)}) 。 \end{array}$

最后,设置迭代次数k=k+1,然后重复在线顺序学习阶段。

2 层状地电模型反演与分析

2.1 评价指标

本文将展示OSELM算法进行层状地电模型反演示例,算法仿真在Matlab R2016a中进行,PC采用Intel(R) Core(TM) i5-7500处理器,主频为3.40 GHz,内存为8.0 GB。为了客观地评价所提方法在瞬变电磁层状反演中的性能,采用绝对百分比误差(absolute percentage error, APE)、相对均方根误差(relative root mean square error, RRMSE)和相关系数(R²)进行评估,具体公式如下。

绝对百分比误差(APE):

$APE = \frac{1}{N} \frac{1}{m} \overset{N}{\sum_{i = 1}} \overset{m}{\sum_{j = 1}} \frac{| {\hat{Z}}_{ij} - Z_{ij} |}{| Z_{ij} |} \times 100 %;$

相对均方根误差(RRMSE):

$RRMSE = \sqrt[]{\frac{1}{N} \frac{1}{m} \overset{N}{\sum_{i = 1}} \overset{m}{\sum_{j = 1}} (\frac{{\hat{Z}}_{ij} - Z_{ij}}{Z_{ij}})};$

2.2 反演结果与比较

为了验证OSELM反演算法的性能,进行了2个实验,实验1为2种学习机的反演性能比较,实验2为综合实例分析。

在实验1中,对OSELM与ELM收集的TEM数据集进行反演分析。经过反复试验验证,采用相同数量的隐藏节点(隐藏节点为1 000),两种极限学习机方法反演性能的比较结果见表2。

表2 两种极限学习机方法反演性能的比较

Table 2 Comparison of inversion performance for two ELM methods

Algorithm	5层模型				9层模型
Algorithm	R²	RRMSE	APE/%	Time/s	R²	RRMSE	APE/%	Time/s
OSELM	0.9978	0.1148	6.465	0.0089	0.9975	0.1542	8.372	0.0089
ELM	0.9978	0.1540	8.174	0.0097	0.9974	0.1904	10.218	0.0099

新窗口打开| 下载CSV

从表2中不难看出,整体而言,本文提出的OSELM反演精度要高于ELM。OSELM方法有最低的APE、RRMSE和最高R²,而且所需反演时间更短,因此,该方法具有更大的优越性,可以有效地减少非线性特性引起的反演误差。OSELM反演质量高的原因在于引入逐块批量式学习策略,增强极限学习机的泛化能力,提高了反演方法的性能。在实验2中,用一个复杂的综合数据集来证明该方法的一致性。

2.3 层状地电模型反演

为了验证OSELM反演算法的性能,选取了两种典型的地电模型(表3),合成数据集使用上述相同的正演方法和参数生成,且合成数据(垂直磁场数据)受到5%高斯噪声的干扰。图4是OSELM与ELM方法反演一维地电模型构造图,图5是一维反演模型的正演响应数据与理论数据的拟合曲线。

表3 5层、9层地电模型反演理论值

Table 3 Theoretical values of five-layered and nine-layered geoelectric model inversion

五层模型	ρ/(Ω·m) h/m
五层模型	ρ₁		ρ₂			ρ₃			ρ₄			ρ₅			h₁			h₂			h₃			h₄
理论值	100		50			10			200			1000			100			100			50			100
九层模型	ρ/(Ω·m) h/m
九层模型	ρ₁	ρ₂		ρ₃	ρ₄		ρ₅	ρ₆		ρ₇	ρ₈		ρ₉	h₁		h₂	h₃		h₄	h₅		h₆	h₇		h₈
理论值	100	10		100	10		100	50		130	100		100	20		20	20		20	60		20	30		10

新窗口打开| 下载CSV

图4

新窗口打开| 下载原图ZIP| 生成PPT

图4 5层地电模型(a)与9层地电模型(b)的不同算法反演结果

Fig.4 Inversion results of different algorithms for of 5-layer(a) and 9-layer(b) geoelectric models

图5

新窗口打开| 下载原图ZIP| 生成PPT

图5 5层地电模型(a)与9层地电模型(b)的正演响应曲线

Fig.5 Forward response curves of 5-layer(a) and 9-layer(b) geoelectric models

图4表明这两种方法的反演结果与理论模型基本一致,但OSELM方法更精确,与理论模型的吻合程度更好。同时,这两种方法浅层地电参数反演精度不错,但随着模型深度增加,地电参数略有突变,反演精度降低。从图5也可以看出,正演响应曲线与理论响应曲线后期的不拟合程度更高(通常响应后期反映着深层地电模型),但是OSELM比ELM始终具有更低的反演偏差。因此,以上结果表明,OSELM具有最佳的泛化能力,也证明了该方法对TEM数据反演的有效性。

2.4 拟二维模型反演验证

利用5层地电模型验证OSELM算法对瞬变电磁法反演的可行性,理论模型及测点位置如图6所示。图7为OSELM和ELM反演拟剖面,从中可以看出这两种方法反演结果与实际模型较吻合,ELM算法反演低电阻率曲线分布不够均匀,中间模型边界区域突变明显,而OSELM算法反演的异常体位置稍微均匀点,形状较清晰,反演数据更接近实际模型。显然,与ELM相比,OSELM对层状模型反演效果更好,更适合于地电模型反演。因此,OSELM算法在瞬变电磁反演问题上具有很高的适用性。

图6

新窗口打开| 下载原图ZIP| 生成PPT

图6 拟二维模型示意图及测量位置

Fig.6 Schematic diagram of quasi two dimensional model and measurement position

图7

新窗口打开| 下载原图ZIP| 生成PPT

图7 拟二维地电模型OSELM方法(a)和ELM方法(b)的反演结果

Fig.7 Inversion results of OSELM method (a) and ELM method (b) of quasi-two-dimensional geoelectric model

3 结论

本文提出了一种在线惯序极限学习机(OSELM)的瞬变电磁层状大地电阻率测深非线性快速反演的方法。层状地电理论模型反演结果表明:①本文提出的去除冗余特征的样本采集极限策略,能够更好地反映层状地电模型非线性反演的输入输出特性;选取了五层和九层地电模型的最佳OSELM网络结构,取得了较好的反演效果;②证明了OSELM算法能够减少对初始模型的依赖,不易陷入局部极值,可以有效地应用于层状大地TEM数据反演中,并且同ELM算法相比,该算法反演精度更高,稳定性更好,即泛化能力和学习能力更强,具备更好的适应性, 能够有效运用于一维电阻测深的神经网络反演。

总之,通过瞬变电磁层状地电模型验证了OSELM方法在TEM反演中的可行性和有效性。这是一种新颖的反演技术,下一步,我们将研究如何提高其实际应用效果,并完善反演算法的性能评价指标。

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

Z X

, Zhao

, Liu

H Y

, et al.

TFEM for oil detection: Case studies

[J]. Leading Edge, 2012,31(5):518-521. doi: 10.1190/tle31050518.1.