基于人工神经网络的大地电磁时序分类研究

doi:10.11720/wtyht.2024.1144

基于人工神经网络的大地电磁时序分类研究

杨凯^,¹^,², 刘诚¹, 贺景龙¹, 李含¹, 姚川¹

1.中国地质调查局西安矿产资源调查中心,陕西西安 710100

2.中国地质大学(武汉) 地球物理与空间信息学院,湖北武汉 430074

Research on magnetotelluric time series classification based on artificial neural network

YANG Kai^,¹^,², LIU Cheng¹, HE Jing-Long¹, Li Han¹, YAO Chuan¹

1. Xi’an Center of Mineral Resources Survey,China Geological Survey,Xi’an 710100,China

2. School of Geophysics and Geomatics,China University of Geosciences(Wuhan),Wuhan 430074,China

责任编辑: 王萌

收稿日期: 2023-04-10 修回日期: 2023-09-6

基金资助:

陕西省科学基金项目“戈壁荒漠浅覆盖区萤石矿深部定位预测技术示范研究”(2023-JC-QN-0365)

Received: 2023-04-10 Revised: 2023-09-6

作者简介 About authors

杨凯(1991-),男,2013年毕业于长安大学地球物理学专业,在读硕士、工程师,主要从事物探数据处理工作。Email:yangkaicgs@163.com

摘要

随着社会的发展,各类干扰日益加剧,高质量的大地电磁采集也变得愈加困难。为了提高数据质量,学者们针对不同类型的噪声提出了很多对应的去噪方法,由于大地电磁数据量都比较大,去噪前不可能对每条数据进行人工判读,急需一种高效率的噪声识别和分类方法。基于此,本文将人工神经网络应用于大地电磁时间序列分类中,为了选取最为合适的大地电磁时间序列分类网络模型,使用模拟方波、工频、脉冲噪声以及实测无噪声数据4类时间序列类型,分别对LSTM、FCN、ResNet、LSTM-FCN及LSTM-ResNet模型进行了噪声分类训练和实测数据分类对比试验。结果表明,FCN及LSTM-FCN在大地电磁时序分类中具有相对较好的效果。其中,FCN模型对实测数据分类准确率最高可达99.84%,每个epoch平均用时9.6 s, LSTM-FCN较FCN具有更高的分类精度,实测数据集最高分类准确率近乎100%,但是其每个epoch平均用时24.6 s,且较FCN也更易过拟合。总体来看,如果数据量较少使用LSTM-FCN可以获取更高的分类精度,数据量较大时需考虑时间成本,使用FCN则更为合适。最后,利用LSTM-FCN分类模型和LSTM去噪模型搭建了大地电磁噪声处理系统,对含有不同类型噪声的大地电磁数据进行了成功处理。

关键词： 大地电磁; 时间序列分类; 人工神经网络; 深度学习; 噪声

Abstract

With the development of society,high-quality magnetotelluric signal acquisition is becoming more and more difficult because of various types of human interference are increasingly intensified. Scholars have proposed many corresponding denoising methods for different types of noise to improve data quality. It is impossible to manually interpret each data before denoising due to the huge amount of data. So an efficient noise recognition and classification method is urgently needed. Based on this, artificial neural network is applied in the classification of magnetotelluric time series in this paper. Four types of time series,namely,simulated square wave, power frequency, impulse noise, and measured noiseless data, were used to conduct noise classification training and measured data classification on LSTM、FCN、ResNet、LSTM-FCN and LSTM-ResNet models. The results show that FCN and LSTM-FCN has a relatively good effect on the classification of magnetotelluric time series. Among them, the highest classification accuracy of FCN measured data can reach 99.84%, and the average time for each epoch is 9.6 s. LSTM-FCN has higher classification accuracy than FCN,the highest classification accuracy of measured data sets is nearly 100%, but the average time for each epoch is 24.6 s, and it is easier to overfit than FCN. Overall, LSTM-FCN can achieve higher classification accuracy when the amount of data is relatively small, if the amount of data is large, it is necessary to consider the time cost,using FCN is more appropriate. Finally,the magnetotelluric data containing different types of noise was successfully processed using the magnetotelluric noise processing system which constructed by the LSTM-FCN classification model and the LSTM denoising model.

Keywords： magnetotellurics; time series classification; artificial neural network; deep learning; noise

PDF (6330KB) 元数据多维度评价相关文章导出 EndNote| Ris| Bibtex 收藏本文

本文引用格式

杨凯, 刘诚, 贺景龙, 李含, 姚川. 基于人工神经网络的大地电磁时序分类研究[J]. 物探与化探, 2024, 48(2): 498-507 doi:10.11720/wtyht.2024.1144

YANG Kai, LIU Cheng, HE Jing-Long, Li Han, YAO Chuan. Research on magnetotelluric time series classification based on artificial neural network[J]. Geophysical and Geochemical Exploration, 2024, 48(2): 498-507 doi:10.11720/wtyht.2024.1144

0 引言

大地电磁干扰成因复杂,学者们对其进行了大量研究,孙洁等^[1]将大地电磁噪声主要分为场源噪声、地质噪声和人文噪声,并指出对于不同的噪声采取相应的预处理措施可以有效提高信噪比。严家斌^[2]将人文干扰主要划分为脉冲噪声、矩形噪声及周期噪声,并提出了基于小波变换的迭代回归噪声改正方法,该方法有效抑制了各类噪声干扰。蔡剑华^[3]基于经验模态分解(empirical mode decomposition,EMD),针对大地电磁信号中常见的脉冲、周期正弦、三角波以及矩形噪声的特点,采取了模态函数(intrinsic mode functions,IMF)置零或者阈值消噪的不同处理措施,明显提高了数据质量。周聪等^[4]对强干扰区的大地电磁噪声进行了分析,从时间域形态上将其划分为类脉冲噪声、类充放电噪声、类方波噪声、类三角波噪声、类阶跃噪声等,并指出噪声的处理方法必须具有针对性,切忌以一种方法处理所有类型的噪声。葛双超等^[5]将大地电磁人文噪声主要归结为工频噪声、游散电流噪声及电动机械设备噪声等。大地电磁的噪声多种多样,对不同的噪声有其对应的处理方法,然而面对海量的大地电磁数据我们不可能进行人工挑选,急需效率更高的分类方法,本文探索将人工神经网络引入大地电磁时间序列分类中,结合实际工作及前人研究成果初步将大地电磁时间序列分类标签设置为4类,分别是无噪声数据、脉冲类噪声数据、方波噪声数据以及周期正弦噪声数据。

所谓时间序列分类就是将未知的时间序列进行类别划分,时间序列数据广泛存在于地学、交通、金融、医学等领域,这些源源不断产生的时序数据中蕴含了大量有待挖掘的信息,而时间序列分类(time series classification,TSC)是数据挖掘的重要课题,为了应对海量时序数据的分类任务,学者们提出了众多的分类方法,如基于K近邻(K-nearest neighbors,K-NN)分类器、基于支持向量机(support vector machine,SVM)分类器、基于决策树分类器以及基于神经网络分类器等^[6-7]。其中,神经网络方法相较于传统方法不需要人工预处理和特征工程,具有更强的特征提取能力和泛化能力,可以完全实现端到端。得益于这些优点,神经网络方法在时间序列领域的应用越来越广^[8-9],并且被逐步引入到了大地电磁时间序列数据处理中^{[10⇓⇓-13]}。本文主要围绕LSTM、FCN、ResNet、LSTM-FCN、LSTM-ResNet这5类神经网络模型在大地电磁时序分类上的表现进行探讨,旨在选取较为适合大地电磁数据分类的神经网络模型,为大地电磁噪声“自动化”分类处理提供参考和思路。

1 神经网络模型简介

1.1 LSTM

长短时记忆网络(long short-term memory,LSTM)由Hochreiter等提出^[14],它很好地解决了长序列训练过程中的梯度消失和梯度爆炸问题,如今广泛应用于时间序列领域。LSTM神经元包含了输入门、输出门、遗忘门及一个记忆细胞(图1,式(1)~(6)),其主要工作流程如下式:

(1)f_t=σ(W_f·[h_t_-1,x_t]+b_f),

(2)i_t=σ(W_i·[h_t_-1,x_t]+b_i),

(3)o_t=σ(W_o·[h_t_-1,x_t]+b_o),

(4)g_t=tanh(W_g·[h_t_-1,x_t]+b_g),

(5)c_t=g_t☉i_t+c_t_-1☉f_t,

(6)h_t=tanh(c_t)☉o_t 。

图1

新窗口打开| 下载原图ZIP| 生成PPT

图1 LSTM神经元基本结构

Fig.1 Basic structure of LSTM

首先,由上一时刻的隐藏层h_t_-1和当前时刻的特征向量 $x_{t}$ 得到当前时刻的遗忘门f_t、输入门i_t、输出门o_t以及记忆细胞候选值g_t(式(1)~(4));而后由上一时刻的记忆细胞 ${c_{t}}_{- 1}$ 与遗忘门、输入门及记忆细胞候选值得到此刻的记忆细胞状态c_t(式(5));最后由输出门和记忆细胞状态获得此时刻神经元的隐藏层h_t(式(6)), $W_{f} 、 W_{i} 、 W_{o} 、 W_{g}$ 为传播权重矩阵, $b_{f} 、 b_{i} 、 b_{o} 、 b_{g}$ 为偏置向量,σ为sigmoid激活函数, $☉$ 表示矩阵元素对应相乘。

本文LSTM网络主要由输入层、隐藏层和全连接层构成,由于本文使用单分量大地电磁时间序列,故隐藏层输入数据维度为1,层数设置为2,每层64个节点,并使用双向LSTM,全连接层(fully connected layer,FC)输出特征维度为4,对应4个分类标签(图2)。

图2

新窗口打开| 下载原图ZIP| 生成PPT

图2 LSTM结构示意

Fig.2 LSTM structure diagram

1.2 FCN

全卷积神经网络(fully convolutional networks,FCN)是一种特殊的卷积神经网络(convolutional neural networks,CNN),与传统CNN不同的是FCN将全连接层转化为卷积层,进而可以实现语义级别的图像分割^[15]。Wang等^[16]首次将FCN应用于时间序列分类中。

FCN的基本结构包含卷积层、BatchNorm1d一维批归一化层和ReLU激活函数层,可以表示为:

(7)$y=W\otimes x+b,$

(8)s=BN(y),

(9)h=ReLU(s),

其中:x为训练数据, $\otimes$ 为卷积算符,首先数据经过卷积运算得到卷积结果y(式(7)),然后将y传入BN批归一化层(式(8)),该层的作用是调整训练数据的分布使其进入激活函数的作用区,防止梯度消失,进而提升训练效果,最后激活函数ReLU接收批归一化数据s得到最终结果h(式(9))。

本文网络主要由3个FCN基本卷积结构、全局平均池化层和全连接层构成,第一层卷积层数据输入通道数应与大地电磁单分量时间序列数据维度相同,设为1,输出通道数设置为128,卷积核为8,第二层卷积层输出通道数为64,卷积核为5,第三层输出通道数为32,卷积核为3,全连接层特征输出维度为4(图3)。

图3

新窗口打开| 下载原图ZIP| 生成PPT

图3 FCN结构示意

Fig.3 FCN structure diagram

1.3 ResNet

残差网络(residual network,ResNet)由He等^[17]提出,它在卷积层之间增加了跳跃连接(shortcut connections)(图4),很好地解决了深度神经网络的梯度消失和梯度爆炸问题,ResNet广泛应用于图像、时间序列处理等领域^[18-19]。

图4

新窗口打开| 下载原图ZIP| 生成PPT

图4 残差学习块^[17]

Fig.4 Residual learning: A building block^[17]

残差模块通过跳跃连接直接把输入X传入输出作为初始结果,其表达式为:

(10)H(X)=F(X)+X,

其中:H(X)为模块输出;X为输入;F(X)为卷积运算结果,当F(X)=0时,H(X)=X,为恒等映射,此时残差网络的学习目标值变成了H(X)与X的差值,这种残差结构可以避免深度网络失效。

本文的基本残差结构由三层卷积结构和一个跳跃连接构成(图5),ResNet模型主要由1个卷积层加BatchNorm1d和ReLU激活函数、1个最大池化层、3个基本残差结构层、1个全局平均池化层加BatchNorm1d和全连接层组成(图6),其中第一层卷积层输入1维单分量大地电磁时间序列,输出通道为64,卷积核为7,卷积步长为2,输入的每一条边补充0的层数为3,最大池化层卷积核为3,卷积步长为2,输入的每一条边补充0的层数为1,第一个残差结构中3个卷积输出通道均为64,卷积核为3,第二个残差结构中3个卷积输出通道均为128,卷积核为3,第三个残差结构中3个卷积输出通道均为256,卷积核为3,全连接层输出特征维度为4。

图5

新窗口打开| 下载原图ZIP| 生成PPT

图5 本文残差块

Fig.5 Residual block in this paper

图6

新窗口打开| 下载原图ZIP| 生成PPT

图6 ResNet结构示意

Fig.6 ResNet structure diagram

1.4 LSTM-FCN

Karim等^[20-21]将LSTM与FCN网络结合提出了LSTM-FCN网络,该模型在时间序列分类中取得了更优的效果,相比于单模型,这类组合模型可以结合各子模型的优势,取得更佳的学习效果,比如LSTM擅长长时序特征提取而FCN擅长局部特征的提取,将其组合使用可以使网络学习到更加复杂的特征。

本文LSTM-FCN由双向LSTM和FCN模型并行构成(图7),各子模型参数均与1.1节和1.2节所述相同,全连接层输出维度为4,训练时将大地电磁时间序列训练数据分别输入FCN与LSTM模型得到各自结果后进行拼接,将拼接后的结果经过全连接层处理即可得到分类结果。

图7

新窗口打开| 下载原图ZIP| 生成PPT

图7 LSTM-FCN结构示意

Fig.7 LSTM-FCN structure diagram

1.5 LSTM-ResNet

在LSTM-ResNet模型中ResNet用于波形特征提取, LSTM用于时间序列上下文信息提取,该模型主要应用于时间序列预测、监测、识别等领域^[22-23]。本文LSTM-ResNet模型由双向LSTM模型和ResNet模型并行构成(图8),各子模型参数均与1.1节和1.3节所述相同,全连接层输出特征维度为4,网络训练方式同LSTM-FCN。

图8

新窗口打开| 下载原图ZIP| 生成PPT

图8 LSTM-ResNet结构示意

Fig.8 LSTM-ResNet structure diagram

上述所有网络均使用交叉熵损失函数(cross entropy loss),需要说明的是各网络构型及参数均为本文研究范围内比较合适的选择,在实际应用中需根据实际数据特征做调整。

2 网络训练

2.1 数据集构建

训练集采用模拟生成形式构建,选取2020年在陕西省宁强县某地使用MTU大地电磁仪采集的2 400 Hz数据,该段数据无明显噪声干扰可视为无噪数据,使用E_x分量,随机截取1 200点长度的无噪数据,每一段数据随机叠加方波、工频或者脉冲噪声并添加标签构成训练集共32 768条数据样本,其中模拟方波噪声主频在23~25 Hz之间随机取值,模拟工频干扰在40~60 Hz之间随机取值,振幅在原始信号最大与最小值差值的0.1~8倍之间随机取值,模拟脉冲振幅随机分布在原始信号中位数的15~25倍之间,采用同样的方式生成验证数据集8 192条, 所有数据都经过归一化处理,根据大地电磁时间序列数据的特征将其归一化至1~-1之间,如下:

(11)x_norm=

\frac{x - x_{m e a n}}{x_{m a x}}

其中:x为大地电磁时间序列数据;x_mean为其平均值;x_max为其最大值;x_norm为归一化值。经归一化处理的训练集部分数据如图9所示。

图9

新窗口打开| 下载原图ZIP| 生成PPT

图9 训练集部分时间序列

Fig.9 The partial time series of training set

2.2 网络训练及结果分析

本文试验在Pytorch 1.12.1上完成,CPU为Intel(R) Core(TM) i5-12500H 2.50 GHz,GPU为NVIDIA GeForce RTX 3050。将训练bitch_size(一次训练所选取的样本数)设为64,epoch(使用训练集中的全部样本训练一次即为1个epoch)设置为150,优化器使用适应性矩估计优化器(adaptive moment estimation,Adam)^[24],初始学习率设为0.000 7,并根据训练效果及时调整参数,使网络充分收敛。

从训练曲线来看各网络都可以达到比较不错的学习效果,验证集的分类精度均在99.8%以上,其中LSTM前4次epoch训练损失快速下降,随后损失不再明显下降,验证集前50次epoch与训练集损失相差不大,形态一致,50次后验证集损失开始逐渐增大而训练损失逐渐稳定不再明显变化,此时已经产生了过拟合现象(图10a),LSTM训练与验证准确率曲线前120次epoch相差不大,之后验证准确率逐渐降低开始出现过拟合现象(图10b)。FCN模型收敛较慢,前100次epoch网络损失逐渐减小,网络分类准确率逐渐提高,且验证集损失略大于训练集,准确率略小于训练集,而后验证集损失不再明显减小,准确率不再增加,特别是100次epoch后验证集损失几乎不再减小(图10c),准确率也在99.95%左右震荡,甚至出现下降现象(图10d),此时模型已经出现过拟合。ResNet网络收敛较快但是精度增加到一定程度后进入了平台期,loss不再明显下降,精度不再明显提升,且训练集与验证集一直存在一个比较明显的台阶,网络已经无法进一步学习(图10e、f)。LSTM-FCN网络将LSTM与FCN进行了组合,它可以提取出更丰富的分类特征,但较单个网络也更易产生过拟合,特别是50次epoch后验证损失曲线明显抬升(图10g),110次epoch后验证集准确率曲线出现明显下探,过拟合现象较单个网络更为严重(图10h)。同样的在LSTM-ResNet中由于ResNet较FCN更为复杂,所以过拟合现象也最为严重,验证集损失分别在46和123个epoch处陡增,形成了两个台阶(图10i),同样在验证集精确度曲线对应处也出现了明显的精度下降现象,过拟合较为严重(图10j)。总的来看,组合模型较单个模型更易过拟合,单个模型中ResNet过拟合现象最严重,其次是LSTM,FCN最弱。从训练时间来看,单个模型中LSTM最慢,为19.8 s/epoch,其次为ResNet 11.4 s/epoch,FCN最快,为9.6 s/epoch。组合模型中训练较慢的是LSTM-ResNet为25.8 s/epoch,LSTM-FCN为24.6 s/epoch(表1)。

图10

新窗口打开| 下载原图ZIP| 生成PPT

图10 各网络训练曲线

Fig.10 Training curve of each network

表1 各神经网络参数对比

Table 1 Comparison table of network parameters

神经网络模型	实测数据最高分类准确率/%	训练时间/ (s·epoch^-1)
LSTM	99.41	19.8
FCN	99.84	9.6
ResNet	98.73	11.4
LSTM-FCN	100	24.6
LSTM-ResNet	98.40	25.8

新窗口打开| 下载CSV

3 实测数据分类

为了检验实际分类效果,选取2020~2021年间在陕西省宁强县、旬阳市等地实测的方波、工频、脉冲、无噪声数据,在这4类数据中随机抽取16 384条长度为1 200个点的数据段并添加分类标签作为实测数据集(图11),数据归一化方法同2.1节。

图11

新窗口打开| 下载原图ZIP| 生成PPT

图11 实测数据集部分时间序列

Fig.11 The partial time series of measured data set

使用各网络所训练的全阶段模型进行实测数据分类测试,由图12、表1可知LSTM与FCN具有相当的分类精度,FCN略高于LSTM,LSTM分类精度最高99.41%,FCN最高为99.84%,且FCN训练速度较LSTM更快;ResNet和LSTM-ResNet模型由于网络结构过于复杂,收敛过早,随着训练准确率不增反降,分类精度最高只达到了98.73%和98.40%;分类精度最好的是LSTM-FCN模型,在局部甚至可以达到100%的准确率,虽然110次epoch后由于过拟合导致精度下降,但仍然可以达到99.50%以上的准确率,优于其他模型,这充分显示了组合模型的优势。

图12

新窗口打开| 下载原图ZIP| 生成PPT

图12 实测数据集分类精度对比

Fig.12 Comparison of classification accuracy of measured data sets

综上,这5类模型中FCN及LSTM-FCN网络在大地电磁时间序列噪声分类中具有相对较好的效果,FCN具有轻便的结构,较快的速度(表1),精度也符合预期,LSTM-FCN较FCN具有更高的分类精度,但是网络相对复杂,训练时间长(表1),且比FCN更易过拟合(图10)。总的来看, LSTM-FCN适合相对较小的数据量,可以得到更高的精度,而FCN更适合大批量数据的处理,可以兼顾速度与精度。

4 去噪系统搭建及处理效果分析

为了进一步探索“智能化”去噪方法,在本文研究成果的基础上,结合已有的基于LSTM的大地电磁去噪方法,初步搭建了端到端的大地电磁时间序列去噪系统。

该系统主要由LSTM-FCN时序分类器、LSTM工频噪声压制器^[11]、LSTM方波噪声压制器^[25]构成,首先将大地电磁时序数据输入分类模型进行时序分类,而后将分类后的数据传递给相应的噪声处理模型中,去噪重组后输出结果(图13),本系统完全不需要人工干预,可以实现端到端的处理。

图13

新窗口打开| 下载原图ZIP| 生成PPT

图13 去噪系统示意

Fig.13 Schematic diagram of denoising system

选取陕西省宁强县某地采集的无明显噪声干扰大地电磁数据,该数据采样率2 400 Hz,采样时长18 s(图14a),给该段数据中的E_y分量以1 s为单位随机叠加模拟方波及工频噪声干扰(噪声参数同2.1节),得到模拟方波、工频及无噪数据时间序列组合(图14b),用以检验去噪系统的处理效果。

图14

新窗口打开| 下载原图ZIP| 生成PPT

图14 模拟含噪数据去噪结果比对(部分)

Fig.14 Comparison of denoising results for simulated noisy data (partial)

经去噪系统处理后大地电磁时间序列完全恢复了原始形态,去噪后序列与原序列归一化互相关系数(normalized cross correlation,NCC)^[25]可达0.977 4(图14c),说明系统中的LSTM-FCN分类器对大地电磁时间序列进行了准确分类,充分保障了后续各类去噪器的工作。

5 结论与建议

本文将人工神经网络引入大地电磁时间序列分类中,对比了LSTM、FCN、ResNet、LSTM-FCN、LSTM-ResNet这5种模型的训练及实际分类效果,其中LSTM与FCN分类精度相当,但FCN速度更快,ResNet与LSTM-ResNet过拟合较为严重,后期精度不断降低,LSTM-FCN分类精度最高,但速度偏慢。综合来看,FCN与LSTM-FCN模型更适合大地电磁时间序列分类,FCN偏向速度,LSTM-FCN偏向精度,两者都有各自的应用场景。最后利用LSTM-FCN分类模型及LSTM去噪模型搭建了大地电磁噪声处理系统,在LSTM-FCN模型的准确分类下对含有不同类型噪声的数据进行了成功处理,达到了预期效果。

下一步还可以尝试做两个方面的改进,一是文中只讨论了单分量的大地电磁时间序列分类问题,但大地电磁是多分量信号,还需考虑多维大地电磁时间序列的分类问题,进一步挖掘各分量之间及大地电磁信号整体的信息,例如相关及不相关噪声的区分;二是本文的分类标签和训练数据相对简单,还需进一步丰富和完善。

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

孙洁, 晋光文, 白登海,

等.

大地电磁测深资料的噪声干扰

[J]. 物探与化探, 2000, 24(2):119-127.