地下地质勘探是隧道施工中必不可少的环节^[1]。由于隧道开挖面深埋地下,期望在设计阶段完全查明不良地质体的确切位置是十分困难的^[2],可有效探明地下地质分布的地球物理勘探类方法也因此得到了更多的关注、研究和发展。半航空瞬变电磁方法(semi-airborne TEM,SATEM)^[3]作为一种灵活高的探测方法,能适应复杂地形区域的隧道勘测需要^[4]。然而,与地面电磁法相比,由于半航空瞬变电磁法(SATEM)在空中采集信号,实测数据更容易受到噪声的影响。

近年来,随着计算机算力的提升和数据信息的获取难度降低,深度学习技术得到了飞速发展,其应用已经涵盖现代人类生活的方方面面,如信息安全、语音识别、翻译、大数据监管与有效信息提取等。在地球物理领域,深度学习方法也受到较高的关注,相关学者将其应用于数据降噪,Zhu等^[5]基于卷积神经网络开发了一种新的去噪方法(DeepDenoiser),该网络能够同时学习地震数据在时间—频率域中的稀疏表示,通过一系列非线性的映射,将输入含噪地震数据分解为有效信号和噪声。董新桐等^[6]提出了一种针对沙漠地震资料的全新消噪网络(DSCN-Net),使用生成对抗网络,通过去噪器和鉴别器的不断对抗,最终获取的去噪模型能够压制沙漠地震资料中的背景噪声。与传统降噪方法相比,深度学习降噪方法可以自动从数据中学习到合适的特征表示,无需人为进行降噪参数的选取,因此可以避免主观因素影响处理结果。

由深度学习方法训练的模型具有高度的灵活性和泛化能力的特点,并且可以适应于不同的数据集和任务。上述功能的实现,得益于模型中的大量参数,这些参数需要通过海量的数据进行调整和优化,才能使模型达到最佳的性能。为了满足深度学习降噪网络训练对实采噪声数量的需求,实现对模型空间内参数的约束,避免影响网络的去噪性能,需要对噪声数据进行数据扩充。

古典数据增强方法,包括随机过采样及人工少数类过采样方法(SMOTE)^[7]等,生成的数据具有重复性和不真实性,可能导致过拟合,影响模型的泛化能力。几何变换、核滤波器、混合图像、随机擦除等方法通常针对二维或三维图像^[8],半航空瞬变电磁实采噪声数据为一维时序数据,由于现场实采过程中外部干扰多造成数据的随机性强,上述操作可能会改变其时序数据的含义,损失噪声有效信息。作为一种生成式深度学习模型,生成对抗网络(generative adversarial network,GAN)可以从输入数据中学习并生成与原始数据分布相似的样本,避免传统方法存在的数据失真、信息损失等风险,在数据扩充方面得到了较多的应用。Lee等^[9]提出了序列生成对抗网络(SeqGAN),并将其应用于离散序列的生成,可以创建连贯的音乐序列。王艳红^[10]基于深度卷积生成对抗网络对心电图进行了生成,实现了对于MIT-BIH心电数据库的多导联多类别心电数据的扩充。丁斌等^[11]将深度生成性对抗网络应用于一维海杂波数据的生成,对海杂波数据进行了扩充。

针对传统数据扩充方法的不足,为获取大量有效的SATEM实采噪声扩充数据,本文采用生成对抗网络(GAN)方法,对传统生成对抗网络模型结构进行了改进,引入了长短期记忆网络,提高了生成数据的时间相关性,使网络模型更加适合时序数据的生成。通过学习真实噪声数据分布,生成与该噪声分布高度相似的仿真数据,增加了噪声数据的多样性,可以帮助降噪网络更好地学习含噪数据的分布特征,提高其泛化能力,减少过拟合的风险;噪声样本的多样性,也使获取的降噪模型在面对未知数据时更具鲁棒性。

生成对抗网络由Goodfellow等^[12]于2014年提出,可以生成高质量的样本数据,在图像生成与修复、风格迁移、语音合成、文本生成、数据增强等领域^[13⇓-15]得到了广泛应用。受博弈论中的零和博弈理论启发,该网络由生成器(Generator,G)和判别器(Discriminator,D)两部分组成,彼此进行对抗训练,生成器G用来生成数据,其目的是产生与真实数据高度相似的仿真数据,使判别器分类为真;判别器D则是将真实数据与仿真数据进行二分类,分清输入数据是否为真实数据(图1)。

x是真实数据,其分布形式为Pr(x)分布;z是随机变量,其分布形式为Pz(z)分布,本文使用标准正态分布。首先在Pz(z)中进行随机采样获得变量z,将其输入生成器中得到仿真数据G(z);将真实数据x与仿真数据G(z)同时输入判别器中,判别器进行判别与训练;同时通过判别器的表现对生成器进行训练,生成器生成的数据再次输入判别器中进行判别,长此以往,以达到两个网络性能提升的目的。其损失函数为:

其中,判别器D希望将D(G(z))的结果无限接近于0,将D(x)无限接近1,使式(1)取得最大值;生成器G希望 D(G(z))的结果无限接近于1,使式(1)取得最小值。

生成对抗网络算法训练的主要流程是:首先进行生成器G输出结果的质量判别,当输出结果经判别器D判别为真则输出,若不满足则再次进行生成器G和判断器D的多轮对拉训练,以此往复,当训练达到纳什均衡状态时,即判别器D不能正确判别输入数据时,可以认为生成器G已经学习到真实数据分布,生成器的输出结果满足数据扩充需求。

生成对抗网络(GAN)在训练过程中往往遇到判别器D过优而导致生成器G难以训练的问题,WGAN对于此问题进行了解释^[16]。在WGAN中,将权重参数ω限制在一定范围内,有效控制了判别器D中导数的最值,满足了训练的约束要求。但是随着相关研究应用的增多,发现了此方法的诸多弊端:将参数ω限制后,经过训练优化过程,绝大多数参数ω会集中在区间的边缘,网络更容易出现梯度的不稳定情况,网络的表达能力同样受到很大限制,无法输出更优的结果。Gulrajani等^[17]针对此问题提出了WGAN-GP(gradient penalty)方法, WGAN-GP方法的主要思想是直接通过在判别器D的损失函数上增加梯度约束的方式代替WGAN方法对参数ω值的强制约束,其公式如下:

其中生成器G的损失函数定义为:

判别器D的损失函数增加了一项λEx^~Px^[‖▽x^D(x^)‖2-12],称为梯度惩罚项,其中的x^通过在真实数据与仿真数据之间插值的方式获取;λ为梯度惩罚项权重。与WGAN方法将权重ω强制限制在一个区间内不同,WGAN-GP方法使用了梯度惩罚项的方式,使判别器D在分布间Px^(x^)采样的x^所产生的梯度的二范数在不断迭代和优化的过程中稳定在整数1附近。这种方式克服了参数ω集中在区间边缘的问题,使其在一定区间内得到均匀分布,梯度更加稳定,网络输出的样本质量也更高。

生成对抗网络(GAN)中的生成器G并不是固定的一种模块,因为生成器的设计和选择与任务和数据的特性密切相关,不同的任务和数据需要不同的生成器架构。例如,在图像生成任务中,要求生成器通常需要具备一定的卷积和上采样能力,以便捕捉图像的空间结构和细节特征,而对于文本生成任务,生成器则需要具备一定的自然语言处理能力,以便生成准确、自然的语言序列。因此,在具体应用中,可以根据任务和数据的特性选择不同的生成器架构和模型参数,以达到更好的性能和效果,许多学者也对此进行了研究,进而衍生了很多GAN的变体,包括DCGAN、CycleGAN、SeqGAN、C-RNN-GAN等。

噪声数据作为时序信息,在总体趋势上呈现出随机性,然而在相邻时间步之间通常存在着一定的相关性。为解决噪声合成问题,我们将生成器设计为长短期记忆网络(long short-term memory,LSTM)^[18],LSTM结构由Hochreiter和Schmidhuber于1997年提出,是一种用于处理序列数据的循环神经网络(recurrent neural network,RNN)模型。传统的神经网络模型,网络结构都是从输入层到隐藏层再到输出层,层与层之间存在连接,但是每层的结点间是无连接的,然而在许多任务中,数据中往往富含大量的上下文信息^[19],因此这些结构不能很好地解决这类问题,循环神经网络(recurrent neural network,RNN)就是在这种情况下提出的。LSTM作为RNN模型的一种,在保留了RNN可以利用结点间信息的特点,同时增加了遗忘门结构,使得其能更好地解决序列数据的信息传递和梯度消失问题。

LSTM的基本单元如图2所示,包含遗忘门、输入门和输出门。遗忘门会根据当前输入x_t和上一时刻输出h_t-1决定上一时刻的状态c_t-1中哪些记忆需要被忘掉,继而生成当前时刻的状态c_t。当神经网络忘记了部分之前的状态后,还需要从当前的输入中添加最新的信息,这就是输入门的作用。输入门可以根据x_t和h_t-1决定哪些信息需要加入到更新的上一时刻的状态中,生成当前状态c_t。最后,输出门则会根据当前状态c_t、上一时刻的输出h_t-1和当前的输入x_t来决定当前时刻的输出h_t。本文提出的生成器结构如图3所示,该网络由两层LSTM网络组成,每层网络的单元个数为12,最后在LSTM输出结果后连接一个300×300的全连接网络,最终输出数据大小为(n,300),n为待生成的单周期噪声数量。

对于判别器,由于生成的单周期噪声,数据较短,相比于较长的时序数据,它包含的信息量较少,我们降低了判别器的复杂度,以减小模型训练和推理的时间,提高模型训练的效率。判别器D选择4层全连接网络结构,第一层尺寸为300×512、第二层尺寸为512×1024、第三层尺寸为1024×512、第四层尺寸为512×1。

由于WGAN-GP使用的损失函数是基于 Wasserstein 距离^[16],相比传统的 GAN 中使用的交叉熵损失函数,WGAN-GP 更加关注生成样本和真实样本分布之间的距离,而不是它们之间值的差异,所以在生成器G和判别器D的输出层中均未使用激活函数,而是一个线性层。

此次实采噪声数据集的获取依托广西河池市达墨隧道建设工程,使用未开启信号发射设备,仅开启信号接收设备的采集方法。接收机参数设置,采集通道为 1,叠加次数为 64次,采样率为256 kHz。共使用1 107个采样点数据,每个采样点进行32个周期的采集工作,单个周期的采集数据量为300个,最终获取了35 424个实采噪声数据。为了数据处理结果更加准确,本文利用陈成栋^[20]所使用的基线去除方法对此次使用的单采样点噪声数据进行了预处理,处理后的单采样点噪声数据结果如图4所示。

之后将单采样点噪声数据以周期为单位进行拆分,获得32个单周期数据,单周期数据如图5所示。

最后将单周期数据进行归一化处理,通过以上方式,网络中的判别器D所使用的真实数据集便已经制备完毕。

在生成对抗网络训练中,batch size选择为2 048;学习率为0.000 1,根据网络训练的相关程度进行学习率的手动调整;WGAN-GP方法中的参数λ选择从正态分布中采样。生成器G的输入使用从正态分布中采样的300个点组成的白噪声,经过生成器G的全连接网络输出为同样300个点的仿真噪声数据。将具有300个点,采样间隔为0.033 ms的2 048个实采噪声数据作为判别器D(或者称为评价器C)的输入,输出其判别结果;同时将具有300个点的2 048个仿真噪声数据也输入判别器D,输出其判别结果。我们使用Adam优化器,优化网络模型,进行参数的更新。本次生成对抗网络的训练是在办公电脑上进行的,具体实验环境如下表1所示。

图6中每一方格内均为一经过归一化的单周期噪声数据,通过对比可以看出,在实采数据的形态上,最突出的特点是在早期存在一个频率高,幅值较高的跳跃信号,而在中晚期信号趋于低频低幅值的状态;合成数据形态上,在早期已经可以合成高频高幅值的信号,且与实采数据形态相近,在中晚期也产生了频率更低且幅值更低的数据,但在形态上与实采数据稍有不同。中心极限定理表明,当样本容量足够大时,大量相互独立随机变量的和近似服从正态分布。因此为了概括真实噪声数据与仿真噪声数据的分布状态,本文通过对比21 248个真实噪声数据和24 000个仿真噪声数据的期望和方差所组成的正态分布来诠释此次数据扩充工作的效果。判别器C输入的真实数据均是进行过归一化处理的,所以生成器G产生的仿真数据也均是分布在 [0,1]范围内,此次评价的分布结果也均以归一化的数据为准。

经计算,真实噪声数据的期望为0.460 82,方差为0.035 63;仿真噪声数据的期望为0.436 06,方差为0.041 12。在图7中,合成噪声数据的高斯分布相比于真实噪声数据的高斯分布的中心位置数值更小,分布上更离散。虚线区域标定的是两分布间的重合部分,也就是有效区域,显然此区域在整个合成噪声分布中占据较高的比例,证明了此次扩充工作的有效性。

为了对比实采噪声数据扩充工作的有效性,我们使用扩充前后的噪声数据对降噪网络进行了训练,降噪网络具体结构及参数见作者另一论文。对于降噪效果,我们的评价方法主要采取两个参数,分别是信噪比(signal to noise ratio, SNR)与相关系数(correlation coefficient, CC)。使用信噪比方法主要是评价有效信号与噪声的能量比例关系,较大的信噪比表明噪声去除比较彻底。相关系数方法主要是评价降噪后信号相对于降噪前信号的偏离程度,较大的相关系数值,表明信号未产生过大偏差。SNR与CC的定义公式如式(4)和式(5)所示:

本次实验使用5 000个训练集外合成的含噪数据进行,通过对比信噪比及相关系数两个指标描述信号的质量。 如图8a所示,图中为降噪前数据的信噪比及相关系数分布,颜色越冷代表此处分布的数据数量越少,越暖则代表此处分布的数据数量越多。图中信噪比在区间6.5~12 dB,相关系数为0.99的区间内数值较多,同时信噪比在区间6~8 dB,相关系数为0.98的区间内数据数量同样较大。

首先,为了验证降噪网络的有效性,我们仅使用利用50 000个实采噪声与纯净信号叠加的合成数据训练的网络进行降噪处理。如图8b所示,相比于输入数据,其信噪比均有所提高,相关系数为0.99的区间内信噪比提升至区间8.5~13 dB,相关系数为0.98区间内信噪比提升至区间7.2~9.7 dB,表明使用的降噪方法显著提高了信号的信噪比和相关系数。

之后,我们利用50 000个含实采与仿真噪声的合成含噪数据集训练网络,使用训练的网络进行降噪处理,由图8c可见,使用扩充数据的降噪网络处理过的数据比未使用过的分布更加集中,信噪比在2 dB左右的数据数量明显减少了,整体信噪比产生了明显的提高。将两组数据做差可得图8d,在图中可以观察到,两个处理结果差异最大的部分在相关系数0.98~0.99范围内,相关系数为0.98时,使用扩充数据集的网络处理结果的数量明显少于未使用扩充数据集的网络处理结果的数量;相关系数为0.99时,在信噪比区间8~9 dB内,使用扩充数据集的网络处理结果的数量明显少于未使用扩充数据集的网络处理结果的数量;在信噪比区间11~16.8 dB内,使用扩充数据集的网络处理结果的数量明显多于未使用扩充数据集的网络处理结果的数量。此现象说明了使用扩充数据集使网络降噪结果的相关系数与信噪比均获得了提高,进一步证明了进行数据集扩充工作的有效性。

为了使深度学习降噪模型达到最优状态,数据集的质量和样本数量至关重要。本文提出了一种使用生成对抗网络进行数据扩充的方法,并使用该方法对半航空瞬变电磁实采噪声数据进行了扩充,通过合理设计生成器G和判别器D的结构,生成对抗网络可以以对抗的方式学习仿真和实际采集噪声的样本分布,从而获得与实际采集噪声高度相似的合成噪声数据。我们绘制了真实噪声数据和仿真噪声数据的正态分布图,发现两者存在较大的重叠部分,表明对实际采集噪声数据扩充工作的切实有效性。随后,我们对噪声数据扩充前后的降噪网络表现进行了比较,使用数据扩充后的数据集训练得到的降噪网络,降噪结果的相关系数和信噪比都获得了显著提高,这进一步验证了数据扩充工作的有效性。与传统方法相比,该方法扩充的噪声数据更具有多样性,可以强化噪声数据的特征,使降噪网络更好地抑制噪声,提高降噪网络的表现,对降噪工作的开展具有重要意义。