基于DC-UNet卷积神经网络的强噪声压制方法

doi:10.11720/wtyht.2023.1386

基于DC-UNet卷积神经网络的强噪声压制方法

周慧^,, 孙成禹^,, 刘英昌, 蔡瑞乾

中国石油大学(华东) 地球科学与技术学院,山东青岛 266580

A method for strong noise suppression based on DC-UNet

ZHOU Hui^,, SUN Cheng-Yu^,, LIU Ying-Chang, CAI Rui-Qian

School of Geosciences,China University of Petroleum(East China),Qingdao 266580,China

通讯作者: 孙成禹(1968-),男,教授,主要从事地震波传播理论和地震勘探方法的教学和研究工作。Email:suncy@upc.edu.cn

责任编辑: 叶佩

收稿日期: 2022-10-13 修回日期: 2023-08-8

基金资助:

国家自然科学基金项目(42174140)

Received: 2022-10-13 Revised: 2023-08-8

作者简介 About authors

周慧(1997-),女,硕士研究生,主要从事基于深度学习的地震强噪声压制方面的研究工作。Email:2577156309@qq.com

摘要

在成熟工业区采集地震数据的过程中,由于生产设备的持续运转,使得采集到的地震数据含有大量振幅很强的局部强噪声,难以用常规的去噪方法压制。将U-Net网络与空洞卷积结合,建立了适用于局部强噪声压制的空洞卷积DC-UNet网络。DC-UNet网络前端的循环空洞卷积块使用循环扩张的空洞卷积核提取不同尺度的强噪声特征信息,并且扩大了感受野;网络后端使用编码器提取强噪声特征,编码器还原强噪声细节特征。DC-UNet网络实现从含噪数据到噪声的非线性映射,通过从含噪数据减去学习到的强噪声,达到压制强噪声的目的。在GPU环境使用Pytorch框架进行训练,合成数据和实际数据实验结果表明,相较于DnCNN、U-Net、PCA-UNet网络,DC-UNet网络能更好地压制局部强噪声并且提高了信噪比。

关键词： 局部强噪声; 空洞卷积; 卷积神经网络

Abstract

Seismic data acquired from mature industrial areas frequently contain a large amount of local strong noise with high amplitude due to the continuous operation of production equipment.However,such local strong noise can be hardly suppressed using conventional denoising methods.This study integrated dilated convolution(DC) and U-Net into a DC-UNet network for suppressing local strong noise.For the circular DC blocks at the front end of the DC-Unet network,a circularly expanded DC kernel was used to extract the features of strong noise at different scales,with the receptive field being expanded.Meanwhile,an encoder was used at the back end of the network to extract the features of strong noise and restore the details of strong noise.Subsequently,the DC-UNet network was employed to perform a nonlinear mapping from noisy data to noise.On this basis,strong noise was suppressed by subtracting the learned strong noise from the noisy data.As indicated by the experimental results of synthetic and real data obtained from the training using the PyTorch framework in the GPU environment,the DC-UNet network can effectively suppress the local strong noise and improve the signal-to-noise ratio compared with DnCNN,U-Net,and PCA-UNet networks.

Keywords： local strong noise; dilated convolution; convolutional neural network

PDF (6456KB) 元数据多维度评价相关文章导出 EndNote| Ris| Bibtex 收藏本文

本文引用格式

周慧, 孙成禹, 刘英昌, 蔡瑞乾. 基于DC-UNet卷积神经网络的强噪声压制方法[J]. 物探与化探, 2023, 47(5): 1288-1297 doi:10.11720/wtyht.2023.1386

ZHOU Hui, SUN Cheng-Yu, LIU Ying-Chang, CAI Rui-Qian. A method for strong noise suppression based on DC-UNet[J]. Geophysical and Geochemical Exploration, 2023, 47(5): 1288-1297 doi:10.11720/wtyht.2023.1386

0 引言

随着地震勘探技术的发展,对地震资料处理后的质量要求越发严格,处理地震数据朝着高信噪比、高分辨率、高保真度的“三高”标准发展。深度学习在图像去噪^[1]、图像语义分割、故障诊断方向得到了广泛应用。近年来,由于深度学习在各个方向的优异表现,逐渐将其引入地震资料处理,应用于断层识别、地震数据去噪等方面。

常规去噪算法包括利用傅里叶变换的F-X域去噪^[2⇓-4]、利用Radon变换的τ-p域去噪^[5]以及曲波域去噪^[6]、小波变换去噪等算法^[7-8],这些算法通常为将原始数据进行某种变换处理,在变换域识别噪声与有效信号的差异,并设置阈值压制噪声所处区域,然后进行反变换达到去噪的目的。

深度学习利用现有数据中噪声与信号的关系进行智能去噪,基于深度学习的图像去噪方法也被应用于地震数据去噪中。Zhang等^[9]提出去噪卷积神经网络(DnCNN),利用残差学习和批量归一化提高去噪能力和计算效率。韩卫雪等^[10]利用卷积神经网络去除地震随机噪声。Alwon^[11]提出了用生成对抗网络(GANs)进行地震随机噪声压制。于四伟等^[12]利用CNN对随机噪声、线性噪声、多次波进行压制。Wang等^[13]通过CNN利用合成数据中的噪声作为模型训练时期的标签,让模型学会识别数据中的噪声。张攀龙等^[14]使用改进的U-Net去除随机噪声。罗仁泽等^[15]将U-Net网络加入残差块增强对随机噪声的压制。Li等^[16]采用多尺度扩张网络消除沙漠地震噪声来避免特征细节缺失。Yu等^[17]首次将空洞卷积聚合多尺度上下文信息用于密集预测。随后逐渐有学者将空洞卷积结合U-Net,用于改进U-Net网络。这种将空洞卷积结合U-Net的改进网络可以叫作DC-UNet网络(dilate convolution Unet),在图像分割领域得到了广泛应用。张华博^[18]、薛海洋^[19]都是将U-Net编码器输出结果使用多个空洞卷积进行不同尺度的特征提取融合,再输入编码器。

局部强噪声与有效信号在视速度、频率范围难以区分,没有一个明确的函数表达。工业区使用节点仪器采集地震信号,在长时间记录地震信号的过程中,相邻两炮的间隔期间,记录下的数据没有反射信号,是相对纯净且数量充足的噪声数据,这些噪声数据可以作为网络学习的标签,通过神经网络的学习,建立出一个典型的去噪模型。DC-UNet使用空洞卷积核代替传统卷积核,获得更大的感受野。将循环空洞卷块添加到U-Net网络的前端,循环的空洞卷积核获得的特征图通过串联融合提取不同尺度特征,将获得的信息通过残差学习的方式输入常规的U-Net的网络中。以局部强噪声作为标签,DC-UNet网络形成含噪数据和局部强噪声的非线性映射关系,使得训练出的强噪声更加接近于实际噪声。

1 常规U-Net去噪网络原理

1.1 常规U-Net的网络结构

常规U-Net的网络结构是DC-UNet网络结构的基础,该网络结构如图1所示。

图1

新窗口打开| 下载原图ZIP| 生成PPT

图1 常规U-Net的网络结构

Fig.1 Network structure of conventional U-Net

常规的U-Net网络由扩展通道和压缩通道两部分组成。压缩通道是卷积网络的典型架构。它是由两个卷积核尺寸为3×3的卷积层重复组成,此时特征通道数由1变为64,后一个卷积层跟着一个线性整流激活函数ReLU和一个尺寸为2×2卷积核、滑步为2的最大池化层。通过最大池化操作进行下采样,此时的通道数变为上一步的两倍,即通道数从64变为128,对应的特征图变为原来的一半。重复操作直到通道数变为1024,扩展通道每一次对特征图进行卷积核尺寸为2×2的反卷积,特征通道数的数量变为原来的一半,再与对应压通道的特征图拼接,后面跟着两个卷积层和激活函数ReLU,重复操作直到通道数为64,再进行一个卷积核为1×1的卷积层,最终输出的通道数为1。将压缩通道的高分辨率特征图与扩张通道的上采样特征图相结合,不仅使特征图的分辨率提高,也减少了上下层特征图信息的丢失。

1.2 常规U-Net去噪原理及存在的问题

U-Net的压缩通道和扩展通道相当于一个解码器和编码器,解码的过程中,通过下采样获得不同尺度的特征信息;编码的过程中,通过跳跃连接获得同层深度的特征信息,实现含噪信号到噪声或是有效信号的非线性映射。

U-Net应用到压制局部强噪声,虽然因为解码、编码以及跳跃连接可以融合不同尺度的噪声特征,但是噪声特征信息从1~64通道只有一个卷积层和激活函数ReLU,对噪声的低维特征没有充分的学习。说明以强噪声为标签,U-Net网络从含噪地震数据非线性映射学习到的局部强噪声,需要进一步提取噪声的低维特征信息,才能更加接近实际强噪声,从而更好地压制局部强噪声,保留地震数据的反射信息和细节特征。

2 DC-UNet 网络

DC-UNet网络是结合空洞卷积的U-Net网络。使用空洞的卷积核可以获得更大的感受野,即学习的特征信息更详尽。空洞卷积核进行卷积操作,对强噪声的特征信息提取融合,达到充分学习强噪声特征信息的目的。因此可以使用一组循环的空洞卷积核提取强噪声的低维特征信息,减少强噪声特征信息细节方面的丢失。

空洞卷积即指卷积核注入空洞,可以通过改变空洞率将卷积核扩展到指定大小,并将原卷积核未填充的区域填充0。感受野是特征图上一个点对应的输入区域,感受野越大则包含的特征信息更多。因此结合空洞卷积扩大了卷积核的有效感受野,这有助于提高模型对强噪声特征的学习能力。

如果将o表示为空洞率,原始卷积核的大小表示为k,用d表示空洞卷积核的大小,则d可以表示为:

(1)

d = [o \times (k - 1) + 1]

。

如果s是无噪数据,n是局部强噪声,y是含噪数据,则y可以表示为:

(2)

y = s + n

。

通过DC-UNet的网络学习,能够研究局部强噪声的特征并进行预测。因此为了得到无噪数据s,我们只需要从含噪数据y中减去DC-UNet预测的局部强噪声n。

2.1 循环空洞卷积

前面的学者将空洞卷积应用在解码器和编码器之间,即下采样和上采样之间的卷积操作用的是空洞卷积核,进行不同尺度的特征提取、融合。此外相同尺寸的跳跃连接的方式是concatenate,即特征图在一个方向上堆叠。

获得局部强噪声的特征信息需要从不同的尺度对噪声的特征进行学习,同时要求更大的感受野来获得噪声特征信息,因此需在U-Net网络架构的前端增添循环空洞卷积块。循环空洞卷积块的组成如图2所示。

图2

新窗口打开| 下载原图ZIP| 生成PPT

图2 循环空洞卷积块

Fig.2 Circular dilated convolution block

图2中的循环空洞卷积块循环使用空洞率为1和2的卷积核。当卷积核大小为3×3,空洞率为1时,此时的卷积操作与常规的卷积是相同的;当卷积核大小依旧是3×3,而空洞率变为2时,虽然实际卷积核仍为3×3,但空洞卷积核变为5×5,此时感受野的大小为7×7。循环空洞卷积核不仅扩大了感受野,而且减少了特征信息的丢失,保证了特征信息的连续性。各个空洞的卷积层获得的特征图,通过数据拼接,再用64个大小为3×3的1-空洞(空洞率为1)的卷积核进行特征提取,实现了特征信息的串联融合。

2.2 网络结构

比起前面学者做的DC-UNet网络,明显的变化是在U-Net前端添加了循环空洞卷积块,后端相同尺度的特征图之间的跳跃连接是用add的方式,即特征图对应位置元素相加。

DC-UNet神经网络结构如图3所示。循环空洞卷积块获得更大的感受野并学习更详细的噪声特征,进而获得接近于标签的最佳值传入下一层网络,有利于获得噪声的特征信息和分布规律,使去噪性能有效提升。输入数据经过循环空洞卷积块后,通过残差学习模块输入后面的U-Net结构中,即输入数据x进行跳跃连接和通过空洞卷积块的f(x)相加再输入后端的网络中,这样尽可能地保留了特征信息。

图3

新窗口打开| 下载原图ZIP| 生成PPT

图3 DC-UNet网络结构

Fig.3 Network structure of DC-UNet

比起常规U-Net用最大池化的方式进行下采样,笔者通过滑动卷积的方式实现数据降维和数据量的减小。此时卷积核的大小为2,滑动步长的大小也为2,填充为0。图4为下采样示意。最大池化保留卷积核对应输入数据邻域最大特征点。比起最大池化,使用滑动卷积能够更好地保留数据的特征。

图4

新窗口打开| 下载原图ZIP| 生成PPT

图4 下采样示意

Fig.4 Schematic diagram of downsampling

DC-UNet和U-Net都是过反卷积的方法实现上采样从而使特征图的大小变为原来尺寸的两倍。这里的卷积核和滑步大小都为2,在输入的特征图间隔插入填充,这样使由于下采样尺寸缩小的特征图恢复了原始尺寸。

这里的DC-UNet比起前人的DC-UNet是有区别的。首先使用空洞卷积核提取特征信息的方式和在网络架构的位置是不同的。前人将单一的空洞卷积核放在下采样和上采样之间的卷积层提取高维特征信息,然后将卷积层提取特征信息通过对应元素相加的方式进行特征融合。而笔者是将循环的多个空洞卷积核用于特征信息低维信息提取,拼接特征通道之后,再用空洞卷积核提取特征信息,实现串联融合并且用残差模块输入后端网络。循环的空洞卷积核保证了特征信息的连续性。其次是解码器和编码器之间的跳跃连接和下采样方式不同。前人使用的跳跃连接是concatenate和最大池化,这里用add的方式实现特征信息融合和使用滑动卷积进行下采样。

3 模型数据测试

利用有限差分声波正演合成地震记录,加入强噪声变成含噪数据。强噪声的显著特征是振幅强且与有效信号的频率范围重叠。由于难以通过人工合成与实际采集相似的强噪声,所以加入的强噪声是实际节点采集强噪声集中的部分作为噪声。工区由两条测线组成,采样时间间隔为1 ms,每道12 001个采样点。选取其中32炮地震记录含有强噪声的部分,位于直达波上下,共有5 000个大小为200×200的强噪声标签。图5就是其中一条测线的3炮地震数据。图5b红色方框中的强噪声按照采样时间叠加的能量,可以看出强噪声的能量在直达波上下的变化浮动不大。图5c是按道叠加能量,可以看出图5b、c的能量变化是基本吻合的,同时看出强噪声的能量不随偏移距增加改变。

图5

新窗口打开| 下载原图ZIP| 生成PPT

图5 实际测线数据

a—按采样时间叠加能量;b—其中一条测线的3炮地震数据;c—按道叠加能量

Fig.5 Actual line seismic data

a—stacking energy on time;b—3 shot seismic data from one of the lines;c—stacking energy on trace

通过改变速度模型的地层厚度,随机生成90个大小为(3 500×1 750 m)的层状介质模型,采用间距为5 m的网格进行离散,震源为主频25 Hz的Ricker子波(如图6星号)。一共生成90组正演数据,每组正演数据一共700道,采样时间间隔为1 ms,每道1 400个采样点,图6 为具有基础的4层层状介质模型。图7为对应的正演地震记录。

图6

新窗口打开| 下载原图ZIP| 生成PPT

图6 层状介质模型

Fig.6 Layered medium model

图7

新窗口打开| 下载原图ZIP| 生成PPT

图7 模型对应的合成地震记录

Fig.7 Synthetic seismic record corresponding to the model

地震节点可以进行全时段、全空间的数据采集。除了记录主动源数据,还记录了大量被动源数据。记录下长时间的强噪声拥有足够的数据可以作为标签来进行学习强噪声特征。图8为几个具有代表性的强噪声标签。

图8

新窗口打开| 下载原图ZIP| 生成PPT

图8 不同位置的强噪声

Fig.8 Strong noise in different positions

由图8可以看出强噪声位于不同的位置,增加了强噪声标签的多样性,从而丰富了样本库中含噪信号。为了清晰地表示去噪效果,可以用信噪比(SNR)、峰值信噪比(PSNR)作为衡量去噪效果的指标,分别定义为:

(3)$PSNR=10 \times \lg \frac{\max \left(x_{0}^{2}\right)}{M S E},$

(4)$SNR=10 \times \lg \frac{\sum_{i=1}^{P} f\left(x_{0}^{2}\right)_{i}}{\sum_{i=1}^{P} f\left(x_{n}^{2}\right)_{i}} \text {, }$

式中: $m a x (x_{0}^{2})$ 表示信号数据中最大能量;MSE是均方误差,即数据的差异程度;P为道数; $f (x_{0}^{2})_{i}$ 、 $f (x_{n}^{2})_{i}$ 分别为第i道信号数据和噪声数据的能量。

DC-Unet网络的具体参数设置为:初始学习率0.001,使用Adam算法,网络的输入和输出大小设置为200×200;采用pytorch框架,NVIDIA RTX A6000的GPU进行加速。

图9a是无噪数据,加入强噪声得到图9b加噪数据。测试DnCNN、U-Net、对强噪声进行主成分分析再输入U-Net、DC-UNet的去噪效果。

图9

新窗口打开| 下载原图ZIP| 生成PPT

图9 无噪数据(a)和加噪数据(b)

Fig.9 Noise-free data(a) and noisy data(b)

图10、图11分别对应着DnCNN、U-Net、对强噪声进行主成分分析(PCA)再输入U-Net(简称PCA-UNet)、DC-UNet这4种方法进行30轮、50轮训练后,去噪效果对比图10a~d可以看出,4种去噪方法在第30轮训练后,DnCNN、U-Net和PCA-UNet对噪声的压制效果都不好,DC-UNet在浅层的有效信号保留的较好,可以明显看到直达波。图10e~f可以看出去除的噪声中都有有效信号,说明在压制噪声的过程中,有效信号都有不同程度的损伤。

图10

新窗口打开| 下载原图ZIP| 生成PPT

图10 第30轮训练后不同去噪方法去噪对比

a—DnCNN去噪结果;b—U-Net去噪结果;c—PCA-UNet去噪结果;d—DC-UNet去噪结果;e—DnCNN去除的噪声;f—U-Net去除的噪声;g—PCA-UNet去除的噪声;h—DC-UNet去除的噪声

Fig.10 Denoising comparison of different denoising methods after the 30 training

a—DnCNN denoising results;b—U-Net denoising results;c—PCA-UNet denoising results;d—DC-UNet denoising results;e—noise removed by DnCNN;f—noise removed by U-Net;g—noise removed by PCA-UNet;h—noise removed by DC-UNet

比较图11a~d,同样可以看出DC-UNet对噪声的压制的去噪效果最好。从图11b、d的红圈看出,U-Net恢复了浅层反射信息,DC-UNet对噪声压制效果最好。这一点也可以从图11e~f压制的噪声看出,DC-UNet残留的反射信息最少。

图11

新窗口打开| 下载原图ZIP| 生成PPT

图11 第50轮训练后不同去噪方法去噪对比

a—DnCNN去噪结果;b—U-Net去噪结果;c—PCA-UNet去噪结果;d—DC-UNet去噪结果;e—DnCNN去除的噪声;f—U-Net去除的噪声;g—PCA-UNet去除的噪声;h—DC-UNet去除的噪声

Fig.11 Denoising comparison of different denoising methods after 50 training

去噪前,含噪信号的信噪比是-7.161dB,峰值信噪比是为17.618 dB。图12是4种方法4轮网络训练后的信噪比和峰值信噪比。

图12

新窗口打开| 下载原图ZIP| 生成PPT

图12 去噪评价指标

Fig.12 Denoising evaluation index

可以看出4种方法随着训练轮数的增加,信噪比和峰值信噪比呈上升趋势。在训练稳定时,DC-UNet压制噪声后的信噪比和峰值信噪比最高。DnCNN压制噪声后,信噪比是负值,可能是DnCNN不适用压制强噪声,只压制了部分噪声,却压制了大部分有效信号,使有效信号与噪声的能量比比压制之前还小。

使用主成分分析(PCA)对噪声信号降维,考虑噪声在经过降维之后作为标签输入网络和使用原始数据输入是否对去噪结果产生影响。可以看出,强噪声通过主成分分析降维再输入U-Net网络,和直接输入U-Net,两者效果相差不大。

比较4种方法的去噪结果和对应的信噪比和峰值信噪比,可以看出随着训练的轮数增加,每种方法的去噪效果都有所提升。当去噪效果趋于稳定时,DC-UNet的去噪效果最好,说明DC-Unet能够学习强噪声的特征,并成功的在含有强噪声的地震数据中压制强噪声部分。对比去噪前后的残差,有效信号和强噪声有了明显的分离,能较好地保留有效信号,说明此时DC-UNet可以很好地满足去噪要求。

4 实际资料测试

图13是训练第30轮时,用U-Net、DC-UNet对红色方框中的地震数据进行去噪的结果和相应的F-K谱。当训练第30轮时,比较图13b、c可以明显的看出,DC-UNet压制强噪声的效果更好,还有部分强噪声没有被压制。可以明显看出图13e、f的F-K谱中,有效信息更加明显。

图13

新窗口打开| 下载原图ZIP| 生成PPT

图13 比较30训练轮后的实际地震数据去噪结果及对应的F-K谱

a—实际含噪地震数据;b—U-Net去噪结果;c—DC-UNet去噪结果;d—含噪数据的F-K谱;e—U-Net去噪结果的F-K谱;f—DC-UNet去噪结果的F-K谱

Fig.13 Compare the actual seismic data denoising results after the 30 training and the corresponding F-K spectrum

a—actual noisy seismic data;b—U-Net denoising results;c—DC-UNet denoising results;d—F-K spectra of noisy data;e—F-K spectra of U-Net denoising results;f—F-K spectra of DC-UNet denoising results

图14是训练第50轮时,用U-Net、DC-UNet对红色方框中的地震数据进行去噪的结果和相应的F-K谱。图14a、b对强噪声的压制效果都很好,比较两种去噪结果的F-K谱(图14c、d),难以判断哪种去噪结果更好,但是比较图14e、f去除的噪声中的有效信号多少来看,DC-UNet的去噪效果更好。比较图13和图14,发现随着训练轮数的增加,去噪效果也越好。网络学习的目标是学习强噪声,使预测的强噪声接近于实际,再从含噪数据中去掉这些强噪声。从实际含噪数据的F-K谱可以看出,强噪声频率范围和实际数据是有重叠的,难以通过频率滤波直接滤除。比较不同训练轮数对应的去噪结果的F-K谱,当去噪结果中的F-K谱明显看不到强噪声对应的部分,并且随着训练轮数的增加F-K谱不再明显变化时,说明学习的强噪声的效果较好,达到了最佳训练轮数。

图14

新窗口打开| 下载原图ZIP| 生成PPT

图14 比较50训练轮后的实际地震数据去噪结果及对应的F-K谱和去除的噪声

a—U-Net去噪结果;b—DC-UNet去噪结果;c—U-Net去噪结果的F-K谱;d—DC-UNet去噪结果的F-K谱;e—U-Net去除的噪声;f—DC-UNet去除的噪声

Fig.14 Compare the actual seismic data denoising results after the 50 training with the corresponding F-K spectrum and noise removal

a—U-Net denoising results;b—DC-UNet denoising results;c—F-K spectrum of U-Net denoising results;d—F-K spectrum of DC-UNet denoising results;e—noise removed by U-Net;f—noise removed by DC-UNet

5 结论

在DC-UNet网络中使用了一组循环的空洞率,串联融合特征信息,增加了不同尺度的特征信息和扩大特征图的感受野,减少噪声细节方面的丢失,使学习到的强噪声接近于实际强噪声,从而使压制强噪声的效果更好。通过合成数据测试和实际数据测试,体现出具有更优越的去噪性能。结果表明,在实际数据应用中,在保留实际数据有效信号的同时,可以将强噪声很好地压制。

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

Shahdoosti

H R

, Rahemi

Edge-preserving image denoising using a deep convolutional neural network

[J]. Signal Process, 2019, 159(3):20-32.

DOI:10.1016/j.sigpro.2019.01.017 URL [本文引用: 1]

[2]

冯兴强, 杨长春, 龙志祎.

基于奇异值分解的f-x-y域滤波方法

[J]. 物探与化探, 2005, 29(2):171-173.