中国北山地下实验室是建设在甘肃省北山预选区花岗岩场址、位于地下560 m深度、功能较为完备且具有扩展功能、为高放废物地质处置研发和场址评价服务的、具有国际先进水平的地下研究设施,是列入国家“十三五”规划的百项重点工程之一^[1-2],也是我国首座高放废物地质处置地下实验室。在北山地下实验室建设和运行期间,将开展大量现场试验,如地质编录、裂隙编录、水文监测、地应力测量、氡气监测、微震监测等,以获取地下实验室场址地质、水文、地球化学、岩石力学等特征数据和规律,为高放废物地质处置安全评价和处置库研发提供坚实的数据支撑。相关试验数据具有传输距离长,采集周期长,参与单位多,数据类型多,数据量大,数据质量、安全与可追溯性要求高,数据共享、分析与可视化要求高的特点,数据管理难度较大^[3]。常规数据管理系统无法满足北山地下实验室数据管理要求,需要根据地下实验室试验特点、数据特点、用户需求和管理要求定制开发科研数据动态管理系统,实现北山地下实验室大规模科研数据的可靠接入、稳定传输、安全存储和高效使用,提升地下实验室信息化管理能力。

因数据管理的重要性和必需性,国内外高放废物地质处置团队均已开展了数十年数据管理研发工作,开发了各类数据库及软件实现数据导入、存储、查询、管理和可视化等功能。如瑞典开发了GEOTAB和SICADA数据库及水文监测系统、数据管理系统和可视化系统^[3],芬兰相继研发了TUTKA和POTTI数据管理系统^[4⇓-6],法国开发了静态科研数据库、传感器动态监测数据库、文档数据库及Gestech、Geosciences、Geoscope等软件^[7],瑞士研发了Datenmanagement、Geodaten等软件^[3]。国外高放废物地质处置数据管理体系极为重视数据质量管理和数据安全,通过元数据管理、质量检查与审核来确保数据质量,并建立了严格、完善的权限管理机制,限制数据查看和使用范围,确保数据安全,但其数据管理系统缺乏试验信息化管理功能,数据可视化和分析功能不够强大,且建设时间较早,技术架构较为传统,以桌面端软件为主,浏览器端功能较为简单,缺乏移动端。国内高放废物地质处置领域在元数据设计与管理^[8-9]、数据库设计^[10]、地学信息集成^[11]、数据管理系统研发^{[12⇓⇓-15]}等方面开展了大量工作,建设了高放废物地质处置预选区地学信息库及其管理系统,实现了高放废物地质处置前期科研数据的收集、分类、存储和标准化管理,但仍缺乏能够满足地下实验室建设阶段数据管理需求的成熟软件系统。

北山地下实验室于2021年开工建设至今,陆续开展了大量现场试验,为实现现场试验及科研数据的全流程信息化管理,北山团队基于国内外高放废物地质处置科研数据管理经验,以世界一流、长期稳定、自主可控、高扩展性、功能易用为总体目标,于2022年开始建设科研数据动态管理系统,开展了系统性的设计^[16]和研发工作,本文主要对科研数据动态管理系统设计方案及应用现状进行介绍。

北山地下实验室科研数据动态管理系统(下文简称北山数据管理系统)定位于地下实验室大规模、多领域科学试验数据的可靠接入、实时传输与综合管理角色,并为北山地下实验室各类现场试验和科研工作提供可靠支撑。基于北山地下实验室数据管理需求和定位,并参考国外地下实验室数据管理经验,总结归纳出下述总体需求,作为后续设计和开发的依据,以保障地下实验室现场试验和科研工作的顺利开展:

1)应建立数据质量管理机制、元数据管理机制、数据标准体系和权限管理机制,确保数据完整性、可靠性、安全性和可追溯性;

2)系统应具有试验信息化管理、试验数据管理、元数据管理、数据质量管理、二维/三维可视化和系统管理等功能,实现科研数据接入、传输、存储和管理及试验全流程信息化管理;

3)数据编码和数据库应具有可拓展性,能够应对地下实验室运行阶段出现的新的数据需求,同时,北山数据管理系统应具有可拓展性,支持针对需求变化开发新功能,增强系统适用性,扩大应用范围。

从系统定位和总体需求出发,以确保数据完整性、可靠性、安全性和可追溯性为目标,按照统一规划、统一标准、统一架构、统一接口、统一数据库的设计理念,开展总体设计,确定系统总体架构,作为软件功能设计和开发实施的基础。

北山数据管理系统总体架构如图1所示,分为IAAS层(infrastructure as a service)、PAAS层(platform as a service)、SAAS层(software as a service)3个层面。IAAS层采用云平台方案,基于虚拟化技术实现IT基础设施的资源管理。PAAS层基于大数据框架、多数据库引擎技术对各类数据进行分类存储及管理;基于基础设施智慧服务系统(infrastructure smart service system,iS3)提供各类基础服务及组件,为业务功能服务提供支撑。SAAS层则基于基础平台的各类服务实现核心的业务服务,组成各项应用层功能,为用户提供跨平台多终端的应用软件。

北山数据管理系统采用当前较为先进的技术架构体系,确保系统运行效率和稳定性,其采用基于微服务技术的多层应用体系、模块化的设计方法以及B/S(浏览器/服务器)为主的技术架构,使用DevOps模式和技术,统筹整个开发过程,保证软件实现整体过程的快捷性和可靠性。根据数据特点和使用要求选用PostgreSQL、MySQL数据库存储和管理特定数据,使用FastDFS实现分布式文件存储,使用流数据库InfluxDB实现时序数据存储和服务。前端基于Vue框架开发,后端使用Java语言并基于SpringBoot框架开发,选择Nginx作为反向代理服务器,选择Leaflet作为二维可视化引擎,选择Cesium作为三维可视化引擎,使用Geoserver发布GIS数据。

北山数据管理系统主要由系统管理、系统状态管理、基础数据管理、元数据管理、试验信息化管理、试验数据管理、数据质量管理、数据可视化模块组成,如图2所示。

系统管理主要为系统管理人员提供系统资源配置管理功能,包括权限管理、日志管理、数据库管理和系统资源管理。权限管理包括系统角色创建、账号分配、角色权限管理等功能,用户角色主要包括试验人员、数据填报人员、试验负责人、试验联络人、数据管理员、数据使用人员等。日志管理记录系统运行状态及用户访问和操作事件等内容,并提供日志查询、统计分析及导出功能。系统管理员可通过数据库管理功能对底层数据库进行配置、管理和性能优化,通过系统资源管理功能合理分配系统服务、系统硬件等软硬件资源。

系统状态管理包括软件系统监控和硬件系统监控两部分。基于软件服务和硬件设备的数据接口实现软硬件系统运行状态信息采集,并基于地下实验室三维可视化场景,实现实验室运行状态信息管理,支持系统运行状态信息查询检索、统计分析及可视化图表查看等功能,辅助管理人员实时掌握现场情况。

基础数据管理模块主要包括地质数据管理和结构数据管理功能。

1)地质数据管理。提供钻孔、地层、水文等数据的录入、查询、管理、导出等功能;提供钻孔布置图、钻孔柱状图、地质剖面图和三维地质模型等二维/三维地质数据的可视化功能,使地下实验室管理和试验人员可直观的掌握地质环境状况;基于地质数据分析算法,实现二维地质剖面、三维地质剖切等分析功能。

2)结构数据管理。提供BIM模型接入、属性数据接入、模型数据更新、数据查询检索等功能,支持将BIM模型、结构数据接入系统中进行统一管理和使用;利用三维BIM模型建立地下实验室三维场景,支持在系统中直观查看实验室结构和环境;提供模型轻量化处理工具,对BIM模型进行优化,在保证模型效果的前提下进行模型批量压缩处理,保证系统加载及运行效率。

元数据是关于数据的数据,用于记录数据的描述信息,在试验开展过程中,需要记录现场试验和试验数据相关的元数据,并建设元数据库。

元数据管理模块提供元数据定义、编辑、检查、更新和查询等功能,支持查看总览所有数据库信息和数据表信息,支持根据表名、字段、注释、标签查询或浏览数据表信息。

试验信息化管理是保障试验数据质量与安全的重要基础,有助于规范试验流程,加强地下实验室现场试验的系统化、科学化管理,提高现场试验工作效率和管理效率,确保地下实验室工程建设与现场试验有效衔接,以获得完整、真实和可追溯的现场试验数据。

试验信息化管理模块主要包括单位人员管理、试验方案管理、试验三维可视化、试验过程控制和试验成果管理等功能。单位人员管理提供现场试验单位及人员的管理功能,明确各单位的职责分工,实现各单位及人员的权限管理。试验方案管理提供试验设计方案和实施方案的提交、变更与评审管理功能。试验三维可视化主要包括试验进度查看、实验室结构与地质环境三维可视化、人员硐室信息查看、传感器布设点位查看、传感器状态查看及统计等功能。试验过程控制主要包括试验进度控制、试验质量控制、传感器布设管理和试验验收管理等功能。试验成果管理主要对试验成果进行分类归档,便于后期查询及管理,同时提供试验成果的审核管理功能,确保试验成果的可靠性。

试验数据管理模块是北山数据管理系统的核心,负责试验数据接入、传输、审核、存储、使用和管理,在保障试验数据质量、数据安全和数据可追溯性的同时,为用户提供强大完善的数据管理功能。

支持用户配置数据模板,提供静态数据手动录入和批量导入功能及传感器数据动态接入功能,支持数据库、数据文件和数据接口等形式的数据源接入;提供数据上传、同步、多级缓存、分布式存储及备份功能,实现数据可靠传输与存储;提供数据审核功能,试验基础信息、试验数据和试验成果需经试验负责人审核无误后,才能接入系统中进行发布和使用;提供数据查看、查询检索、分析应用、数据导出等功能,试验数据在发布后,可依据数据权限提供给相关人员使用;提供数据报表功能及数据对比、关联、统计等基础分析功能。

数据质量管理模块支持质量规则定义、质量检查、质量分析、质量提升和质量报告等功能,保障和提升试验数据质量。

支持用户基于质量规则模板选择或自定义配置质量规则,质量规则模板内容包括空值检查、值域检查、规范检查、逻辑检查、记录缺失检查、一致性检查、离群值检查、波动检查等。质量检查支持将质量规则应用于选定数据库或数据表中,对数据一致性、完整性、准确性、唯一性和规范性进行检查,并对数据质量问题进行自动告警。质量分析支持通过直方图、柱状图、散点图、折线图、箱型图等工具查看数据分布情况,支持自动计算数据方差、标准差、均值、中位数等统计信息。支持制订质量提升方案,对数据质量问题进行整改,提升数据质量。支持生成质量分析报告,报告内容应包括数据质量检查与分析结果及数据统计分布等信息。

数据可视化支持折线图、柱状图、雷达图、饼状图、散点图等多种形式的图表可视化功能,便于用户支持自动生成图表并导出;支持遥感影像、地质数据、监测数据、钻孔数据等空间数据的可视化功能;支持BIM模型、三维模型、三维点云等三维数据的可视化功能;支持二维/三维数据接入及发布,供后续可视化和交互查询使用;支持三维模型接入后进行轻量化处理并自动发布为三维服务资源;提供可视化配置,二维/三维场景可视化浏览及交互查询功能,支持二维/三维几何对象和属性数据的关联查询。

基于上述总体需求、总体设计和功能设计,北山数据管理系统目前已开发完成试验信息化管理等核心功能并初步投入内测及使用,下面主要介绍系统的应用现状。

1)主页。用户登录后,进入系统主页(如图3所示),系统自动展示当前用户数据权限下的试验大项,可以查看试验大项基本信息及统计信息,点击进入按钮可进入试验大项功能模块。

2)方案管理。用户进入试验大项功能模块后,可查看当前试验大项下的方案管理、试验层级管理、试验人员、试验设备、试验数据、工作日志管理、过程文件管理、验收管理等功能页面。其中,方案管理主要针对于设计方案和实施方案(如图4所示),支持添加、编辑和删除设计方案,支持上传相关附件并填写文件编码、文件名称和备注等信息,便于管理人员实现流程的规范化管理。

3)试验数据。试验数据包括静态数据模版、试验数据填报和试验数据查询等功能页面。在静态数据模版页面可以添加、查看、编辑、发布和启用静态数据模板(如图5所示),只有数据模板发布并启用后方可填报相应的试验数据。

在试验数据查询页面(如图6所示),可查看或查询当前试验大项下已审核通过的试验数据,支持多维度查询和高级检索,支持数据导出和数据分析。

4)试验数据分析。用户在查询检索试验数据时,可通过数据分析功能(如图7所示),指定数据项,对其进行统计或分析,可自动计算得到最小值、最大值、均值、中位数、总体方差和总体标准差等信息,可统计得出数据分布(直方图、区间统计),并对分析结果通过可视化图表形式进行直观展示,便于开展后续数据分析报告编制等工作。

5)数据可视化展示。基于GIS、BIM和二维/三维可视化技术,集成试验信息、数据统计、施工进度、安全风险、视频监控、软硬件系统状态和地下实验室BIM模型等信息,通过大屏进行综合展示(如图8所示),支持跳转至试验信息化管理和试验数据管理界面,便于实时监控和管理现场试验状态。

北山数据管理系统在设计和开发过程中,充分借鉴了国外地下实验室数据管理经验,吸收其先进理念和管理方法,克服其存在的缺陷和局限性。从数据质量管理、元数据管理、数据安全管理、数据分析、二维/三维可视化、技术架构、移动应用等方面,将北山数据管理系统同瑞典、芬兰、法国和瑞士的地下实验室数据管理系统进行对比分析,如表1所示。

北山数据管理系统在设计阶段即开始考虑后期扩展和更新需求,通过顶层设计确保系统可拓展性,设计先进、功能全面,实现科研数据采集、传输、存储、管理和使用的全流程动态管理,支持元数据管理、数据质量管理和数据安全管理。北山数据管理系统设计优点及先进性包括:

1)支持网页端和移动端等多种形式的数据管理服务,使用便捷,支持用户通过小程序随时查看试验情况和上传试验数据;

2)支持试验信息化管理,能够有效提高现场试验工作效率和管理效率;

3)具有强大的数据可视化功能,支持各种图表可视化、空间数据可视化及三维数据可视化,支持通过大屏实时监控和管理现场试验信息;

4)具有丰富的数据分析功能,包括统计、对比、关联分析和地质数据分析功能,并预留数据接口以支持二次开发及第三方专业分析软件调用。

本文针对北山地下实验室数据管理需求,提出了科研数据动态管理系统设计方案,介绍了总体设计和功能设计内容,并将该系统初步应用于北山地下实验室现场试验流程管理及数据管理,取得了良好的效果。

在北山地下实验室建设过程中,会不断新增现场试验,用户需求和使用场景将不断变化和更新,且北山数据管理系统主要面向建设阶段需求,无法完全满足地下实验室运行阶段需求。因此,北山数据管理系统仍需不断优化完善,拓展开发更多新功能,以满足不断变化的使用场景和用户需求。

此外,安全评价需要对高放废物地质处置引起的辐射危害进行系统性评价,在这个过程中,将会对地下实验室研发过程中产生的科研数据进行综合性分析,对数据完整性、可靠性和可追溯性提出了严格要求。因此,需将数据完整性、可靠性和可追溯性理念融入北山数据管理系统研发过程中,采取数据质量管理、可追溯管理、数据权限管理、元数据管理等各种手段,开发出符合安全评价要求的数据管理系统,为我国首座高放废物地下实验室的建设和后期安全运行提供坚实的数据和技术支撑。