每年各级海洋监测单位按照全国海洋环境监视监测方案^[1-2]执行监测任务，各阶段的监测任务在执行完毕后，将产生大量的数据报表，这些数据报表最终汇总到国家海洋环境监测中心。国家海洋环境监测中心对这些数据报表进行处理，包括分类、存储、入库等步骤。在上述处理步骤中，入库工作是最复杂的，几乎无法使用人工处理的方式完成。

海洋环境监测数据的入库几乎无法使用人工处理，原因是：(1) 数据量大。海洋环境监测数据的数据量已经到了百万级，如此多的数据人工处理是一种相当大的负担。(2) 数据检查内容较多。例如监测站位的经纬度位置检查、数值取值范围检查等，不可能每个值都经过人工检查。(3) 数据入库要求完整一致。即便个别的数据报表采用人工方式入库，面对复杂的数据库系统也有可能出错，因此需要靠软件系统来保障数据入库后的完整一致。(4) 数据是文件报表。目前海洋环境监测数据的存储方式为文件报表，不能将数据文件通过数据报送系统直接导入数据库中。

因此，研究和实现一种自动化处理海洋环境监测数据集成系统，是十分有必要的，对海洋环境监测数据集成有重要意义^[3]。工作人员可以使用集成系统完成绝大部分数据处理工作，将极大的满足工作需求，也能够保障入库后的数据的完整可靠。

1   系统开发技术选择

C#是一种面向对象的编程语言^[4]。C#的特点是面向对象，而且安全等^[5]。C#与Java相似，也是被编译成中间代码，再经过类似Java虚拟机的.Net Framework平台执行。很多人把C#看成是Java的对手。C#是很适合小型项目快速开发的一种语言，在桌面程序开发上有着很多控件可以方便的使用。

2   系统需求分析

海洋环境监测数据集成系统的用户主要是工作人员。通过使用系统，希望能够实现以下几点功能：

(1) 数据检查。针对数据填报的格式，按照既定的规则可以检查出各种填写错误，例如监测站位的经纬度位置检查、数值取值范围检查、必填信息检查等。

(2) 数据入库。经过数据检查后，将无错误的数据按照数据库的表结构设计导入到数据库中，实现数据的完整性和一致性。

(3) 日志查看。入库后的数据在数据库中留有日志记录，包括入库时间、错误问题等等，可以根据选择的条件查看。

(4) 系统设置。在数据入库前设置数据的缓存目录、报表目录和资料目录等内容。

3   系统设计及分析

3.1   系统架构

海洋环境监测数据集成系统在开发时使用了传统的C/S二层架构^[6]。

(1) 客户端。海洋环境监测数据集成系统的客户端的用户界面和业务逻辑位于同一个平台，客户端处理了用户指令，将业务逻辑中的计算内容集中在客户机上处理。

(2) 服务器端。海洋环境监测数据集成系统的服务器端响应了客户端的请求，执行了数据存取操作。

3.2   入库流程

海洋环境监测数据集成系统的数据入库流程中还包括了数据检查流程。入库总体流程是先进行数据检查，检查通过的数据可以导入到数据库中，并进行报表分类，检查未通过的数据对其进行错误标识，等待人工修正。

入库流程难点解析：

(1) 海洋环境监测数据报表数据如何规范与标准化处理。

海洋环境监测数据报表一直都有规定的标准格式，因此可以基于标准格式的报表直接编写入库代码。但在接收的数据报表中，还存在一定数量的非标准的格式报表，对于这一部分报表，其入库的实现一是在数据检查后自动标识出报表中存在的问题，二是针对这些问题进行人工标准化校正。

(2) 数据库表结构如何与标准化自动对接与匹配。

在数据库表结构与标准化的自动对接与匹配上，采取了可扩展标记语言XML作为通信的载体。通过使用XML将标准格式的数据报表结构定义成与数据库结构相对应的映射文档，然后经过系统解析映射文档，读取报表中相应位置的数据。其中映射文档的名称必须与标准格式报表内部的名称保持一致，才能保证系统能根据标准格式内部的名称找到所对应的映射报表。

(3) 数据检查的错误类型分为几种，如何应对常见错误，如何保证系统在业务化过程中能够满足多数以上的报表能顺利入库，其余的由人工审查和修改达到入库要求。

由于海洋环境监测方案中规定了数据报送必须采用标准格式，而报送的数据多为标准格式报表，因此可以保证多数报表顺利入库，而对于少量的存在问题的报表，可以通过数据检查的方式标识出来，对其错误类型分类，以不同的后缀标识。

数据检查的错误类型可分为六类：

U—非最新格式标准报表；

S—怀疑站位在陆地上；

E—数据内容可能有问题；

X—报表内部格式不正确；

V—怀疑监测指标数值有问；

R—报表内容和之前上报的内容存在重复。

通过错误标识，将问题报表反馈给报送单位，进而可以人工审查和修改达到入库要求。

(4) 入库的数据是经过标准化处理后的，如何保证能找到原始报表数据记录，是否做质量符标示出该数据的质量控制情况 (如错误、可疑、正确等)。

在报表入库前必须备份，这样在数据入库后可以根据入库的报表文件名找到对应的原始报表，进而查看原始数据记录。当然，必须保证入库后的文件名未做修改。

而对于数据的质量控制情况，海洋环境监测数据集系统对监测指标的数值做了范围校验，此范围是依据国家评价标准中规定的范围做的设定。合乎范围的数值视为正确，不做标识；超出范围的数值则在其后标识字母Q，代表可疑；错误的数值则人工反馈给报送单位改正。

3.3   系统部署

由于考虑到将来海洋环境监测数据入库可能会随着数据的报送直接导入到数据库中，因此本系统不打算部署在其他海洋监测单位，仅作为国家海洋环境监测中心的数据处理系统使用。工作人员在使用系统时，将通过专线网络直接将数据导入到数据库中。

4   系统主要模块展示

4.1   整体展示

系统整体设计的较为简洁，主界面设计了四个标签，分别是数据检查、数据入库、日志查看和系统设置，如图 1所示。

图  1  整体展示

Fig.  1  The overall platform

下载: 全尺寸图片 幻灯片

4.2   数据检查

数据检查模块实现了数据报表文件的自动检查。

由于数据为磁盘上的文件报表格式，且是人为填写的，在格式和内容上很容易出现问题，例如监测站位经纬度不正确、数据取值范围不正确、必填信息未填写等问题，因此，在数据入库前有十分有必要进行格式和内容检查。

(1) 选择“数据检查”标签，点击“开始”按钮，开始检查数据格式。

(2) 对于检查成功的数据报表文件，在处理结果中会显示“成功”，反之则显示“失败”。

4.3   数据入库

数据入库模块实现了数据报表文件的自动入库和数据分类操作。该功能为也同时提供了数据检查功能，目的是保证数据入库前正确无误。

数据报表文件在通过数据检查后，将满足数据入库条件。数据检查通过的文件，将会被导入到数据库中，并分类到设定好的目录中。

(1) 选择“数据入库”标签，点击“开始”按钮，开始检查数据报表文件，并对检查通过的数据报表文件直接入库。

(2) 对于入库成功的数据报表文件，在处理结果中会显示“成功”，反之则显示“失败”。

4.4   日志查看

日志查看模块可以查看报表文件经过数据检查和数据入库的处理状态，以及错误信息记录等内容。

选择“日志查看”标签，选择查询条件，查询条件包括“处理日期”、“操作类型”、“处理结果”、“文件名”，点击“查询”按钮。

(1) 处理日期：从某个日期到某个日期，默认不选则为当前日期。

(2) 操作类型：数据入库日志、数据检查日志，默认不选则为全部操作类型。

(3) 处理结果：成功、失败，默认不选则为全部处理结果。

(4) 文件名：查询某一个处理过文件的文件名，默认不选则显示全部文件名。

4.5   系统设置

系统设置模块能让用户配置数据缓存目录、数据报表目录和资料文件目录。还可以配置数据库服务名、用户名和密码。

选择“系统设置”标签，点击浏览按钮“…”，设置要检查数据的“源目录”，设置入库后要分类存放的“报表目录”以及“资料目录”，再设置数据库服务名以及用户名、密码，点击“保存”按钮，最后点击“刷新”按钮。

5   结语与展望

目前来看，海洋环境监测数据集成系统对于全国的海洋环境监测数据的检查和入库较为便捷实用。但随着海洋环境监测信息化建设的发展，越来越多的数据开始使用新建立的海洋生态环境监管系统报送，将海洋环境数据集成系统的功能纳入到海洋生态环境监管系统中是未来建设的趋势。

将来的海洋环境监测数据报表通过海洋生态环境监管系统填写后，如果能够实现自动化导入到数据库中，无论对于数据的统计、评价等工作都是相当便捷的。

当前的海洋环境监测数据集成系统为数据的管理提供了保障，解决了数据检查和入库困难的问题，减轻了工作人员处理数据的负担，提高了海洋信息化建设的发展，得到了管理层的好评与认可。