1. 建立空间数据库的原理、方法和步骤
一、目标任务
1.主要工作任务
《1∶25万内陆干旱区地下水资源评价塔里木盆地地下水勘查空间数据库》是在综合研究已有资料的基础上,补充野外实际工作,建立了58个标准图幅的1∶25万空间数据库。
2.技术要求
采用中国地质大学开发的MAPGIS软件平台,完全依照中国地质调查局提出的各项技术标准,执行中国地质调查局最新修订的《西北地下水资源勘查评价空间数据库工作指南》2.0版及其他相关标准。对选定的58幅1∶25万标准图幅综合水文地质图、地质图、生态环境水文地质图、地貌图、地下水开发利用规划图、地下水水化学类型图、地下水资源分布图、平原区地下水质量分区图、综合水文地质剖面图、重点流域等水位线图等图件进行数字化处理和空间数据库的建立。
参考标准或引用标准:
GB 2260中华人民共和国行政区划代码
GB 9649地质矿产术语分类代码
GB/14157水文地质术语
GB/T 14538-93综合水文地质图图例及色标(1∶200000~1∶500000)
GB/T 14848地下水质量标准
GB/T 13923-92,国土基础信息数据分类与代码(中国标准出版社,1992)
DZ/T 0197-1997数字化地质图图层及属性文件格式(国家行业标准)
西北地下水资源勘查评价空间数据库工作指南
3.提交成果
1)数据库成果(光盘汇交):见表6-1。
2)文档:属性表、图幅基本概况表、工作日志、自检表、互检表、质检组检查表、图面检查表。
表6-1 成果汇交光盘物理存储结构
3)塔里木盆地地下水勘查包括58个标准图幅的水文地质专业图件共7张彩色喷墨全要素图各1张、重点流域等水位线图3张和综合水文地质剖面图1张。
4)《1∶25万内陆干旱区地下水资源评价塔里木盆地地下水勘查空间数据库》建库报告一份。
二、工作方法及流程
(一)项目组织与实施
项目由新疆地质调查院组织,由水文地质工程地质、绘图、计算机等专业技术骨干组成,严格按照规范和技术要求实施。
(二)工作方法
概据任务书的要求,收集、购买已出版的塔里木盆地58幅图的地理信息数字化成果数据,采用中国地质大学开发的MAPGIS6.1软件平台,将此数据在经纬秒格式下进行拼接,按《西北地下水资源勘查评价空间数据库工作指南》标准对地理属性进行了修改。各类专业图件经过专业人员的编图,经审查合格后,采用彩色或灰度扫描,进行图形数字化,做到图元丢失率为0,误差小于0.02mm,其精度均达到设计要求。数据在矢量化过程中以作者原图为主的原则,属性内容以报告和图面内容相结合的方法采集,成果资料中没有的不予反映。
(三)工作流程
本次数据库建设完全按照《西北地下水资源勘查评价空间数据库工作指南》的具体要求,对相关数据资料进行整理。在MAPGIS支持环境下完成图形数据的输入和编辑,利用Access系统下创建的满足《西北地下水资源勘查评价空间数据库工作指南》数据结构要求的数据表,完成外挂属性数据的录入,并实现图层与属性数据的连接。
1.数据信息组成
根据新疆塔里木盆地地下水勘查总体设计书的要求,确定此次工作数据信息的内容为基础地理、基础地质、社会经济信息、水文地质信息(含水文地质条件、水文地质观测、地下水资源等)、环境地质信息、元数据信息,具体的数据信息与内容见表6-2。
表6-2 主要数据类型与数据特征
2.图层划分
新疆塔里木盆地空间数据库的建设,从基础资料图件到成果表达图件,多数内容涉及大量的矢量图形。因此,标准化处理必须确定各种图件的图层划分、图元、属性等方面的内容,以使图形库最大限度地达到共享。图形分层主要考虑到便于图形的操作、管理和计算,同时考虑数据本身的专业数据特点。图层划分详见表6-3 。
表6-3 塔里木盆地地下水勘查空间数据库图层划分
续表
注:#代表含水层编号,含水层未分时,#用“0”替代。
图6-1 工作流程示意图
3.数据准备阶段
作者原图及简单图件用二值或灰度,以300dpi精度扫描,复杂图件用彩色以300DPI精度扫描。所有图件的图式图例参数说明文件放入README文件夹中。
4.数据矢量化阶段
放大70倍进行图件的数字化处理。点线数字化时,要保证其准确性和自然光滑,有坐标的点采用单点展绘的方法直接投影到1∶25万图中,保证了精度。线数字化时,为确保拓扑时弧段不变形,未采用MAPGIS系统提供的线圆滑功能。
5.检查矢量化图件
喷绘数字化图件,对照原图进行自检、互检、抽检,并由水文地质专家进行100%的检查,确保矢量化后的图形数据与原图件一致性和完整性。
6.误差校正
塔里木盆地面积大,横跨4个带。各带图件经检查无误后,生成基于原图高斯北京投影带方式的理论图框,进行误差校正。每标准图幅采集13个控制点,除4个角点外,其余点均匀分布在图幅内。
7.无投影格式下重新拓扑
将检查无误的数据投影到经纬度格式。在经纬度下再进行各带各类图件的拼接,为确保套合精度,重新进行拓扑,录入面属性,再将参与做面的线从整体拓扑图层中弧转线中分离出来,做线属性。
8.喷绘图件
对参与整体拓扑的图层进行拓扑处理、错误检查、修改,然后编辑区颜色。将各图层形成工程文件后,彩喷出图。再由绘图专业人员和水文地质专家对照原图检查,检查出错误进行修改,再出图,再次检查,直至完全无误,最后彩喷成果图件。
9.填写属性卡片
属性卡片的内容以原图和原报告为主要依据。
10.录入属性
在MAPGIS属性库管理模块中将各图层ID号和图元编号做唯一。
11.转换文件格式
将经纬度格式下的属性文件,生成E00文件,转入ARCINFO中,形成最终的ARCINFO格式数据。
工作流程见图6-1。
2. 简述一个数据库应用系统的建立过程
数据库应用系统的开发是一项软件工程。一般可分为以下几个阶段:
1.规划
2.需求分析
3.概念模型设计
4. 逻辑设计
5.物理设计
6.程序编制及调试
7.运行及维护。
这些阶段的划分目前尚无统一的标准,各阶段间相互联接,而且常常需要回溯修正。
在数据库应用系统的开发过程中,每个阶段的工作成果就是写出相应的文档。每个阶段都是在上一阶段工作成果的基础上继续进行,整个开发工程是有依据、有组织、有计划、有条不紊地展开工作。
1.规划
规划的主要任务就是作必要性及可行性分析。
在收集整理有关资料的基础上,要确定将建立的数据库应用系统与周边的关系,要对应用系统定位,其规模的大小、所处的地位、应起的作用均须作全面的分析和论证。
明确应用系统的基本功能,划分数据库支持的范围。分析数据来源、数据采集的方式和范围,研究数据结构的特点,估算数据量的大小,确立数据处理的基本要求和业务的规范标准。
规划人力资源调配。对参与研制和以后维护系统运作的管理人员、技术人员的技术业务水平提出要求,对最终用户、操作员的素质作出评估。
拟定设备配置方案。论证计算机、网络和其他设备在时间、空间两方面的处理能力,要有足够的内外存容量,系统的响应速度、网络传输和输入输出能力应满足应用需求并留有余量。要选择合适的os,dbms和其它软件。设备配置方案要在使用要求、系统性能、购置成本和维护代价各方面综合权衡。
对系统的开发、运行、维护的成本作出估算。预测系统效益的期望值。
拟定开发进度计划,还要对现行工作模式如何向新系统过渡作出具体安排。
规划阶段的工作成果是写出详尽的可行性分析报告和数据库应用系统规划书。内容应包括:系统的定位及其功能、数据资源及数据处理能力、人力资源调配、设备配置方案、开发成本估算、开发进度计划等。
可行性分析报告和数据库应用系统规划书经审定立项后,成为后续开发工作的总纲。
数据库应用系统的开发是一项软件工程,本文介绍了数据库应用系统的开发步骤……
2.需求分析
需求分析大致可分成三步来完成。
(1) 需求信息的收集, 需求信息的收集一般以机构设置和业务活动为主干线,从高层中层到低层逐步展开
(2) 需求信息的分析整理, 对收集到的信息要做分析整理工作。数据流图(dfd, data flow diagram)是业务流程及业务中数据联系的形式描述。图4.1是一个简单的dfd 示例。
数据字典(dd, data dictionary)详细描述系统中的全部数据。
数据字典包含以下几个部分。
· 数据项:是数据的原子单位。
· 数据组项:由若干数据项组成。
· 数据流:表示某一数据加工过程的输入/输出数据。
· 数据存储:是处理过程中要存取的数据。
· 数据加工过程 数据加工过程的描述包括:数据加工过程名、说明、输入、输出、加工处理工作摘要、加工处理频度、加工处理的数据量、响应时间要求等。
数据流图既是需求分析的工具,也是需求分析的成果之一。数据字典是进行数据收集和数据分析的主要成果。
(3) 需求信息的评审. 开发过程中的每一个阶段都要经过评审,确认任务是否全部完成,避免或纠正工作中出现的错误和疏漏。聘请项目外的专家参与评审,可保证评审的质量和客观性。
评审可能导致开发过程回溯,甚至会反复多次。但是,一定要使全部的预期目标都达到才能让需求分析阶段的工作暂告一个段落.
需求分析阶段的工作成果是写出一份既切合实际又具有预见的需求说明书,并且附以一整套详尽的数据流图和数据字典。
3.概念模型设计
概念模型不依赖于具体的计算机系统,他是纯粹反映信息需求的概念结构。
建模是在需求分析结果的基础上展开,常常要对数据进行抽象处理。常用的数据抽象方法是‘聚集’和‘概括’。
er方法是设计概念模型时常用的方法。用设计好的er图再附以相应的说明书可作为阶段成果
概念模型设计可分三步完成。
(1) 设计局部概念模型
① 确定局部概念模型的范围
② 定义实体
③ 定义联系
④ 确定属性
⑤ 逐一画出所有的局部er图,并附以相应的说明文件
数据库应用系统的开发是一项软件工程,本文介绍了数据库应用系统的开发步骤……
(2) 设计全局概念模型
建立全局er图的步骤如下:
① 确定公共实体类型
② 合并局部er图
③ 消除不一致因素
④ 优化全局er图
⑤ 画出全局er图,并附以相应的说明文件。
(3) 概念模型的评审
概念模型的评审分两部分进行
第一部分是用户评审。
第二部分是开发人员评审。
4.逻辑设计
逻辑设计阶段的主要目标是把概念模型转换为具体计算机上dbms所支持的结构数据模型。
逻辑设计的输入要素包括:概念模式、用户需求、约束条件、选用的dbms的特性。
逻辑设计的输出信息包括:dbms可处理的模式和子模式、应用程序设计指南、物理设计指南。
(1) 设计模式与子模式
关系数据库的模式设计可分四步完成。
① 建立初始关系模式
② 规范化处理
③ 模式评价
④ 修正模式
经过多次的模式评价和模式修正,确定最终的模式和子模式。
写出逻辑数据库结构说明书。
数据库应用系统的开发是一项软件工程,本文介绍了数据库应用系统的开发步骤……
(2) 编写应用程序设计指南
根据设计好的模式和应用需求,规划应用程序的架构,设计应用程序的草图,指定每个应用程序的数据存取功能和数据处理功能梗概,提供程序上的逻辑接口。
编写出应用程序设计指南。
(3) 编写物理设计指南。
根据设计好的模式和应用需求,整理出物理设计阶段所需的一些重要数据和文档。例如,数据库的数据容量、各个关系(文件)的数据容量、应用处理频率、操作顺序、响应速度、各个应用的lra和tv、程序访问路径建议,等等。这些数据和要求将直接用于物理数据库的设计。
编写出物理设计指南。
5.物理设计
物理设计是对给定的逻辑数据模型配置一个最适合应用环境的物理结构。
物理设计的输入要素包括:模式和子模式、物理设计指南、硬件特性、os和dbms的约束、运行要求等。
物理设计的输出信息主要是物理数据库结构说明书。其内容包括物理数据库结构、存储记录格式、存储记录位置分配及访问方法等。
物理设计的步骤如下:
(1) 存储记录结构
设计综合分析数据存储要求和应用需求,设计存储记录格式。
(2) 存储空间分配
存储空间分配有两个原则:
①存取频度高的数据尽量安排在快速、随机设备上,存取频度低的数据则安排在速度较慢的设备上。
②相互依赖性强的数据尽量存储在同一台设备上,且尽量安排在邻近的存储空间上。
从提高系统性能方面考虑,应将设计好的存储记录作为一个整体合理地分配物理存储区域。尽可能充分利用物理顺序特点,把不同类型的存储记录指派到不同的物理群中。
(3) 访问方法的设计
一个访问方法包括存储结构和检索机构两部分。存储结构限定了访问存储记录时可以使用的访问路径;检索机构定义了每个应用实际使用的访问路径。
数据库应用系统的开发是一项软件工程,本文介绍了数据库应用系统的开发步骤……
(4) 物理设计的性能评价
① 查询响应时间
从查询开始到有结果显示之间所经历的时间称为查询响应时间。查询响应时间可进一步细分为服务时间、等待时间和延迟时间。
在物理设计过程中,要对系统的性能进行评价。性能评价包括时间、空间、效率、开销等各个方面。
⊙ cpu服务时间和i/o服务时间的长短取决于应用程序设计。
⊙ cpu队列等待时间和i/o队列等待时间的长短受计算机系统作业的影响。
⊙ 设计者可以有限度地控制分布式数据库系统的通信延迟时间。
② 存储空间
存储空间存放程序和数据。程序包括运行的应用程序、dbms子程序、os子程序等。数据包括用户工作区、dbms工作区、os工作区、索引缓冲区、数据缓冲区等。
存储空间分为主存空间和辅存空间。设计者只能有限度地控制主存空间,例如可指定缓冲区的分配等。但设计者能够有效地控制辅存空间。
③ 开销与效率
设计中还要考虑以下各种开销,开销增大,系统效率将下降。
⊙ 事务开销指从事务开始到事务结束所耗用的时间。更新事务要修改索引、重写物理块、进行写校验等操作,增加了额外的开销。更新频度应列为设计的考虑因素。
⊙ 报告生成开销指从数据输入到有结果输出这段时间。报告生成占用cpu及i/o的服务时间较长。设计中要进行筛选,除去不必要的报告生成。
⊙ 对数据库的重组也是一项大的开销。设计中应考虑数据量和处理频度这两个因数,做到避免或尽量减少重组数据库。
在物理设计阶段,设计、评价、修改这个过程可能要反复多次,最终得到较为完善的物理数据库结构说明书。
建立数据库时,dba依据物理数据库结构说明书,使用dbms提供的工具可以进行数据库配置。
在数据库运行时,dba监察数据库的各项性能,根据依据物理数据库结构说明书的准则,及时进行修正和优化操作,保证数据库系统能够保持高效率地运行。
6.程序编制及调试
在逻辑数据库结构确定以后,应用程序设计的编制就可以和物理设计并行地展开
程序模块代码通常先在模拟的环境下通过初步调试,然后再进行联合调试。联合调试的工作主要有以下几点:
数据库应用系统的开发是一项软件工程,本文介绍了数据库应用系统的开发步骤……
(1) 建立数据库结构
根据逻辑设计和物理设计的结果,用dbms提供的数据语言(ddl)编写出数据库的源模式,经编译得到目标模式,执行目标模式即可建立实际的数据库结构。
(2) 调试运行
数据库结构建立后,装入试验数据,使数据库进入调试运行阶段。运行应用程序,测试
(3) 装入实际的初始数据
在数据库正式投入运行之前,还要做好以下几项工作:
(1) 制定数据库重新组织的可行方案。
(2) 制定故障恢复规范
(3) 制定系统的安全规范
7.运行和维护
数据库正式投入运行后,运行维护阶段的主要工作是:
(1) 维护数据库的安全性与完整性。
按照制定的安全规范和故障恢复规范,在系统的安全出现问题时,及时调整授权和更改密码。及时发现系统运行时出现的错误,迅速修改,确保系统正常运行。把数据库的备份和转储作为日常的工作,一旦发生故障,立即使用数据库的最新备份予以恢复。
(2) 监察系统的性能。
运用dbms提供的性能监察与分析工具,不断地监控着系统的运行情况。当数据库的存储空间或响应时间等性能下降时,立即进行分析研究找出原因,并及时采取措施改进。例如,可通修改某些参数、整理碎片、调整存储结构或重新组织数据库等方法,使数据库系统保持高效率地正常运作。
(3) 扩充系统的功能
在维持原有系统功能和性能的基础上,适应环境和需求的变化,采纳用户的合理意见,对原有系统进行扩充,增加新的功能。
3. 空间数据库的建立
空间数据库包括属性库和图形库。建立图形库的基本方法是地图扫描矢量化。首先将地图扫描为栅格数据,通过栅格数据矢量化追踪出点、线;然后进行线拓扑错误检查,纠正拓扑错误;最后将线转换成弧段,建立拓扑关系,形成区文件。地图扫描矢量化具有速度快、精度高、自动化程度高等优点,正在成为 GIS 中最主要的地图数字化方式。为满足 GIS 分析、处理图件的要求,还需对图件进行处理,即通过 MapGIS 里的误差校正功能将所有图件调整到同一位置,便于以后的叠加分析,并通过投影变换将所有图件标准化。详见图 3-33。
利用 MapGIS 属性库管理子模块创建农用地分等属性库,具体包括单元编号、所属镇村、行政代码、面积(公顷)、分等因素指标值、分等指数等单元的基本属性(图 3-34)。
图3-33 MapGIS建立图形数据效果图
图3-34 MapGIS属性库管理界面
4. 中亚地区空间数据库建库技术流程
本文在ArcGIS 9.2系统支持下,采用中国地质调查局地质调查技术标准(DD2006-06)——数字地质图空间数据库的建库标准,本标准是根据地质调查数据产品生产的需要及以往数据模型建模的实践,基于地理信息应用模式规则(ISO 19109)与地理信息空间模式(ISO 19107)、以ESRI的地理数据库描述框架、UML和关系数据库规范化理论为基础,采用面向对象(地理数据库模型)的建模技术,在空间数据模型研究的基础上,建立反映数字地质图数据(实体)、数据(实体)之间的联系以及有关语义约束规则的形式化表述,为数字地质图数据的共同理解提供基础。本文参照该标准,结合中亚地区地质图的实际情况,适当选取各数据库要素类、对象类和综合要素类,构建中亚地区地质图空间数据库。
1.中亚地质图数据库结构定义
(1)数据库各要素类定义
采用下列要素对地质图空间数据库要素类、对象类和综合要素类进行描述与定义:
实体名称:实体数据的中文名称;要素类名称:要素类的中文名称;
对象类名称:对象类的中文名称;
综合要素类名称:综合要素类的中文名称;
要素对象与综合要素类编码:数据项名称的标准化编码;
空间数据类型:指点线面类型;
数据类型:指数据存储的类型数据存储的类型,一般包括字符型(C)、单精度数值(S)、双精度数值(D)、长整形(L)、整形等(I),对于特殊系统的数据类型,需要明确说明;
与其他实体的关系:表示该实体与其他实体的关系,如:拓扑关系或依赖关系;
数据存储长度:存储于某一特定系统平台的字节数,为系统默认值;
数据显示长度:数据用于信息表达的长度,字符型数据说明字符个数,数值型数据说明小数点前后的位数,如F8.2,不确定长度的数据项需明确说明;
约束条件:确定数据项是否填写,按照以下三类规定,可选(O)、必选(M)、条件必选(C);若为必选(M)时,可填写是否为空(NOT NULL);
默认值/初始值:确定数据项在初始状态下的值;
值域范围:明确给出数据项的取值范围;
数据项描述:对需要进一步说明的数据项进行描述。对于特殊表达格式的数据项也需在此说明,如多数值表达的分隔符,特殊符号的表达描述等;
主关键字名称:用以标识记录的唯一性,并用于和其他实体进行关联的数据项的名称;
子关键字名称:和主关键字一起用以标识记录的唯一性,并用于和其他实体进行关联的数据项的名称;
索引键名称:用于按照一定规律排序的数据项的名称;
注释要素类编码:注释要素类数据项名称的标准化编码。
1)组成地质图空间数据库要素数据集包括三大类:基本要素数据集、综合要素数据集和对象数据集。地质图空间数据库要素、对象的分类、描述要素、对象的内容、要素、对象的关系描述见表7-2。
表7-3 沉积(火山)岩岩石地层单位(_strata)
2.数据库建库技术流程
按照统一的分类标准扫描地质图矢量入库后,在地质图上按各个要素进行分类,参照每一幅地质图说明书逐一进行属性录入。本文基于数字制图技术的地质图空间数据库建库技术流程图如图7-18所示:本文采用的建库流程是参考国家数字地质图建库标准,结合中亚地区地质图图幅要素的实际情况,以及在ArcGIS 9.2平台上建库的实际操作过程,在矢量化过程中,采用以线性地质要素(断层,地质界线,岩性边界等)矢量为起点,以线跟踪,线拷贝为中心,最后以线转面(feature to polygon)的方法生成各面类地质图层,然后对临时面文件按各地质要素进行分类,导入各图幅的标准地质数据库中,再进行属性数据的录入。
图7-17 地理数据库模型的地质图类图
在建库过程中,第一步,对扫描地质图进行几何校正,本文在ERDAS IMAGINE 9.2软件的支持下,采用多项式几何校正法,按一次方,选取图纸网格线交点作为控制点,每幅图至少选取20各控制点,进行几何校正,精度保证在0.5个像素以内,即10米的精度内,完成对中亚地区扫描地质图的几何校正。
第二步,在ArcGIS Catloge平台上,按照前文讨论的各地质要素数据集,各地质要素字段创建数据库表结构。在统一的建库标准下建立完整的中亚地区地质图数据库。每一幅地质图形成一个单独的地理数据库(geodata base),每个库包含相同的数据结构和字段类型,每一个属性表形成一个图层,存放对应的地质几何要素;并在各自的数据库下增加临时线文件、临时面文件,用来保存第一步线形矢量化后未分类的图形数据。
在矢量化过程中,我们首先对断层要素进行矢量,因为断层线性平滑,多数断层是地层岩性的公共边界。断层矢量完成后紧接着对所有岩性边界进行矢量,包括沉积岩地层、侵入岩地层和变质岩地层边界,岩性边界数据存入临时线文件,是一个单独的线要素图层,在矢量时,如果断层恰好是岩性边界的界线或公共边,这时,为保证几何图形拓扑一致性,我们采用“线跟踪”或“线拷贝”的方法将公共边界的断层线直接拷贝至“临时线”图层。凡是作为公共边界的线,我们都采用同样的方法进行矢量,比如“地质界线”图层与其他面状要素的公共边界等。
图7-18 基于GIS数字制图技术的地质图空间数据库建库技术流程
完成各岩性界线的矢量后,检查若没有遗漏,利用ArcGIS空间分析模块的“线转面”(feature to polygon)工具,将临时线文件转换为临时面文件,设定闭合容差为10 米。转换完成后按照沉积岩、侵入岩、变质岩和水域进行面状要素的分类,逐一导入各自相对应的单独的图层中。对于脉岩(面)要素、产状(线)要素、火山口和矿点(点)要素基本很少与其他图层共用边界,因此,直接对这些要素单独进行矢量便可。最后进行图形的质量检查,包括划分岩性类别检查,几何拓扑检查,检查无误且没有遗漏后,导入标准库中。这样基本完成了一幅扫描地质图11类地质要素的图形矢量工作,下一步,主要参考图例、柱状图和地质图说明书进行属性录入。如流程图7-16所示。最后,检查属性数据的录入完整无误后,便可进行下一图幅的矢量工作。
建立数字地质图数据库,目的在于最有效地保存和交流使用数据,按规范对扫描地质图进行数字化;设计和建立中亚地区数字地质图数据库,实现地质图原始资料客观描述的、数字化的、统一分类的、图文一体化的资料存储和管理,为中亚地区金、铜矿床基于GIS空间分析奠定了统一的基础和完整的数据平台。数字地质图数据库的建立也为将来三维数字矿床研究、矿体立体定量预测、地矿资源评价、勘查数据管理等提供数据平台支持。
5. 工作流程与建库方法
松嫩平原地下水资源及其环境问题调查空间数据库包括野外数据采集系统、数据录入系统、数据库信息应用系统、数据库检查验收系统和综合成果管理系统五个组成部分。系统具备了数据录入、编辑、管理、浏览、查询、质量控制等功能,同时可以进行简单的数据处理操作。
属性数据库的录入是按照《水文地质环境地质调查信息系统使用手册》中的数据格式及要求在数据录入系统中完成的。
空间数据库的建设是按照《地下水资源调查评价数据库标准》的具体要求进行的,调查资料和收集资料的录入是主要由黑龙江和吉林两省地质调查院完成,之后实施单位进行汇总、检查。
一、工作流程
包括资料准备(图形图像资料、文字资料、专业数据资料的收集、图件预处理、图件的分层及清绘处理)、数据采集、属性表编制、图形数字化、属性库的录入、图形属性挂接、图形编辑修改、图形误差校正、图形投影转换、建立图库、质量检查、成果汇交、文档管理等工作(图14—1)。
二、建库方法
(一)资料准备
资料准备工作包括1∶25万地理底图的转化及修编;资料的收集、筛选、分类、整理;熟悉数据库信息系统和数据库标准等。首先对工作区内以往的水文地质环境地质资料进行收集、整理、筛选,进行资料的可靠性、准确性及实用性分析,把内容完整、数据可靠、内容可用的资料分类挑选出来,作为准备入库的资料。由于收集的原始资料时间跨度大,格式、资料内容与数据库要求的格式不一致,在录入之前必须对收集资料内容进行整理,有的还需要进行单位换算,提炼出所需资料。对实测资料有缺少项目等情况,及时与调查人员联系,进行了必要补充。将整理好的收集资料及实测资料,按照技术要求进行统一编号,为了确保图元编码的唯一性,统一编号由17位数字组成,即:经度8位+纬度7位+识别码2位。
(二)属性数据的录入与检查
将整理、筛选出来的资料,分门别类地分配给不同的工作人员进行计算机录入。由于所录入资料的专业性较强、数据量大、内容参差不齐,录入时需要随时进行分析,因此入库资料全部由专业人员完成,以保证入库数据的质量和准确性。地下水资源调查的数据表是一对多个主从表结构关系,因此在数据录入过程中,必须先输入主表数据,再录入从表数据。特别是野外水文地质点基础表是所有相关数据关联的基础,在输入新的调查点资料之前,必须先输入该表中的数据。为了保证录入数据的质量,采取的保障措施是每录入完一份资料马上与原始资料对照检查,避免时间过长容易忘记。
图14—1 空间数据库建设工作流程图
1.水文地质钻孔综合表的录入
按照数据库提供的录入表内容,主表水文地质钻孔综合表包括地层描述、井径变化、井管结构、填砾止水、测井曲线和含水层划分6个分表。
由于以往资料各家使用的钻孔综合成果表的内容表达方式不尽相同,与数据库中给定的表格内容不是一一对应,特别是松嫩平原的含水层多,白垩系含水层划分不明确,所以这部分资料内容录入整理的工作量很大。在收集到的钻孔资料中给出的位置坐标全部是大地坐标,首先要把大地坐标转换成经纬度,然后进行统一编号,再进行录入。由于钻孔综合成果表中内容多,数据库表中所需的内容要到成果表中各项目中查找,查找起来需要很长时间,并且有一些项目需要进行计算,如填砾厚度,需要用孔径和井径进行计算;钻孔变径描述、钻孔井管结构、水文地质钻孔填砾止水结构、地质钻孔含水段厚度等是在柱状图中按比例尺量算的,然后按比例尺换成深度。含水层厚度的确定,在钻孔综合成果表中给出的含水层厚度是整个钻孔揭穿的含水层总厚度,但数据库需要分段填写,这部分数据根据岩性描述确定出含水段的位置,计算含水层厚度,分段含水层的厚度之和与成果表中的含水层总厚度保持一致。在录入过程中,钻孔资料按原始数据100%录入,不遗漏每一项数据(图14—2、图14—3)。
图14—2 数据库中钻孔资料关联表
图14—3 数据库中的钻孔资料
2.抽水试验成果表的录入
收集的抽水试验资料一般都在钻孔综合成果表中,没有原始的抽水试验记录,在钻孔综合成果表中只有不同落程抽水试验总的观测时间、稳定时间、水位恢复时间、水位降深、涌水量及抽水试验成果。为了避免在录入完成综合成果表后,漏录抽水试验成果表,在录入过程中,对钻孔资料首先录入抽水试验成果表,然后再录入综合成果表。对于本次获得的实测资料,由于观测记录中涌水量单位为m3/d,数据库中要求为L/s,必须先进行换算,然后再进行录入,工作比较繁琐,在转换过程中容易出现数据错误,所以在录入前先进行涌水量单位换算,然后再进行录入和检查。本次施工的钻孔抽水试验则依据原始抽水试验记录录入。
3.水、土样品采集记录表的录入
(1)野外水样采集记录表的录入
野外采样是按年度工作区分三年完成的,录入工作也是按年度进行。地下水水质分析样包括水质全分析、简分析、微量元素分析、同位素分析样和地表水样。野外水样采集记录表与水质分析综合成果数据表及同位素测试综合成果数据表是一套相关联表(图14—4),首先录入测试数据表,然后录入野外水样采集记录表,再录入水质分析综合成果表和同位素测试数据。
(2)野外土壤样品采集记录表的录入
该表包括土壤易溶盐分析和土壤污染分析成果表,在录入过程中先录入野外土壤样品采集记录表中相关内容,然后录入土壤易溶盐分析调查表中的各项内容。
4.野外调查卡片的录入
野外调查卡片随着野外工作的开展按年度分期录入,野外工作分三年进行,录入过程也分三年进行。
(1)机民井调查记录表的录入
在野外调查过程中,不同地区分潜水和承压水分别进行调查。在录入中有时同一个点既调查了深层水、又调查了浅层水,同一个点,两个不同的内容,这时就要特别注意,不能将第一个点替换掉,只能用统一编号来区分。调查点平面位置示意图和地形地貌、含水层剖面图采用灰度扫描,扫描精度为300 dpi,扫描后部分进行矢量化,生成JPEG图像插入录入系统中,部分直接生成JPEG图像插入录入系统中(图14—5)。
图14—4 数据库中水样采集记录与水质分析综合成果数据表
图14—5 数据库中机民井调查表
(2)土地盐渍化野外调查表的录入
在录入该表格时,表中有“年内最高水位”和“年内最低水位”,由于在野外仅靠一次观测没办法查明这两项内容,所以该项内容录入不全或不够准确。表中的样品采集情况一栏,字段数少、取样较多,有的时候各取样深度不能全部录入。
表中调查点平面示意图,采用扫描精度为300 dpi,进行灰度扫描,扫描后进行矢量化,生成JPEG图像插入录入系统中(图14—6)。
(3)地表水点综合调查数据表的录入
地表水体调查点包括湖泊、河流等调查点,按照野外提供的表格直接进行录入,地貌、地质剖面素描图及调查点平原位置示意图采用扫描精度为300 dpi,灰度扫描,扫描后部分进行矢量化,生成JPEG图像插入录入系统中,部分直接生成JPEG图像插入录入系统中(图14—7)。
(4)地下水污染综合调查表的录入
该项工作只在黑龙江省做了少量调查,已全部录入,调查点平面位置示意图,采用精度为300 dpi,灰度扫描,将扫描图直接生成JPEG图像插入录入系统中。
(5)泉点野外调查记录表、水源地综合调查表、野外水文地质点调查表、野外水文地质调查路线表、土地荒漠化野外调查表的录入。
这些表的数据整理及录入均按照录入表式填写录入,所涉及的剖面或平面示意图采用精度为300 dpi,灰度扫描,将扫描图直接生成JPEG图像插入录入系统中。
图14—6 数据库中土地盐渍化野外调查表
图14—7 数据库中地表水综合调查表
5.地下水观测井基本情况表的录入
这部分内容按照数据库中提供的表格逐项目录入,主要录入了地下水位人工监测数据记录表、地下水位监测数据成果汇总表、地下水水温监测原始记录表,地下水位监测资料从2003年8月至2005年8月,每5天监测一次,共监测2年。
6.地下水位统测野外记录表的录入
该表录入的资料为2003年、2004年、2005年不同时期的统测资料,该表在录入过程中,由于技术要求下达较晚,野外统测时,定位点坐标精度差,资料取得后,录入人员将数据全部录入数据库中,待技术要求下达后,对统测点又重新进行野外定位,使得录入资料全部重新录入。
7.地下水位统测汇总表的录入
该表由地下水位统测野外记录表自动生成,共体现了2003~2005年3年4次统测资料,2003年丰水期1次、2004年枯、丰水期2次统测、2005年枯水期1次统测。在3年4次的统测中,有一部分统测井由于某种原因,不能在同一个井连续进行,只能换成其他点进行统测。有一些点坐标没有改变,只是水位及标高改变,这一类点,在录入过程中在井口标高和井深中都已经填写上了新换点(图14—8)。
8.试坑渗水试验观测记录表的录入
该表录入了2003年和2004年资料,该项工作做得不多,资料较少,但作为第一手资料,比较宝贵。内容按数据库中的表格要求录入。试坑平面位置示意图采用扫描精度为300 dpi,灰度扫描,扫描后进行矢量化,生成JPEG图像插入录入系统中(图14—9)。
9.汇总与数据备份
由于数据库录入工作量大、内容多,必须由多人分工完成,因此要通过数据汇总将多台机器上的数据库中的数据汇总到一个数据库上。分头录入的资料一般每周汇总一次,汇总时由汇总人员对录入的资料进行抽查,一般抽查率在20%~30%。为了避免数据丢失,在进行数据汇总前先将数据做一备份,以防万一。
(三)图形数据库的建立
空间图形数据库的建立分为7个阶段进行:
第一阶段:完成属性库的录入工作。属性数据录入的完成是《地下水资源调查应用系统》中自动生成各类调查点图层的前提。
图14—8 数据库中地下水位统测数据汇总表
图14—9 数据库中试坑渗水试验综合成果汇总表
第二阶段:编绘1∶25万地理底图。根据技术要求,进行修编,涵盖了主要交通干线、河流、居民地、省、市、县界线、松嫩平原界线等。图面清晰明了,满足绘制成果图件的要求。
第三阶段:成果图件矢量化。每张成果图件均由编图人员在喷绘的1∶50万地理底图上绘制,然后采用300 dpi扫描,形成栅格化文件,再由建库人员利用Map GIS将图像配准到已矢量化、修编好的地理底图上,所有经纬网交叉点都作为控制点采集对象,保证了图像配准的精度,最后完成数字化制图。
第四阶段:检查、修改成果图件,熟悉《地下水资源调查应用系统》和《地下水资源调查评价数据库标准》对地下水资源数据库图层的划分及其属性结构,做好图形入库的准备工作。
第五阶段:从已有的成果图件中提出数据库中所需要的图层,并赋予属性。每个图层文件都要在Map GIS中设置好投影参数,并且与成果图件投影参数保持一致,均为兰伯特等角圆锥平面直角坐标系。
第六阶段:将属性库文件和成果图件中提出的图层文件导入《地下水资源调查应用系统》中。具体操作如下:①在该系统中增加一个新工作区,连接属性数据库文件,设置投影参数为兰伯特等角圆锥1∶25万平面直角坐标系;②导入已修编好的地理底图;③根据系统中空间数据库部分的目录树所列图层和属性库中各类调查点的数据,依次生成点图层,并且由系统自动挂接属性文件;④将已编辑好的线、区图层导入本系统;⑤更新地图参数,系统会将各类图层重新投影为新建工作区时所设的投影参数,保证了各类图层在空间位置上相对一致性(图14—10~图14—13)。
图14—10 数据库中的地貌分区图层
图14—11 数据库中潜水含水岩组岩性分区图层
图14—12 数据库中潜水富水性分区图层
图14—13 数据库中2004年丰水期水位埋深等值线图
6. 数据库的建立步骤
1、单机开始->所有程序2、进入所有程序->Microsoft office文件夹3、找到Access,open 它!4、点击新建->空白数据库->修改文件名->创建5、在表一上右击,选择“设计视图”6、在另存为对话框中将表名称改为701班->字段名称第一行输入序号->单击数据类型下的自动编号后的倒三角->数字->第二行输入姓名,数据类型为文本7、在701标签上右击——>选择数据表视图8、打开数据表后输入学生姓名和成绩9、点击文件保存
7. 空间数据库建立
在遥感图像处理系统空间数据库的建立过程中,由于我们的大部分资料来源于现有的地图,因而以地图的数据处理,采用扫描矢量化的数字化手段进行数据录入,各种地图处理,数据入库工作流程可分为预处理、图形扫描数字化、图层数据建立拓扑关系、建属性数据库、图层矢量数据与属性数据联接、投影转换、图幅拼接、图面整饰、数据入库九个阶段。如图7-9所示。
图7-9 数据采集工作流程图
(1)图形预处理
资源信息是多源和多尺度的。毫无疑问,对这些资料的初步整理是数字化工作进程的重要一环。
本系统将采用统一的坐标系统,坐标系为1980西安坐标系,高程系为1985国家高程基准。所有的图形数据均应该转换到此坐标系。
(2)图形扫描数字化
在地图数据采集过程中,由于地图原图质量、内容、比例尺和扫描过程中的种种因素,根据纸介质地图的图形要素和彩色特征提取的分层图仍会带有各种噪声以及不需要的其他一些信息,为了获得正确的、干净的数据,在数字化之前,要进行二值化、去脏、光滑、断线修补、细化处理等预处理步骤。
(3)图层数据建立拓扑关系与图形编辑
矢量化后的各图层,利用ArcGIS软件提供的功能建立拓扑关系,在建拓扑关系时会发现图形数据错误,要进行编辑、修改,再重新建立拓扑关系,这一过程可能做多次,直到数据正确为止。
(4)建属性数据库
按已采集的属性数据表,和标准规定格式,利用通用的数据库管理软件建立分层数据库,文字型数据要按标准代码录入。
(5)图层矢量数据与属性数据联接
按图元编码(用户ID)将矢量数据与属性数据联接。对于已建立联接的各类空间数据和属性数据,通过ArcGIS 系统对它们做进一步的编辑和修改,确保数据库的准确性和完整性。在ArcGIS 系统中,图形数据被分成“点”、“线”、“面”三种几何要素,它们都有各自相关的属性,在进行拓扑处理后,这三种要素间便拥有了相关的空间拓扑结构,这种空间数据关系与相应的属性数据是一种动态联结关系,这也是在ArcGIS系统中能够进行空间分析的关键所在。属性数据的编辑可通过ArcGIS系统的数据库管理系统进行数据结构定义(如数据项名称、类型、长度等)、数据编辑(如插入、删除、拷贝等)、数据查询检索等等,形成可供使用的属性数据库。
(6)投影转换
同一工作区可能利用不同比例、不同投影的图件,要对不同来源、不同时间分辨率和空间分辨率的点、线、面数据进行计算,在拼接图层之前必须对它们进行投影转换,使最终形成的图层均投影到一个坐标系统。
(7)图幅接边
图幅接边的目的是要保持图面数据连续性。工作区有多幅图构成,按上述步骤每幅图分层建立起图层之后,要对各相邻图幅分层进行拼接,图幅的接边精度要满足相应比例尺的国家精度要求。各图层中线图元或面图元拼接后其图元编号要进行改变,在右边图幅中的图元拼接后用左边图幅内的图元编号,下边图幅的图元改用上边图幅的图元编号。其属性数据也要合并为一个,属性数据结构不相同的图元(线或面)不能进行图幅拼接。对于一些图面标注的内容也要做相应的调整。到现在为止,已完成了图形库的建立工作。拼接完成后,仍按图幅分开储存与管理。
(8)数据入库
前面数据处理的目的都是为了使图形进入GIS数据库系统中,以作为其他应用系统的数据基础。图形数据将采用空间数据管理方式、利用系统软件将所有图形及属性统一存放于Oracle之中。
(9)图件输出与图面整饰
在每一图幅数字化完成后,或工作区各图幅分层拼接之后,要对图面标注内容逐一添加到图面上。按有关图例符号标准和用色标准对相应点、线、面图元的线型、符号、颜色进行设置定义。再就图名、图例、比例尺及其图面内容整饰后,输出图件成果。
(10)数据质量控制
检查内容包括数据完整性、逻辑一致性、位置精度、属性精度、接边精度、现势性等是否符合国家标准及有关技术规定。专题图形数据库建设质量控制的方案如下:
建立数据采集标准规范,详细阐述不同要素的采集要求,作为数据采集的根本基准,统一采集认识。
进行数据采集人员培训,熟练使用采集软硬件,掌握采集规范,采集过程中填写详细的图例簿,统一图例簿格式,记录每幅图数据生产过程的基本情况,特别是作业时遇到的问题及处理意见,质量情况等。
数据质量控制采用分级分层管理方式,首先,数据生产操作人员在数据采集过程中严格遵守数据采集规范标准,采集后进行数据的第一次检查;其次,数据库集成人员进行第二次数据质量检查;最后,系统总工随机抽样检查。
检查方式多种多样,这里主要采用以下3种:屏幕视觉检查,打印出图检查,查错软件检查。
8. 空间数据库建库工作程序
1.空间坐标系统
坐标系统:采用1954北京坐标系,高斯-克吕格投影6度带投影,带号15,中央经线85°30′,单位为m。
高程基准:采用1956黄海高程系。
2.建库工作程序
在实际操作过程中,采用的建库流程参考国家数字地质图建库标准,结合西天山地区1:25万地质图图幅要素的实际情况,创建GeoDatabase数据库,构建各要素集和要素类,数据库结构如图4-3所示。在矢量化过程中,采用以线性地质要素(断层,地质界线,岩性边界等)矢量为起点,以线跟踪,线拷贝为中心,最后以线转面(Feature to Poly-gon)的方法生成各面类地质图层,然后对临时面文件按各地质要素进行分类,导入各图幅的标准地质数据库中,再进行属性数据的录入。
在建库过程中,第一步,对扫描地质图进行几何校正。第二步,在ArcGIS Catalog平台上,按照前文讨论的各地质要素数据集,各地质要素字段创建数据库表结构。在统一的建库标准下建立完整的西天山地区地质图数据结构。每一幅地质图形成一个单独的地质数据库(GeoDatabase),每个库包含相同的数据结构和字段类型,每一个属性表形成一个图层,存放对应的地质几何要素;并在各自的数据库下增加临时线文件、临时面文件,用来保存第一步线形矢量化后未分类的图形数据。
在矢量化过程中,我们首先对断层要素进行矢量,因为断层线性平滑,多数断层是地层岩性的公共边界。断层矢量完成后紧接着对所有岩性边界进行矢量,包括沉积岩地层、侵入岩地层和变质岩地层边界,岩性边界数据存入临时线文件,是一个单独的线要素图层,在矢量时,如果断层恰好是岩性边界的界线或公共边,这时,为保证几何图形拓扑一致性,我们采用 “线跟踪” 或 “线拷贝” 的方法将公共边界的断层线直接拷贝至 “临时线” 图层。凡是作为公共边界的线,我们都采用同样的方法进行矢量,比如 “地质界线”图层与其他面状要素的公共边界等。
完成各岩性界线的矢量后,检查若没有遗漏,利用ArcGIS空间分析模块的 “线转面”(Feature to Polygon)工具,将临时线文件转换为临时面文件,设定闭合容差为10m。转换完成后按照沉积(火山)岩、侵入岩、岩墙进行面状要素的分类,逐一导入各自相对应的单独的图层中。对于脉岩(面)要素、火山机构和矿点(点)要素基本很少与其他图层共用边界,因此,直接对这些要素单独进行矢量便可。最后进行图形的质量检查,包括划分岩性类别检查,几何拓扑检查,检查无误且没有遗漏后,导入标准库中。这样基本完成了一幅扫描地质图各类地质要素的图形矢量工作,下一步,主要参考图例、柱状图和地质图说明书进行属性录入,如流程图4-3所示。最后,检查属性数据的录入完整无误后,便可进行下一图幅的矢量工作。
对于化探和航磁的数据处理可以采用多种方式,本次研究中主要采用克里金插值和主成分分析对化探、航磁数据进行处理,并结合地质矿产图说明书相关内容将化探、航磁数据与致矿有关的信息存入空间数据库中。上述数据的生产均在ArcGIS平台上完成。
3.空间数据库内容
本次资源潜力评价空间数据库包含五个要素数据集,15个要素类以及至少6个栅格数据。
地理要素数据集:使用国家基础地理信息中心的1:25万地形数据库中的水系、政区、居民地和交通要素类四个要素类。
基础地质要素数据集:包括1:25万区域地层、侵入岩、火山岩、变质岩、构造分区、断层、矿产7个要素类。其中,资源潜力评价预测底图数据由地层和侵入体所定义的构造相单元属性通过数据融合直接生成,各要素类中所包含的属性内容及相应的数据类型应和区域成矿模型及资源评价所需要素保持一致,实现模型要求与信息的对称,各属性编码参考 《全国矿产资源潜力评价数据模型数据项下属词规定分册》。
物化探要素数据集:包括1:5万航磁要素类、1:5万地面磁法要素类、1:20万区域化探要素类、1:5万区域化探要素类四个要素类。
物化探栅格数据集:主要存储由物化探要素类通过克里金插值转换而来的栅格数据以及在空间分析过程中产生的栅格数据。
遥感栅格数据集:主要用于存储研究区ETM+卫星数据,是近年来在地质矿产应用特别是填图和蚀变信息提取占据主流地位的遥感数据源。
4.数据库质量控制
空间数据库在数据完整性、逻辑一致性、位置精度、属性精度、接缝精度均要求符合中国地质调查局制定的有关技术规定和标准的要求。
9. 建库实施流程
数据库建库流程是建库工作中相当重要的部分,流程设计的质量直接影响到实施过程中的可操作性及库应用等诸多方面。本书矿产地数据库建设工作流程主要分为以下几个步骤(图6-3-1)。
1)由综合技术组负责组织修编、制定矿产地数据库的建库技术要求、建库数据标准及规范和数据库结构设计,开发数据录入界面。
2)由相关成员进行矿产地数据库的建库资料收集、录入、MAPGIS 数据库的建立。内容包括:
依据项目总体设计书和中国地质调查局制定的《矿产地数据库建设工作指南》(2001年9月修订版)及相关技术标准,编写课题工作实施方案;
资料的收集和整理;
属性数据库卡片的填制和数据录入;
全国地质底图,主要在程裕祺等编的《1:500万中国地质图》基础上进行编辑,并按地质时代、地质内容划分不同图层;
图6-3-1 数据库建设工作流程图
数据检查及修正;
成果的提交和验收。
3)综合技术组组织对各课题组矿产地数据库进行汇总,建立中国铜镍(铂族)矿产地空间数据库。内容包括:
数据库检查和修正;
全国矿产地数据库的集成;
面向对象程序设计,GIS支持下矿产地空间数据库的C++实现;
建立具有矿床数据库浏览、查询,属性库管理,图形编辑,矿床预测等功能的中国铜镍硫化物矿床矿产地空间数据库信息共享服务体系。