导航:首页 > 数据处理 > 生态数据分析方法有哪些

生态数据分析方法有哪些

发布时间:2022-11-25 12:18:48

A. 生态环境大数据有哪些方面的数据

大数据:一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。
大数据的价值体现在以下几个方面:1)对大量消费者提供产品或服务的企业可以利用大数据进行精准营销;2) 做小而美模式的中长尾企业可以利用大数据做服务转型;3) 面临互联网压力之下必须转型的传统企业需要与时俱进充分利用大数据的价值。
数据的资源化,大数据成为企业和社会关注的重要战略资源,并已成为大家争相抢夺的新焦点。企业必须要提前制定大数据营销战略计划,抢占市场先机。
与云计算的深度结合,云处理为大数据提供了弹性可拓展的基础设备,是产生大数据的平台之一。
科学理论的突破,随之兴起的数据挖掘、机器学习和人工智能等相关技术,可能会改变数据世界里的很多算法和基础理论,实现科学技术上的突破。
数据科学将成为一门专门的学科,被越来越多的人所认知。各大高校将设立专门的数据科学类专业,也会催生一批与之相关的新的就业岗位。
未来几年数据泄露事件的增长率也许会达到100%,除非数据在其源头就能够得到安全保障。
数据质量是BI(商业智能)成功的关键
数据生态系统复合化程度加强

B. pearson相关系数可以用于生态学的数据统计吗

可以。
在植物、动物生态研究中,数学分析方法,有很重要的作用。
Pearson数据要求:成对数据、连续符合正态分布,数据间差异不能太大,变量准差不能为0,即两变量中任何一个值不能都是相同。

C. 请问:在数量生态学分类方法中,用等级分划(组分析法)计算大量数据时,有没有计算快捷的软件

综合自然地理学(Integrated physical geography)是在部门自然地理学的基础上对自然
地理环境整体进行系统的综合研究。早在20世纪50年代末期,前苏联A.R.伊萨钦科
来中国讲学,系统介绍了有关地理壳、自然区划和景观学的进展。这个讲学的进修班在
林超教授领导下经集体讨论,确定了“综合自然地理学”的学科名称,并发展为自然地
理学的一门独立分科。综合自然地理学是中国学者创立和命名的学科,这与中国传统文
化的影响有关,也与老一辈地理学家的长期努力有关。在此之前,林超、黄秉维等就已
从事自然地理的综合研究工作,如黄秉维在20世纪30年代编撰了《自然地理原理》和
《中国地理》等,周廷儒在30-40年代开创对历史时期环境变化的综合研究。我国综合自
然地理学实际上既经历了20世纪初的西方近代地理学的传入,又继承了中国古代地理学
的传统,还受到原苏联地理学思想的深刻影响,并且与国家的经济建设密切结合,形成
和发展成为具有中国特色的综合自然地理学。
20世纪80年代,钱学森提出要发展地球表层学,本来即以地球表层为研究对象,
并在全球自然地域分异规律方面有所建树的综合自然地理学正好与之契合。面对地球表
层这一复杂巨系统,综合自然地理学在研究中采用了系统科学的理论和方法。90年代针
对西方提出的地球系统科学和可持续发展,黄秉维提出建立“陆地系统科学”[6]的理论体
系。他指出,区域持续发展研究的理论基础是对地球表层(主要陆地表层)自然与人文
各种要素的综合规律的揭示,即陆地系统科学。地球系统科学中大气基本是气体,海洋
基本是液体,陆地由固体、液体、气体组成,生物界亦最复杂,受到人类活动的影响最
深,与人类生存和发展关系又最密切[6]。建议以研究中国区域可持续发展为任务带动陆地
系统科学的发展[7]。陆地系统科学的提出进一步体现了综合性地理研究的思想,促进了综
合自然地理学的理论建设。进入21世纪,综合的理论和方法在与国际重大研究计划结合
中进一步得到发展。
综合自然地理学还大量展开了综合研究实践,如综合自然区划、资源综合开发、国
土整治、区域规划、环境保护等工作,以自然地理学为基础,结合相邻学科的理论方法,
去解决那些具有综合性特点的复杂问题,这使它的发展能够适应时代发展的需要。
有老一辈综合自然地理学家如林超、黄秉维、周廷儒、赵松桥、陈传康等奠定的基
础,也有许多中、青年综合自然地理工作者的不懈努力,目前的综合自然地理学已经有
了长足的发展。50多年来,中国的综合自然地理学研究在古地理学、现代自然地理过程、
土地科学、综合自然区划与区域可持续发展等领域的发展均取得了显着进展[3]。综合自然
地理学理论和应用的深化对整个地理学综合研究的深入发展起到了促进作用。
1.2综合自然地理视角的景观生态学
景观生态学(Landscape ecology)是研究和改善空间格局与生态和社会经济过程相互
关系的整合性交叉学科。其核心内容包括景观结构、景观功能和景观动态等,研究重点
集中在景观格局与生态过程相互关系及其尺度效应、人类活动对于景观结构、过程和功
能的影响,及其景观异质性的持续性利用与管理等[8]。
景观生态学既有地理学派也有生态学派,目前在地理科学领域中与综合自然地理学
难分伯仲,许多景观生态学家也是综合自然地理学家。这要从它的渊源说起。
景观生态学起源于欧洲,一般认为其创始人是德国地理学家特罗尔(Carl Troll,
1899-1975),他于1939年正式提出“景观生态学”一词[9],并在1968年将其定义为:
“研究一个给定景观区段中生物群落和其环境间的主要的、综合、因果关系的科学。这些
关系在区域分布上具有一定的空间结构(景观镶嵌体与组合),在自然地理分布上具有等
级结构”。欧洲的景观生态学不论从诞生的学科背景还是其完善过程和学科贡献,以及应
用指向,都带有浓重的综合自然地理学色彩。其关注的重点从土地利用评价与规划逐渐
扩展到资源开发与管理、生物多样性保护等领域,在理论上强调景观的多功能性、综合
整体性、景观与文化的协同,并提出了整体性景观生态学的概念框架。北美的景观生态
学是在欧洲影响下,从20世纪80年代初开始发展,并逐渐形成了自己的特色,以景观
生态过程、数量化和模拟研究以及自然景观研究见长。欧洲和北美的景观生态学研究基
本上引领了国际景观生态学发展的主要方向,二者也在不断地相互影响、相互渗透,推
动着景观生态学学科体系的不断发展和完善[10]。
中国的景观生态学从介绍国外先进国家的同类研究工作开始。早期翻译欧洲景观生
态学文章的有刘安国、林超、陈昌笃等,而李哈滨则是较为系统地介绍了北美学派的景
观生态学。1990年,肖笃宁主持翻译了R.T.T.Forman和M.Godron的《景观生态学》一
书[11],标志着景观生态学的概念、理论和方法已基本被我国学界所接受。此后,我国景观
生态学工作者相继开展了实质性的研究工作[12]。经过20余年的努力,在景观格局与生态
过程、土地利用与动态、景观规划与设计、环境影响评价与自然保护等方面的研究与应
用中取得了重要进展[13]。从整体上看,尽管我国的景观生态学发端于对欧洲景观生态学理
论、方法和技术的引进,但研究范式接近于北美地区,即更多的带有生态学方法论色彩。
2.1基础研究与理论进展
2.1.1陆地表层系统自然地理过程陆地表层系统自然地理过程研究与近年来国际上非
常活跃的地球系统科学、全球环境变化研究相呼应,结合“全球变化与区域响应”、“人
类活动对地球系统的影响机制”等科学命题[14,15],自然地理过程研究从自然过程研究转向
自然过程与人文过程的综合研究,从无机过程研究转向无机—有机的综合研究,从单一
要素研究转向多要素综合研究,从宏观研究转向宏观与微观的结合研究。研究强调人为
因素在各种过程中的作用,强调人为因素作用下的地理过程对自然资源和环境的影响,
强调地理过程与全球变化之间的耦合作用以及可能引发的后果,强调地理过程在土地退
化过程中的关键作用。研究内容从地域系统的结构与功能向动态拓展。理论研究从系统
变化的驱动力与过程向机制研究深化,并从简单综合向系统综合与集成转变[16]。进而开展
了自然和社会经济驱动、时空变化过程以及资源、环境、生态和灾害效应等地表环境变
化的驱动力、过程和效应的研究。综合自然地理学在陆地表层系统、环境系统、人地系
统方面的理论建设更加系统化;通过要素综合、过程综合与区域综合,综合性不断得到
加强;通过自然与人文的交叉、科学与技术的交叉、多学科交叉研究,交叉性更加明显。
在理论上,发展了综合的格局—过程、驱动力—过程—效应的研究[17]。从近3年国家自然
科学基金资助的综合自然地理(D010106)项目看,与上述命题相关的研究2006年占
63.0%,2007年占56.1%,2008年占67.9%,3年平均占61.5%,足见陆地表层系统自然
地理过程研究在综合自然地理学中的基础研究地位和重视程度。
2.1.2土地科学
土地科学的研究重点结合国际地圈生物圈计划(IGBP)与国际全球环
境变化人文因素计划(IHDP)的联合核心项目“土地利用/覆被变化(LUCC)”及新阶段
的“全球土地计划(GLP)”取得进展。近年来所发表的论文可以归为土地利用分类系统
与分区、土地利用现状分析、LUCC及其驱动力、土地可持续利用和土地利用规划等5
个研究主题。据张镱锂等对土地利用文献的统计,我国在2002-2007年发表的论文占
1978年以来文献总量的65.0%,2007年一年的论文数量达到796篇。这表明我国土地利
用研究的领域不断扩展,从事土地利用研究的科技队伍不断加强的同时,国家有关部门
对该领域研究的支持力度持续加强,项目资助数和经费额度均明显提高[16]。随着国际上将
LUCC这一研究主题上升为“土地变化科学”的学科范畴[18],随着土地利用问题在国际科
学研究与区域可持续发展领域研究的不断深化,更加重视基础理论探讨[19]。土地资源学的
学科基础理论问题主要围绕土地资源的可持续利用展开,包括土地资源的伦理观问题、
土地资源的系统理论问题、土地资源的过程理论问题、土地资源价值论问题、土地资源
产权理论等诸多问题[20]。土地保护学所涉及的基础理论问题主要是围绕土壤学、生态学以
及经济学的基础理论问题展开的[21],作为土地退化及其防护的重要研究内容—水土保持及
荒漠化防治仍旧属于土地保护学研究领域关注的主要对象。土地生态学的基本理论问题
则主要是基于系统理论和生态学理论提出的,主要包括土地的生物生产力、土地的生物
栖息和承载功能、土地的能量平衡和水循环功能、土地的环境功能、土地生态过程、土
地生态变化规律以及土地生态的分异理论问题等[22]。土地利用与规划基础理论问题研究主
要包括地租和地价理论、土地区位理论、土地可持续利用理论、生态经济理论、人地协
调理论以及系统工程理论等[19,23,24]。
2.1.3自然区划
上一世纪,以林超、罗开富、黄秉维、任美锷、侯学煜、赵松乔和席
承藩等为代表的科学家为中国综合自然区划工作做出了卓越贡献[25-32],奠定了我国这一领
域在国际上的领先地位。郑度等的“中国生态地理区域系统”[33]是近年自然区划的代表性
研究,在分析前人区划研究工作与成果的基础上,探讨了自然地理区划方法论及其体系。自然地理区划既是区域划分的结果,也是区域划分的方法与过程,同时还是认识地理特
征和发现地理规律的一种科学方法。郑度提出了包括区划本体、区划原则、区划等级系
统、区划模型和区划信息系统的自然地理区划范式,并通过区划模型,实现区划原则、指
标体系和单位等级系统的综合[34]。另一个基础性研究是“中国主体功能区划”,樊杰阐述
了主体功能区划的科学基础,提出了区域发展的空间均衡模型。并探讨了地域功能演替
对空间均衡过程的影响,提出了区划方案效益最大化是同区域如何划分和对地域功能随
时间变化的正确把握程度相关的[35]。自然区划已向带有自然区域划分性质的综合区划发
展,在《中国地理多样性与可持续发展》一书中,蔡运龙阐述了三大地带和七大地区及
其内部的地理多样性,可视为综合区划性质的着作[36]。自然区划的趋势还表现为区划方案
多样、应用领域广泛、影响决策显着等。在中国期刊网上检索到2007-2008年发表的自然
区划及其相关研究文章约有696篇。
2.1.4景观生态学近年来中国的景观生态学研究发展迅速,人才培养成果显着,研究
队伍不断扩大。在中国期刊网上,以“景观生态”作为主题词检索到的博士和硕士论文
呈现快速增长的态势。由2000年的3篇,增加到2007年的127篇;与此同时,以景观
生态为主题的学术论文发表数量也急剧增加,由2000年的86篇,增加到2007年的504
篇。据傅伯杰等的检索统计,从1996到2007年,在以“景观生态学”为主题词检索到
的3164篇SCI论文中,有96篇来自中国,约占总数的3.03%,位列全球第七。景观
生态学研究在深度和广度上得到加强,促进了新的学科生长点的产生和发展。广度上,
开始注重自然与社会经济、人文因子的综合,以解析景观的复杂性;深度上,注重宏观
格局与微观过程的耦合,深入的微观观测和实验为宏观格局表征和管理策略的制定提供
可靠依据;宏观格局的规划和管理反过来强化了微观研究的实践意义。并进一步加强了
格局-过程和尺度效应研究[10]。随着景观生态学研究范式从平衡范式向远离平衡范式、线
性范式向非线性范式、平稳范式向非平稳范式,以及简单性范式向复杂性范式转换,一
些新的理论成为景观生态学继续发展的重要科学支撑。近年一些复杂性科学的概念和方
法在景观生态学中得到广泛应用,如分形理论、元胞自动机、自组织临界理论、复杂适
应系统理论等等[8]。建立了空间分析法(如分形分析法和小波分析法)、基于相似性的尺度
上推方法、基于局域动态模型的尺度上推方法、随机(模型)法的尺度推绎途径[37],正在
试图将这些途径和转换方法构建成统一的尺度推绎理论框架。一些新的理论如空间自相
关理论、空间非平稳理论和地统计理论等被应用到景观生态学研究的采样技术体系上。
吕一河等则提出了一个景观格局与生态过程耦合研究的基本框架[38]。
2.2方法和技术进展
面对复杂的研究对象,利用现代手段进行定量化研究和过程模拟以及建立模型仍然
是综合自然地理学与景观生态学特别是地理—生态过程研究的趋势。通过借鉴和集成其
他众多学科的研究方法,特别是非线性科学和复杂性科学在研究中的应用,定位试验、
模拟实验和遥感技术的应用,多源数据复合分析和信息挖掘,地理—生态过程模型的发
展、有效性检验与验证等,促进了综合自然地理与景观生态学的研究并使之提高到新的
水平。
2.2.1数据采集方法技术在实验数据采集方面,从监测、分析、模拟三个方面,加强
了数据的科学性和可验证性。利用化学分析技术,加强物质迁移转化过程和机理的研究;
应用物理实验,了解地表物质的物理结构及物质运动的动力学特征;利用遥感对地观测
系统和典型地理单元长期定位、半定位观测网络,加强典型地区地理要素、地理格局和
过程的变化研究;利用室内外模拟实验,简化地理环境的复杂性,加强不同要素作用方式
和过程的识别研究[39]。
在区域与全球尺度上,卫星遥感已成为自然地理和景观生态学研究中最主要的信息来源之一。遥感数据在分辨率、高光谱方面更加多样化。并发展了利用夜间灯光影像为
数据源,用来研究城市土地扩展和蔓延。地理信息系统与遥感、全球定位系统与计算机
相结合,具有对时空信息的综合处理能力、对现实世界的模拟能力,并能产生和发现新
的信息,为综合自然地理和景观生态学的区域研究提供了强有力的支持。近年来,对地
观测系统的建立与全球准同步动态监测已成为现实,使人类有能力对全球性问题进行系
统研究和综合集成[17]。
在微观尺度上,定位试验观测、实验模拟与分析方法得到进一步发展,野外观测台
站建设在科技部的推动下已经实现网络化体系;实验室数量、仪器设备、试验方法不断
完善。
通过对历史文献记载的深入挖掘和利用树轮、冰芯、湖芯、石笋等自然证据,过去
300年全国和区域性的土地利用/覆盖变化数据集已经形成。过去2000年的气候与环境
变化重建等方面也取得了很大进展。
2.2.2模型与数学方法在计算机网络和数字技术的支撑下,系统模型模拟技术也在不
断强化过程中。已经涌现出大量的环境变化和LUCC模型。部分影响较大的模型包括:
Ehrlich的“I=PAT”公式[40]、国际应用系统分析研究所(IIASA)建立的世界粮食与农业
系统全球模型[41]、LMAGE2.0(Integrated Model to Assess the Greenhouse Effect)模型[42]。
特别是CLUE(The Conversion of Land Use and its Effects)[43,44]、元胞自动机模型(Cellular
Automata,CA)[45]等以GIS技术为支撑进行空间格局模拟的模型得到广泛应用。
包含生态学过程与机理的景观机制模型被越来越多地应用到景观生态学的模拟中,
特别是这类模型与元胞自动机相结合,极大地增强了对于景观形成和演变机制模拟的能
力。目前基于智能体的个体模型成为景观生态学模拟的热点途径之一,已经应用到土地
利用/土地覆被以及城市景观的形成演化上。空间显式斑块动态模型是另一类景观机制模
型,常常用于格局和过程作用频繁、斑块周转率快的景观系统[8]。
各种数学方法被用于地理评价和规划,如模糊逻辑、人工神经网络、小波分析、遗
传算法、多目标线性规划、主成分分析法、灰色评价、聚类分析等。另外,分形原理、
三维景观模型、Google Earth技术、DEM分析技术、生态足迹法、能值法等等也得到广
泛应用。研究者以定量的精确判断、抽象的数学模型及合理的趋势推导,使研究结果更
科学、更准确,推进了综合自然地理学研究方法的创新[16]。目前正朝着以地球系统科学为
指导、以并行计算、网络计算等信息科学新技术为依托的学科体系稳步发展[17]。
2.3成果应用
2.3.1土地科学的成果应用针对我国粮食安全、城市化占用耕地、土地退化等问题,
近几年来在土地利用和土地覆被变化研究领域开展了大量的研究工作,主要工作包括:
土地利用和土地覆被的状况及其历史变迁,土地利用和土地覆被变化的驱动因子分析,
土地利用/土地覆被变化的环境与生态效应,土地利用和土地覆被变化与全球气候变化的
相互作用,土地利用和土地覆被变化与耕地、粮食、土地退化等可持续发展重点问题的
相互关系,现有土地利用方式的可持续性及其调控途径等。这些研究为解决国家战略需
求、区域社会经济发展与环境方面的问题做出了贡献。
2.3.2自然地域系统和格局、过程的成果应用在多年综合自然区划和土地类型研究基
础上,进一步将区域单元作为资源与环境的整体来认识,针对我国水土资源短缺与生态
退化等区域问题,研究了不同地区的土地人口承载力、水资源承载力、自然生产潜力、
生态承载力,并探讨了环境影响评价、环境变化方向等一系列问题。自然地域系统研究
也由初期的感性认识、单项自然区划、综合自然区划,发展到近几年的生态地理区域系
统研究[46]。近年来,区划的应用范围也进一步扩大,尤其在制定全球变化区域响应对策、
灾害预防、重大基础设施建设带来的生态环境效应评估等方面发挥着重要作用。
选择青藏高原、海岸地带、半干旱农牧交错地带、黄淮海平原、长江三角洲等敏感
地域,开展了环境演变的综合研究。针对我国水土流失、水资源短缺、土地退化、自然
灾害等主要资源与环境问题,中国自然地理学界开展了坡地侵蚀发育过程与坡地的改良
利用、水文循环过程与水量转化、土地退化过程及其逆转机制、土壤—植物—大气系统、
多界面过程的复杂耦合理论与模型等方面的大量研究工作。
2.3.2景观生态学的应用研究景观生态学的理论和方法在自然保护区规划设计中如功
能区划定、廊道设计以及整个保护区的空间布局上发挥了重要作用。另外,景观生态学
的原理促进了自然保护理念的更新,自然保护正从物种保护向景观保护乃至流域保护方
向转变。景观生态学中的格局分析、格局—生态过程关系分析,以及空间模拟技术为土
地利用规划设计的科学性提供了保证[47];其模拟预测技术,为土地利用规划环评提供较好
技术支持;利用景观生态学及其他学科理论评价区域生态风险和构建区域生态安全格
局[48,49]。
2.3.4生态建设与生态评估综合自然地理学研究成果在我国的生态恢复重建中得到广
泛应用,包括以生态农业为主要建设内容的示范区建设,以工业污染防治与乡镇企业合
理规划布局为主要内容的示范区建设,以生态旅游为主要建设内容的示范区建设,生态
城市、城郊型的示范区建设,农工贸一体化型的示范区建设,以矿区生态破坏恢复治理
为主要内容的示范区建设,湿地资源合理开发利用与保护的示范区建设,土壤退化综合
整治的示范区建设,以重要生态功能区环境保护为主要内容的示范区建设,农村环境综
合整治的示范区建设。
为配合联合国千年生态系统评估计划(MA)的实施,我国启动了中国西部生态系统
综合评估项目,研究成果为西部大开发中的生态系统保护、管理与生态建设提供了科学
依据。通过较多学者的努力,在生态系统服务领域的多方面都有所进展,对国家的生态
政策产生了重大影响[17]。
2.3.5对重大工程、环境治理和决策的贡献综合自然地理研究成果为大型工程提供可
行性论证,为工程建设及运行中的各种可能灾害提供预防措施,为环境治理提供理论和
技术以及为国家重大决策提供指导性意见。例如,在青藏铁路工程建设中,从选线、施
工场地选址、施工时段安排等方面提出方案,最大限度地减少了工程建设对自然保护的
冲击。综合自然地理工作者在铁路修建过程中和建成后一直进行环境的监测、脆弱性和
生态安全的评估以及环境效应的追踪研究。在南水北调工程对沿线生态与环境的影响、
塔里木沙漠公路防护林生态工程、西气东输工程沿线地区不同类型区生态恢复中都有综
合自然地理学的贡献。
在西部大开发过程中,综合自然地理学的工作聚焦在生态与环境的研究与保护方面,
主要研究了西部生态与环境的演化过程、水土资源的持续利用、生态与环境现状评价及
未来50年变化趋势预测等,为科学认知我国西部地区生态与环境变化规律,促进西部地
区水土资源可持续利用等提供科学依据和技术支撑[50]。在东北地区水土资源配置、生态与
环境保护和可持续发展,黄土高原水土流失治理,长江中下游湖泊富营养化治理,“三
农”问题,生态系统碳收支问题等方面都发挥了很大作用[17]。

开拓者走的是弯弯曲曲的路,而他留下的却是又直又宽的足迹。

D. 求大数据分析技术

目前,大数据领域每年都会涌现出大量新的技术,成为大数据获取、存储、处理分析或可视化的有效手段。大数据技术能够将大规模数据中隐藏的信息和知识挖掘出来,为人类社会经济活动提供依据,提高各个领域的运行效率,甚至整个社会经济的集约化程度。

01 大数据生命周期

E. 能值分析法

(一)能值分析法的基本概念

能值分析法主要应用在生态效益的评价,能值(Emergy)理论是由美国着名生态学家H.T.Om在20世纪80年代提出的,用于生态系统与人类社会经济系统的研究,定量分析资源环境与经济活动的真实价值以及它们间相互的关系。Om将其定义为“某种流动或储存的能量所包含的其他类型能量的数量”或者说是“劳务或产品形成过程中直接或间接投入应用的一种有效能(available energy)总量,就是它所具有的能值”。“太阳能值”(solar energy)在实际中被广泛地用来衡量某种能量值的大小,其依据就是地球上的生态、经济系统内各种不同形式的能量都来源于太阳能,所以可以把太阳能值作为标准来衡量其他类别的能量;系统内能量的流动也是依循了热力学第一定律和热力学第二定律,能量在系统内流动的过程中,一部分能量被散失掉,另一部分能量则转化成潜能。将整个系统维持在高组织、低熵状态,这样就形成了不同能量的高低能值等级,即能量不同具有的能质(energy quality)也不同,或能量不同太阳能值转换率(solar transformity)也不同。太阳能值转换率是衡量每焦耳某种能量(或每克某种物质)相当于有多少太阳能焦耳(solar emjoules)的能值转化而来。根据Om和蓝盛芳(2002)对其能值分析法的研究,其相关概念见表9-1。

表9-1 能值分析法相关概念及其含义表

能值方法一般应用在生态效益评价中,能值和能值—货币比率可用公式表达如下:

能值(sej)=太阳能值转换率(sej/J)×能量(J)(9-6)

灾害损毁土地复垦

因为人类社会经济中的货币流通并不经过自然,所以自然资源的价值用货币来衡量是很难的。但自然过程和社会经济过程都与能量流动相关,均蕴含能值。因此,以能值为基准,可以将不同类型、不具有可比性的能量转化成统一标准,衡量和比较不同等级、不同类别能量的真实效应,同时,还可以利用能值/货币比率对能值与货币的数量关系进行进一步的衡量。能值分析法从能量流动的角度提供了一个与货币价值核算有别,但对价值量又可进行表达的新的生态评价方法,从而使传统无偿的自然资本和环境服务功能与人类的社会经济核算系统相融合,为科学决策人类活动提供技术方法。因此,能值理论近年来在生态效益评价中得到了越来越广泛的应用。

(二)能值分析法的主要步骤

利用能值分析法对复垦效益进行评价主要包括以下两方面:

(1)项目管理初期的预评价,即对灾毁土地复垦活动中可能带来的生态环境影响进行分析和评价,评价结果同经济效益评价、社会效益评价和复垦潜力评价共同形成复垦决策的骨架。

(2)项目实施完成后对区域生态环境质量的跟踪监测与评估,以实际情况为基础的评价结果作为后续项目的参考、区域生态环境质量保护和生态系统管理的依据。因此评价需要按照立项内容,根据不同灾毁土地内容界定评价边界,进行实地踏勘,收集相关资料,了解项目实施前复垦区域的生态环境的详细情况,包括不同灾毁土地数量、土地利用类型的比例、区域的地形地貌特征、区域自然灾害隐患、区域生物资源的分布及数量、农业投入产出状况、污染物排放及治理状况等,预测项目实施后可能产生的环境影响,进行生态效益预评价;在复垦项目实施后,对区域的生态环境状况实行跟踪监测调查,进行现场勘测,根据勘测和监测数据结果确定复垦对生态环境影响范围和内容,选定相关评价因子,对比分析区域在实施复垦活动前后自然环境系统无偿能值输入量的变化情况,评价土地复垦的生态效益和综合效益,评价步骤见图9-1。

图9-1 灾毁土地复垦生态效益评价步骤

F. 地表生态系统生态环境效益评估方法

6.2.1 地表生态系统总效益评估方法

6.2.1.1 地表生态系统总生态环境效益评估程序

根据前面的研究,地表生态系统总生态环境效益评估程序可用图6.1表示:

图6.1 生态系统服务价值评估程序

Fig.6.1 Ecosystem service value evaluation proceres

6.2.1.2 地表生态系统总效益分类与分析

本研究主要针对河南受水区的水土保持林生态系统、城市绿地生态系统和湿地生态系统进行生态环境影响效益评估。其中,水土保持林生态系统的生态环境效益主要包括土壤保持、固碳释氧、净化大气环境等;城市绿地生态系统的生态环境效益主要包括土壤保持、固碳释氧、净化大气环境、水源涵养、调节小气候和杀菌等方面;湿地生态系统的生态环境效益主要包括水资源调节、水质净化、大气调节等方面。

6.2.1.3 地表生态系统生态环境总效益评估方法

根据已有研究,提出南水北调中线一期工程对受水区带来的生态环境效益及其价值计算公式。本研究区生态环境影响效益总价值可用式(6.1)表示:

南水北调中线工程河南受水区生态环境效益评估

式中:B为区域生态环境影响效益总价值;Bij代表第i类典型生态系统第j项生态环境效益价值;Dij代表第i类典型生态系统第j项生态环境效益的单位价值;Ai代表第i类典型生态系统的面积;Cij为单位面积第i类典型生态系统每年产生的第j种生态环境效益的能力;Sij为在利用市场价值法或非市场价值法等计算第i类典型生态系统产生的第j种生态环境效益时,采用的替代价格或成本。式(6.1)是总体思路,具体到每种生态系统服务价值的计算时,因生态系统服务本身的特点,本书选取了多种具体计算方法。

地表生态系统主要针对受水区的水土保持林生态系统、城市绿地生态系统和湿地生态系统进行生态环境影响效益评估。将水土保持林生态系统、城市绿地生态系统和湿地生态系统生态环境效益分别表示为B1、B2、B3,则有如下公式:

南水北调中线工程河南受水区生态环境效益评估

总的来说,生态环境效益物质量的评估方法比较一致,物质量评价方法在后面具体介绍;生态环境效益价值量的评估方法比较灵活,且结果具有可加、可比性。受水区生态环境效益的货币价值一律通过物价指数换算折合为按 2005年价格标准价计算的价值。“5.1.6”中,对生态系统服务价值评估的方法作了介绍,本书根据这些方法的适用性结合研究区内生态系统特点,提出了对应的价值量评价方法。价值量评价方法主要运用了影子价格法、影子工程法、机会成本法和费用分析法,具体的价值量评价方法如下:

(1)影子价格法

如“5.1.6”所述,经济学家利用替代市场技术,先寻找“环境商品”的替代市场,再以市场上与其相同的产品价格来估算该“环境商品”的价值,这种相同产品的价格被称为“环境商品”的“影子价格”。影子价格法的数学表达式为:

南水北调中线工程河南受水区生态环境效益评估

式中:V为生态系统某项服务的价值;Q为该项服务的量;SP为该项服务的影子价格。

例如,评价水土保持林提供氧气的经济价值时,先计算出水土保持林每年提供氧气的总量并假设这些氧气可用于市场交换,再以氧气的市场价格作为“影子价格”,计算出水土保持林提供氧气的经济价值。碳税法是将生态系统每年固定CO2的量乘以碳税的影子价格,从而得出生态系统固定CO2价值的一种方法,也属于影子价格法。另外,本研究在计算净化空气效益时也采用本方法进行评估。

(2)机会成本法

机会成本指的是在其他条件相同时,把一定的资源用于生产某种产品时所放弃生产另一种产品的价值,或利用一定的资源获得某种收入时所放弃的另一种收入。本研究在林地或绿地固持土壤效益中采用了机会成本法。

(3)费用分析法

用恢复或防护一种资源不受污染所需的费用来作为环境资源破坏带来的最低经济损失,即恢复费用法和防护费用法。

本书运用了费用分析法中的恢复费用法来评估林地或绿地保持土壤肥力的能力。林地破坏的直接后果之一就是随着水土流失,损失了土壤中的养分。为了恢复流失掉的土壤养分,可以通过施用化肥的办法进行补偿,则所施用的化肥的数量乘以化肥的市场价格之积,就可以作为林地或绿地保持土壤肥力的价值。

(4)影子工程法

又称替代工程法,是恢复费用法的一种特殊形式。影子工程法是在生态系统遭受破坏后人工建造一个工程来代替原来的生态系统服务功能,用建造新工程的费用来估计环境污染或生态破坏所造成的经济损失的一种方法。其数学表达式为

南水北调中线工程河南受水区生态环境效益评估

式中:V为生态系统某项服务的价值;G为替代工程的造价;Xi为替代工程中i项目的建设费用。

当生态系统生态效益的价值难以直接估算时,可借助于能够提供类似功能的替代工程或影子工程的费用,来替代该环境的生态价值。如绿地具有涵养水源的功能,这种生态系统服务功能很难直接进行价值量化。于是,可以寻找一个影子工程,如修建一座能储存与绿地涵养水源量同样水量的水库,则修建此水库的费用就是该绿地涵养水源的生态服务价值。另外,在绿地防止泥沙滞留和淤积的效益时也运用了此方法。

地表生态系统生态环境效益具体评估方法如下:

6.2.2 水土保持林生态环境效益评估方法

根据国家林业局颁布的《森林生态系统服务功能评估规范》(LY/T 1721—2008),森林生态系统服务功能主要包括森林在涵养水源、保育土壤、固碳释氧、积累营养物质、净化大气环境、森林防护、生物多样性保护和森林游憩等方面提供的生态服务功能;森林生态系统服务功能评估即对森林服务功能开展的实物量与价值量的评估。

本研究中的水土保持林是指南水北调中线一期工程实施过程中,为保护环境在干渠沿线实施的水土保持措施中增加的水土保持林。由于南水北调中线一期工程的水土保持林是线性分布在供水线路两侧,沿线长度较长,但并未形成大片林地,涵养水源作用对于线形的防护林来说并不突出,故不考虑其涵养水源的效益。另外,根据研究目的,本研究探讨的仅是南水北调中线一期工程实施后,对河南受水区带来的生态环境方面的效益,故不考虑其积累营养物质、森林防护、生物多样性保护和森林游憩等方面的功能。经分析,本研究仅探讨水土保持林的土壤保持、固碳释氧、净化大气环境三方面的生态环境效益,其评估指标如图6.2所示。评估即对水土保持林生态系统的实物量与价值量进行评估,评估方法和单位价值量参考《森林生态系统服务功能评估规范》(LY/T 1721—2008),不足部分结合国内相关区域研究成果进行补充。

图6.2 水土保持林生态环境效益评估指标体系

Fig.6.2 Index system of ecological environment benefit evaluation of soil and water conservation forest

水土保持林生态环境效益(B1)主要包括土壤保持(B11)、固碳释氧(B12)、净化大气环境(B13),用公式可表示为

南水北调中线工程河南受水区生态环境效益评估

具体评估方法如下:

6.2.2.1 土壤保持效益

水土保持林土壤保持效益(B11)主要包括固持土壤效益、保肥效益及防止泥沙滞留和淤积效益,评估方法如下:

(1)固持土壤效益

A.固持土壤实物量

南水北调中线工程河南受水区生态环境效益评估

式中:B11实为林分年固土量,t/a;A1为水土保持林面积,hm2;C11为单位面积林地每年防止土壤侵蚀的能力,取值为11.11t/hm2

B.固持土壤价值量

南水北调中线工程河南受水区生态环境效益评估

式中:B11价为固持土壤效益值,万元/a;ρ为土壤容重,取1.39t/m3;B11实为林分年固土量,t/a;根据土壤侵蚀量和土壤耕作层的平均厚度来推算土地面积减少面积。以我国耕作土壤的平均厚度h=0.5m作为林地的土层厚度,则可计算出每年可能保持的土壤面积S,hm2。根据调查,我国林业生产的平均收益取S11=263.58元 /hm2/a,对林地采用其生产的机会成本,即可估算林地固持土壤的经济价值。

(2)保肥效益

A.减少养分流失量

南水北调中线工程河南受水区生态环境效益评估

式中:

为减少养分流失量,t/a;A1为水土保持林面积,hm2

为单位面积林地每年防止养分流失的能力,取447.23kg/hm2

B.保肥效益价值量

南水北调中线工程河南受水区生态环境效益评估

式中:

为保肥效益值,万元/a;

为土壤养分的影子价格,以当年农业部中国农业信息网公布的春季化肥平均价格计取,取值为2300元/t。

(3)防止泥沙滞留和淤积的效益

A.防止滞留和淤积的泥沙量

据统计,全国土壤侵蚀流失的泥沙有24%淤积于水库、河湖,则水土保持林防止滞留和淤积的泥沙量可用式(6.10)表示:

南水北调中线工程河南受水区生态环境效益评估

式中:

为防止滞留和淤积的泥沙量,t/a。

B.防止泥沙滞留和淤积的价值量

南水北调中线工程河南受水区生态环境效益评估

式中:

为防止泥沙滞留和淤积的效益值,万元/a;

为防止滞留和淤积的泥沙量,t/a;

为防止滞留和淤积的单位重量泥沙的效益,元/t,按照工程替代法,

以单位库容造价计算,根据1993~1999年《中国水利年鉴》平均水库库容造价为2.17元/t,计算当年价格指数为2.816,则单位库容造价为6.11元/t。

6.2.2.2 固碳释氧效益

固碳释氧效益(B12)指水土保持林固定CO2和供给O2的经济价值。

(1)固碳释氧实物量

根据植物光合作用方程式,植物形成1t干物质需要1.63t CO2,放出1.2t O2。据测定,中国北方森林的CO2吸收率为l12=13.6t/hm2。用公式表示为

南水北调中线工程河南受水区生态环境效益评估

式中:B12实为固碳释氧实物量,t/a;A1为增加的水土保持林面积,hm2

(2)固碳释氧价值量

南水北调中线工程河南受水区生态环境效益评估

式中:B12价为固碳释氧效益值,万元/a;S12为固碳价格,采用瑞典碳税率,即S12=1200元/t;

为生产氧气的价格,采用中华人民共和国卫生部网站中计算当年春季氧气平均价格,即

=1000元/t。

6.2.2.3 净化大气环境效益

(1)吸收污染物和滞尘效益(

吸收污染物和滞尘效益主要包括吸收有害气体SO2的效益(B131)、吸收氟化物的效益(B132)、吸收氮氧化物的效益(B133)和吸收粉尘的效益(B134)。

A.吸收污染物和滞尘的实物量(

南水北调中线工程河南受水区生态环境效益评估

式中:B13实′为吸收污染物和滞尘的实物量,kg/a;A1为增加的水土保持林面积,hm2;C131为单位面积林地吸收SO2 的能力,据《中国生物多样性经济价值评估》中的数据,阔叶林吸收SO2平均值为88.65kg/hm2,针叶林吸收SO2 平均值为215.60 kg/hm2,本书取其较小值88.65 kg/hm2;C132为单位面积林地吸收氟化物的能力,据北京市环境保护科学研究所测定,阔叶林和常绿树吸收氟化物平均值分别为4.65kg/hm2、0.50 kg/hm2,本书取其较小值0.50 kg/hm2;C133为单位面积林地吸收氮氧化物的能力,据测定,当氮氧化物的发生量为1067000t时,森林的吸收量为6.0 kg/hm2;C134 为单位面积林地吸收粉尘的能力,据《中国生物多样性经济价值评估》中的数据,针叶林的滞尘能力为33.2t/hm2,阔叶林的滞尘能力为10.11t/hm2,本书取其较小值10.11t/hm2

B.吸收污染物和滞尘的价值量(

南水北调中线工程河南受水区生态环境效益评估

式中:

为吸收污染物和滞尘效益值,万元/a;根据《排污征收标准及计算方法》中相应的排污收费标准,S131为SO2排污费收费标准,为1.2元/kg;S132为氟化物排污费收费标准,为0.69元/kg;S133氮氧化物排污费收费标准,为0.63元/kg;S134为一般性粉尘排污费收费标准,为0.15元/kg。

(2)降低噪音效益(

目前对森林生态系统降低噪声价值的估算方法是以造林成本的15%计,本研究也以此作为估算减弱噪声效益的标准。用公式表示为

南水北调中线工程河南受水区生态环境效益评估

式中:

为减弱噪声效益值,万元/a;A1为增加的水土保持林面积,hm2

为成熟林单位面积蓄积量,综合国内研究和统计数据,取80m3/hm2

为单位价值量,以平均造林成本240.03元/m3计。

6.2.3 城市绿地生态环境效益评估方法

城市绿地生态系统的生态环境效益(B2)主要包括土壤保持(B21)、固碳释氧(B22)、净化大气环境效益(B23)、水源涵养(B24)、调节小气候(B25)、杀菌(B26)等方面。前3种生态环境效益评估方法与水土保持林生态系统类似,下面仅介绍后3种生态环境效益评估方法。

(1)水源涵养效益(B24

A.水源涵养实物量

涵养水源的物质量可以由受水区城市绿地面积和单位林地的水源涵养能力得出:

南水北调中线工程河南受水区生态环境效益评估

式中:B24实为受水区城市绿地生态系统水源涵养量,m3/a;Ai为引江水可保育的某一城市的绿地面积,hm2;C24为单位面积城市绿地每年的水源涵养能力,据调查可以取值为1105m3/hm2

B.水源涵养价值量

南水北调中线工程河南受水区生态环境效益评估

式中:B24价为受水区城市绿地生态系统水源涵养效益值,万元/a;S24为影子工程成本,采用目前的单位库容造价,根据 1993~1999年《中国水利年鉴》平均水库库容造价为 2.17 元/t,计算当年价格指数为 2.816,则单位库容造价为6.11 元/t。

(2)调节小气候效益(B25

城市植被改善小气候效应最明显表现在降温和增湿两方面。综合国内外研究情况,绿化能使局地气温降低3~5℃,最大可降低12℃,增加相对湿度3%~12%,最大可增加33%。用公式表示为

南水北调中线工程河南受水区生态环境效益评估

式中:B25为调节小气候效益值,万元/a;Ai 为引江水可保育的某一城市的绿地面积,hm2;CS25为城市绿地生态系统每年调节气温的影子价格,取78019元/hm2

(3)杀菌效益(B26

杀菌效益的评估方法采用《北京市森林资源价值》一书中的估算方法,即北京市森林资源杀菌效益占总环境效益的1%。用公式表示为

南水北调中线工程河南受水区生态环境效益评估

6.2.4 湿地生态环境效益评估方法

湿地生态系统的生态环境效益主要包括水资源调节、水质净化、大气调节等功能。用公式表示为

南水北调中线工程河南受水区生态环境效益评估

式中:B3为湿地生态系统效益值,万元/a;A3为北调水可保育的湿地面积,hm2;CS3 为湿地每年能产生的公益价值。根据Costanza的研究并结合国内关于湿地生态服务功能的研究成果,同时考虑到研究区湿地生态系统的具体特征,CS3 为122715.5元/hm2,这里以此作为研究区湿地生态系统的单位价值。

G. 区域地质-生态环境质量的参数特点及其评价方法研究

一、环境质量评价常用的数学模型

一个学科的发展水平可用该学科研究的定量化程度予以评价。环境地质问题、生态环境问题一般都是具有高度复杂化的定性或半定量问题,几十年来,工程地质工作者一直致力于工程地质问题的定量化研究,并取得了显着的成绩,各种数量方法(回归分析、聚类分析、模式识别、概率统计、灰色系统、模糊数学等)都已引入了地学之中,并且解决了很多实际问题。随着地学研究的深入开展,一些数学方法也引进到地质-生态环境质量评价之中,其基本思路是:首先分析研究比较清楚的或已被验证过的对象的地质条件,然后,建立地质概念模型,把描述过程、评价过程以数学符号、数学公式的形式表达出来,按照某种原则(如最大隶属度原则)对被评对象质量等级给出一个综合性的判断。其主要评价方法有模糊综合评判法、灰色聚类法、逐步判别分析法、聚类分析法、模糊聚类、多目标加权法、模式识别法、层次分析法、信息量统计法、德尔菲法等等。

二、地质-生态环境指标参数的特点与评价方法的选择

1.地质生态环境质量评价的概念

环境质量评价是对环境素质优劣的定量描述。地质-生态环境质量评价主要是分析、确定地质-生态环境对工程建设的适宜性和适应性,也就是评价地质-生态环境质量的优劣程度。

地质-生态环境质量评价是环境管理工程的重要手段之一,通过地质-生态环境评价,弄清环境质量变化发展的规律,进行地质-生态环境系统分析,确定地质-生态环境系统预防与整治的方案。

地质-生态环境质量评价工作一般包括准备、系统分析、设计、综合评价和调控5个阶段。在准备阶段主要是收集相关资料;在系统分析阶段完成评价指标体系的确立和评价单元划分;设计阶段主要是进行评价方法和定权方法的设计;然后在综合评价阶段进行计算,得出评价结果;最后提出有关建议,以利于调控地质-生态环境开发与生态环境保护之间的矛盾。

地质-生态环境质量评价的主要步骤为:分析影响城市地质-生态环境的主要因素,确定地质-生态环境质量评价指标;确定评价模型与评价方法;研究区单元划分,确定每个单元的指标值;进行评价,完成地质-生态环境质量区划图。

2.地质-生态环境质量指标参数的特点

(1)层次性

城市地质-生态环境质量指标具有不同的层次组合,形成多层次的指标体系。这一特点要求其评价过程不可能一次完成,需多级计算,评价中应根据因素属性和影响程度,找出主要内容,分析因素之间相互消长的关系,按隶属关系构造成递阶层次结构,再按层次评价。

(2)多样性

由于影响地质-生态环境的因素十分复杂,其指标也十分繁多,是一个十分复杂的指标系统,这就要求在具体评价时,一方面为了便于应用,指标不应过于繁多,另一方面评价方法也具有多样性,应广泛吸收现代地质学、系统科学的新理论、新方法,如模糊数学、神经网络、灰色理论、地理信息系统等,采取定性与定量相结合、理论与实践相结合的原则,多种方法相互论证、互相补充。

(3)模糊性

地质-生态环境指标中的数据具有模糊性,一方面,各因素划分级别的指标界限是模糊的,有些指标界限是连续的,只是为了评价便人为地将之分割开来;另一方面,指标中的数据是模糊的,如地面变形分为轻度地面变形、一定程度的地面变形、严重程度的地面变形等。对这样复杂的大系统问题,用模糊数学可得到较好地解决。

(4)不确定性

地质-生态环境质量的某些指标不能定量,如人们在野外调查和分析中用语言表达的某些内容,另一些则是通过仪器测量、试验获得的。我们在野外观察、描述复杂的地质现象时,常用“中软场地土、有一定程度破坏、地下水的侵蚀性大致是多少”等方式来表达指标对环境质量的估计,由于描述方法不同,常出现单值、区间值,甚至语言赋值,因而具有不确定性。

3.地质-环境质量评价方法的选择

如上所述,评价地质-生态环境质量的方法很多,基于上述分析,我们认为采用多因素加权法、神经网络理论、模糊综合评判方法比较适宜,同时应注意不同方法的相互补充和验证。对于山东半岛城市群地区8个城市的地质-生态环境质量评价宜采用多因素加权法,这是因为评价单元少,以城市为计算单元,仅8个单元,用其他方法不便于城市之间的比较和对比。

H. 数据分析要掌握哪些知识

数据分析师所需要掌握的知识总结:

数学知识
对于初级数据分析师来说,则需要了解统计相关的基础性内容,公式计算,统计模型等。当你获得一份数据集时,需要先进行了解数据集的质量,进行描述统计。

而对于高级数据分析师,必须具备统计模型的能力,线性代数也要有一定的了解。

分析工具
对于分析工具,SQL 是必须会的,还有要熟悉Excel数据透视表和公式的使用,另外,还要学会一个统计分析工具,SAS作为入门是比较好的,VBA 基本必备,SPSS/SAS/R 至少要熟练使用其中之一,其他分析工具(如 Matlab)可以视情况而定。

编程语言
数据分析领域最热门的两大语言是 R 和 Python。涉及各类统计函数和工具的调用,R无疑有优势。但是大数据量的处理力不足,学习曲线比较陡峭。Python 适用性强,可以将分析的过程脚本化。所以,如果你想在这一领域有所发展,学习 Python 也是相当有必要的。

当然其他编程语言也是需要掌握的。要有独立把数据化为己用的能力, 这其中SQL 是最基本的,你必须会用 SQL 查询数据、会快速写程序分析数据。当然,编程技术不需要达到软件工程师的水平。要想更深入的分析问题你可能还会用到:Exploratory analysis skills、Optimization、Simulation、Machine Learning、Data Mining、Modeling 等。

业务理解
对业务的理解是数据分析师工作的基础,数据的获取方案、指标的选取、还有最终结论的洞察,都依赖于数据分析师对业务本身的理解。

对于初级数据分析师,主要工作是提取数据和做一些简单图表,以及少量的洞察结论,拥有对业务的基本了解就可以。对于高级数据分析师,需要对业务有较为深入的了解,能够基于数据,提炼出有效观点,对实际业务能有所帮助。对于数据挖掘工程师,对业务有基本了解就可以,重点还是需要放在发挥自己的技术能力上。

逻辑思维
对于初级数据分析师,逻辑思维主要体现在数据分析过程中每一步都有目的性,知道自己需要用什么样的手段,达到什么样的目标。对于高级数据分析师,逻辑思维主要体现在搭建完整有效的分析框架,了解分析对象之间的关联关系,清楚每一个指标变化的前因后果,会给业务带来的影响。对于数据挖掘工程师,罗辑思维除了体现在和业务相关的分析工作上,还包括算法逻辑,程序逻辑等,所以对逻辑思维的要求也是最高的。

数据可视化
数据可视化主要借助于图形化手段,清晰有效地传达与沟通信息。听起来很高大上,其实包括的范围很广,做个 PPT 里边放上数据图表也可以算是数据可视化。

对于初级数据分析师,能用 Excel 和 PPT 做出基本的图表和报告,能清楚地展示数据,就达到目标了。对于稍高级的数据分析师,需要使用更有效的数据分析工具,根据实际需求做出或简单或复杂,但适合受众观看的数据可视化内容。

协调沟通
数据分析师不仅需要具备破译数据的能力,也经常被要求向项目经理和部门主管提供有关某些数据点的建议,所以,你需要有较强的交流能力。

对于高级数据分析师,需要开始独立带项目,或者和产品做一些合作,因此除了沟通能力以外,还需要一些项目协调能力。

I. 外行人的大数据五问 带你了解大数据

外行人的大数据五问 带你了解大数据
大数据是什么?是一种运营模式,是一种能力,还是一种技术,或是一种数据集合的统称?今天我们所说的“大数据”和过去传统意义上的“数据”的区别又在哪里?大数据有什么特点?来源有哪些?又应用于哪些方面等等。接下来小编带您一起了解大数据。
>>>>>大数据概念
"大数据"是一个体量特别大,数据类别特别大的数据集,并且这样的数据集无法用传统数据库工具对其内容进行抓取、管理和处理。 "大数据"首先是指数据体量(volumes)?大,指代大型数据集,一般在10TB?规模左右,但在实际应用中,很多企业用户把多个数据集放在一起,已经形成了PB级的数据量;其次是指数据类别(variety)大,数据来自多种数据源,数据种类和格式日渐丰富,已冲破了以前所限定的结构化数据范畴,囊括了半结构化和非结构化数据。接着是数据处理速度(Velocity)快,在数据量非常庞大的情况下,也能够做到数据的实时处理。最后一个特点是指数据真实性(Veracity)高,随着社交数据、企业内容、交易与应用数据等新数据源的兴趣,传统数据源的局限被打破,企业愈发需要有效的信息之力以确保其真实性及安全性。
网络知道—大数据概念
大数据(bigdata),或称巨量资料,指的是所涉及的资料量规模巨大到无法透过目前主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据的4V特点:Volume、Velocity、Variety、Veracity。
互联网周刊—大数据概念
"大数据"的概念远不止大量的数据(TB)和处理大量数据的技术,或者所谓的"4个V"之类的简单概念,而是涵盖了人们在大规模数据的基础上可以做的事情,而这些事情在小规模数据的基础上是无法实现的。换句话说,大数据让我们以一种前所未有的方式,通过对海量数据进行分析,获得有巨大价值的产品和服务,或深刻的洞见,最终形成变革之力
研究机构Gartner—大数据概念
"大数据"是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。从数据的类别上看,"大数据"指的是无法使用传统流程或工具处理或分析的信息。它定义了那些超出正常处理范围和大小、迫使用户采用非传统处理方法的数据集。 亚马逊网络服务(AWS)、大数据科学家JohnRauser提到一个简单的定义:大数据就是任何超过了一台计算机处理能力的庞大数据量。 研发小组对大数据的定义:"大数据是最大的宣传技术、是最时髦的技术,当这种现象出现时,定义就变得很混乱。" Kelly说:"大数据是可能不包含所有的信息,但我觉得大部分是正确的。对大数据的一部分认知在于,它是如此之大,分析它需要多个工作负载,这是AWS的定义。当你的技术达到极限时,也就是数据的极限"。 大数据不是关于如何定义,最重要的是如何使用。最大的挑战在于哪些技术能更好的使用数据以及大数据的应用情况如何。这与传统的数据库相比,开源的大数据分析工具的如Hadoop的崛起,这些非结构化的数据服务的价值在哪里。
>>>>>大数据分析
众所周知,大数据已经不简简单单是数据大的事实了,而最重要的现实是对大数据进行分析,只有通过分析才能获取很多智能的,深入的,有价值的信息。那么越来越多的应用涉及到大数据,而这些大数据的属性,包括数量,速度,多样性等等都是呈现了大数据不断增长的复杂性,所以大数据的分析方法在大数据领域就显得尤为重要,可以说是决定最终信息是否有价值的决定性因素。基于如此的认识,大数据分析普遍存在的方法理论有哪些呢?
>>>>>大数据技术
数据采集:ETL工具负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成,最后加载到数据仓库或数据集市中,成为联机分析处理、数据挖掘的基础。
数据存取:关系数据库、NOSQL、SQL等。
基础架构:云存储、分布式文件存储等。
数据处理:自然语言处理(NLP,NaturalLanguageProcessing)是研究人与计算机交互的语言问题的一门学科。处理自然语言的关键是要让计算机"理解"自然语言,所以自然语言处理又叫做自然语言理解(NLU,NaturalLanguage Understanding),也称为计算语言学(Computational Linguistics。一方面它是语言信息处理的一个分支,另一方面它是人工智能(AI, Artificial Intelligence)的核心课题之一。
统计分析:假设检验、显着性检验、差异分析、相关分析、T检验、方差分析、卡方分析、偏相关分析、距离分析、回归分析、简单回归分析、多元回归分析、逐步回归、回归预测与残差分析、岭回归、logistic回归分析、曲线估计、因子分析、聚类分析、主成分分析、因子分析、快速聚类法与聚类法、判别分析、对应分析、多元对应分析(最优尺度分析)、bootstrap技术等等。
数据挖掘:分类 (Classification)、估计(Estimation)、预测(Prediction)、相关性分组或关联规则(Affinity grouping or association rules)、聚类(Clustering)、描述和可视化、Description and Visualization)、复杂数据类型挖掘(Text, Web ,图形图像,视频,音频等)
模型预测:预测模型、机器学习、建模仿真。
结果呈现:云计算、标签云、关系图等。
>>>>>大数据特点
要理解大数据这一概念,首先要从"大"入手,"大"是指数据规模,大数据一般指在10TB(1TB=1024GB)规模以上的数据量。大数据同过去的海量数据有所区别,其基本特征可以用4个V来总结(Vol-ume、Variety、Value和Veloc-ity),即体量大、多样性、价值密度低、速度快。
第一,数据体量巨大。从TB级别,跃升到PB级别。
第二,数据类型繁多,如前文提到的网络日志、视频、图片、地理位置信息,等等。
第三,价值密度低。以视频为例,连续不间断监控过程中,可能有用的数据仅仅有一两秒。
第四,处理速度快。1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器,无一不是数据来源或者承载的方式。
大数据技术是指从各种各样类型的巨量数据中,快速获得有价值信息的技术。解决大数据问题的核心是大数据技术。目前所说的"大数据"不仅指数据本身的规模,也包括采集数据的工具、平台和数据分析系统。大数据研发目的是发展大数据技术并将其应用到相关领域,通过解决巨量数据处理问题促进其突破性发展。因此,大数据时代带来的挑战不仅体现在如何处理巨量数据从中获取有价值的信息,也体现在如何加强大数据技术研发,抢占时代发展的前沿。
当下我国大数据研发建设应在以下四个方面着力
一是建立一套运行机制。大数据建设是一项有序的、动态的、可持续发展的系统工程,必须建立良好的运行机制,以促进建设过程中各个环节的正规有序,实现统合,搞好顶层设计。
二是规范一套建设标准。没有标准就没有系统。应建立面向不同主题、覆盖各个领域、不断动态更新的大数据建设标准,为实现各级各类信息系统的网络互连、信息互通、资源共享奠定基础。
三是搭建一个共享平台。数据只有不断流动和充分共享,才有生命力。应在各专用数据库建设的基础上,通过数据集成,实现各级各类指挥信息系统的数据交换和数据共享。
四是培养一支专业队伍。大数据建设的每个环节都需要依靠专业人员完成,因此,必须培养和造就一支懂指挥、懂技术、懂管理的大数据建设专业队伍。
>>>>>大数据作用
大数据时代到来,认同这一判断的人越来越多。那么大数据意味着什么,他到底会改变什么?仅仅从技术角度回答,已不足以解惑。大数据只是宾语,离开了人这个主语,它再大也没有意义。我们需要把大数据放在人的背景中加以透视,理解它作为时代变革力量的所以然。
变革价值的力量
未来十年,决定中国是不是有大智慧的核心意义标准(那个"思想者"),就是国民幸福。一体现在民生上,通过大数据让有意义的事变得澄明,看我们在人与人关系上,做得是否比以前更有意义;二体现在生态上,通过大数据让有意义的事变得澄明,看我们在天与人关系上,做得是否比以前更有意义。总之,让我们从前10年的意义混沌时代,进入未来10年意义澄明时代。
变革经济的力量
生产者是有价值的,消费者是价值的意义所在。有意义的才有价值,消费者不认同的,就卖不出去,就实现不了价值;只有消费者认同的,才卖得出去,才实现得了价值。大数据帮助我们从消费者这个源头识别意义,从而帮助生产者实现价值。这就是启动内需的原理。
变革组织的力量
随着具有语义网特征的数据基础设施和数据资源发展起来,组织的变革就越来越显得不可避免。大数据将推动网络结构产生无组织的组织力量。最先反映这种结构特点的,是各种各样去中心化的WEB2.0应用,如RSS、维基、博客等。
大数据之所以成为时代变革力量,在于它通过追随意义而获得智慧。
>>>>>大数据处理
大数据处理数据时代理念的三大转变:要全体不要抽样,要效率不要绝对精确,要相关不要因果。
大数据处理的流程
具体的大数据处理方法确实有很多,但是根据笔者长时间的实践,总结了一个普遍适用的大数据处理流程,并且这个流程应该能够对大家理顺大数据的处理有所帮助。整个处理流程可以概括为四步,分别是采集、导入和预处理、统计和分析,最后是数据挖掘。
大数据处理之一:采集
大数据的采集是指利用多个数据库来接收发自客户端(Web、App或者传感器形式等)的数据,并且用户可以通过这些数据库来进行简单的查询和处理工作。比如,电商会使用传统的关系型数据库MySQL和Oracle等来存储每一笔事务数据,除此之外,Redis和MongoDB这样的NoSQL数据库也常用于数据的采集。
在大数据的采集过程中,其主要特点和挑战是并发数高,因为同时有可能会有成千上万的用户来进行访问和操作,比如火车票售票网站和淘宝,它们并发的访问量在峰值时达到上百万,所以需要在采集端部署大量数据库才能支撑。并且如何在这些数据库之间进行负载均衡和分片的确是需要深入的思考和设计。
大数据处理之二:导入/预处理
虽然采集端本身会有很多数据库,但是如果要对这些海量数据进行有效的分析,还是应该将这些来自前端的数据导入到一个集中的大型分布式数据库,或者分布式存储集群,并且可以在导入基础上做一些简单的清洗和预处理工作。也有一些用户会在导入时使用来自Twitter的Storm来对数据进行流式计算,来满足部分业务的实时计算需求。
导入与预处理过程的特点和挑战主要是导入的数据量大,每秒钟的导入量经常会达到百兆,甚至千兆级别。
大数据处理之三:统计/分析
统计与分析主要利用分布式数据库,或者分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总等,以满足大多数常见的分析需求,在这方面,一些实时性需求会用到EMC的GreenPlum、Oracle的Exadata,以及基于MySQL的列式存储Infobright等,而一些批处理,或者基于半结构化数据的需求可以使用Hadoop。
统计与分析这部分的主要特点和挑战是分析涉及的数据量大,其对系统资源,特别是I/O会有极大的占用。
大数据处理之四:挖掘
与前面统计和分析过程不同的是,数据挖掘一般没有什么预先设定好的主题,主要是在现有数据上面进行基于各种算法的计算,从而起到预测(Predict)的效果,从而实现一些高级别数据分析的需求。比较典型算法有用于聚类的Kmeans、用于统计学习的SVM和用于分类的NaiveBayes,主要使用的工具有Hadoop的Mahout等。该过程的特点和挑战主要是用于挖掘的算法很复杂,并且计算涉及的数据量和计算量都很大,常用数据挖掘算法都以单线程为主。
整个大数据处理的普遍流程至少应该满足这四个方面的步骤,才能算得上是一个比较完整的大数据处理。
>>>>>大数据应用与案例分析
大数据应用的关键,也是其必要条件,就在于"IT"与"经营"的融合,当然,这里的经营的内涵可以非常广泛,小至一个零售门店的经营,大至一个城市的经营。以下是我整理的关于各行各业,不同的组织机构在大数据方面的应用的案例,在此申明,以下案例均来源于网络,本文仅作引用,并在此基础上作简单的梳理和分类。
大数据应用案例之:医疗行业
[1] Seton Healthcare是采用IBM最新沃森技术医疗保健内容分析预测的首个客户。该技术允许企业找到大量病人相关的临床医疗信息,通过大数据处理,更好地分析病人的信息。
[2] 在加拿大多伦多的一家医院,针对早产婴儿,每秒钟有超过3000次的数据读取。通过这些数据分析,医院能够提前知道哪些早产儿出现问题并且有针对性地采取措施,避免早产婴儿夭折。
[3] 它让更多的创业者更方便地开发产品,比如通过社交网络来收集数据的健康类App。也许未来数年后,它们搜集的数据能让医生给你的诊断变得更为精确,比方说不是通用的成人每日三次一次一片,而是检测到你的血液中药剂已经代谢完成会自动提醒你再次服药。
大数据应用案例之:能源行业
[1] 智能电网现在欧洲已经做到了终端,也就是所谓的智能电表。在德国,为了鼓励利用太阳能,会在家庭安装太阳能,除了卖电给你,当你的太阳能有多余电的时候还可以买回来。通过电网收集每隔五分钟或十分钟收集一次数据,收集来的这些数据可以用来预测客户的用电习惯等,从而推断出在未来2~3个月时间里,整个电网大概需要多少电。有了这个预测后,就可以向发电或者供电企业购买一定数量的电。因为电有点像期货一样,如果提前买就会比较便宜,买现货就比较贵。通过这个预测后,可以降低采购成本。
[2] 维斯塔斯风力系统,依靠的是BigInsights软件和IBM超级计算机,然后对气象数据进行分析,找出安装风力涡轮机和整个风电场最佳的地点。利用大数据,以往需要数周的分析工作,现在仅需要不足1小时便可完成。
大数据应用案例之:通信行业
[1] XO Communications通过使用IBM SPSS预测分析软件,减少了将近一半的客户流失率。XO现在可以预测客户的行为,发现行为趋势,并找出存在缺陷的环节,从而帮助公司及时采取措施,保留客户。此外,IBM新的Netezza网络分析加速器,将通过提供单个端到端网络、服务、客户分析视图的可扩展平台,帮助通信企业制定更科学、合理决策。
[2] 电信业者透过数以千万计的客户资料,能分析出多种使用者行为和趋势,卖给需要的企业,这是全新的资料经济。
[3] 中国移动通过大数据分析,对企业运营的全业务进行针对性的监控、预警、跟踪。系统在第一时间自动捕捉市场变化,再以最快捷的方式推送给指定负责人,使他在最短时间内获知市场行情。
[4] NTT docomo把手机位置信息和互联网上的信息结合起来,为顾客提供附近的餐饮店信息,接近末班车时间时,提供末班车信息服务。
大数据应用案例之:零售业
[1] "我们的某个客户,是一家领先的专业时装零售商,通过当地的百货商店、网络及其邮购目录业务为客户提供服务。公司希望向客户提供差异化服务,如何定位公司的差异化,他们通过从 Twitter 和 Facebook 上收集社交信息,更深入的理解化妆品的营销模式,随后他们认识到必须保留两类有价值的客户:高消费者和高影响者。希望通过接受免费化妆服务,让用户进行口碑宣传,这是交易数据与交互数据的完美结合,为业务挑战提供了解决方案。"Informatica的技术帮助这家零售商用社交平台上的数据充实了客户主数据,使他的业务服务更具有目标性。
[2] 零售企业也监控客户的店内走动情况以及与商品的互动。它们将这些数据与交易记录相结合来展开分析,从而在销售哪些商品、如何摆放货品以及何时调整售价上给出意见,此类方法已经帮助某领先零售企业减少了17%的存货,同时在保持市场份额的前提下,增加了高利润率自有品牌商品的比例

J. Biolog ECO板做生态分析,数据怎么处理

一般文献会用-至-,具体还得看你的污泥中微生物含量和活性,以结果好说明为准,吸光度BIO

阅读全文

与生态数据分析方法有哪些相关的资料

热点内容
娇韵诗都有哪些产品 浏览:241
西宁市卖旧书籍市场在哪里 浏览:553
江西技术电子产品哪个好 浏览:825
如何把地图做成数据 浏览:637
kbaby童装怎么代理 浏览:606
纳米技术未来会发展到什么阶段 浏览:477
蜡油加氢裂化的产品有哪些 浏览:708
南京中山职业技术学院有什么专业 浏览:964
怎么能提高炒股技术 浏览:379
怎么样给群里所有人发信息 浏览:778
附加值农产品有哪些 浏览:642
数据线全自动焊锡机有哪些品牌 浏览:442
佛山照明led技术怎么样 浏览:819
怎么选择招聘代理公司 浏览:20
什么是msoffice数据 浏览:315
ea交易者数学思维怎么用 浏览:799
学生数据的分析是什么 浏览:290
阜阳母婴产品代理有哪些 浏览:405
车间工艺技术主管如何开展工作 浏览:29
德国哪些大学有电子信息专业 浏览:71