A. 生態環境大數據有哪些方面的數據
大數據:一種規模大到在獲取、存儲、管理、分析方面大大超出了傳統資料庫軟體工具能力范圍的數據集合,具有海量的數據規模、快速的數據流轉、多樣的數據類型和價值密度低四大特徵。
大數據的價值體現在以下幾個方面:1)對大量消費者提供產品或服務的企業可以利用大數據進行精準營銷;2) 做小而美模式的中長尾企業可以利用大數據做服務轉型;3) 面臨互聯網壓力之下必須轉型的傳統企業需要與時俱進充分利用大數據的價值。
數據的資源化,大數據成為企業和社會關注的重要戰略資源,並已成為大家爭相搶奪的新焦點。企業必須要提前制定大數據營銷戰略計劃,搶占市場先機。
與雲計算的深度結合,雲處理為大數據提供了彈性可拓展的基礎設備,是產生大數據的平台之一。
科學理論的突破,隨之興起的數據挖掘、機器學習和人工智慧等相關技術,可能會改變數據世界裡的很多演算法和基礎理論,實現科學技術上的突破。
數據科學將成為一門專門的學科,被越來越多的人所認知。各大高校將設立專門的數據科學類專業,也會催生一批與之相關的新的就業崗位。
未來幾年數據泄露事件的增長率也許會達到100%,除非數據在其源頭就能夠得到安全保障。
數據質量是BI(商業智能)成功的關鍵
數據生態系統復合化程度加強
B. pearson相關系數可以用於生態學的數據統計嗎
可以。
在植物、動物生態研究中,數學分析方法,有很重要的作用。
Pearson數據要求:成對數據、連續符合正態分布,數據間差異不能太大,變數准差不能為0,即兩變數中任何一個值不能都是相同。
C. 請問:在數量生態學分類方法中,用等級分劃(組分析法)計算大量數據時,有沒有計算快捷的軟體
綜合自然地理學(Integrated physical geography)是在部門自然地理學的基礎上對自然
地理環境整體進行系統的綜合研究。早在20世紀50年代末期,前蘇聯A.R.伊薩欽科
來中國講學,系統介紹了有關地理殼、自然區劃和景觀學的進展。這個講學的進修班在
林超教授領導下經集體討論,確定了「綜合自然地理學」的學科名稱,並發展為自然地
理學的一門獨立分科。綜合自然地理學是中國學者創立和命名的學科,這與中國傳統文
化的影響有關,也與老一輩地理學家的長期努力有關。在此之前,林超、黃秉維等就已
從事自然地理的綜合研究工作,如黃秉維在20世紀30年代編撰了《自然地理原理》和
《中國地理》等,周廷儒在30-40年代開創對歷史時期環境變化的綜合研究。我國綜合自
然地理學實際上既經歷了20世紀初的西方近代地理學的傳入,又繼承了中國古代地理學
的傳統,還受到原蘇聯地理學思想的深刻影響,並且與國家的經濟建設密切結合,形成
和發展成為具有中國特色的綜合自然地理學。
20世紀80年代,錢學森提出要發展地球表層學,本來即以地球表層為研究對象,
並在全球自然地域分異規律方面有所建樹的綜合自然地理學正好與之契合。面對地球表
層這一復雜巨系統,綜合自然地理學在研究中採用了系統科學的理論和方法。90年代針
對西方提出的地球系統科學和可持續發展,黃秉維提出建立「陸地系統科學」[6]的理論體
系。他指出,區域持續發展研究的理論基礎是對地球表層(主要陸地表層)自然與人文
各種要素的綜合規律的揭示,即陸地系統科學。地球系統科學中大氣基本是氣體,海洋
基本是液體,陸地由固體、液體、氣體組成,生物界亦最復雜,受到人類活動的影響最
深,與人類生存和發展關系又最密切[6]。建議以研究中國區域可持續發展為任務帶動陸地
系統科學的發展[7]。陸地系統科學的提出進一步體現了綜合性地理研究的思想,促進了綜
合自然地理學的理論建設。進入21世紀,綜合的理論和方法在與國際重大研究計劃結合
中進一步得到發展。
綜合自然地理學還大量展開了綜合研究實踐,如綜合自然區劃、資源綜合開發、國
土整治、區域規劃、環境保護等工作,以自然地理學為基礎,結合相鄰學科的理論方法,
去解決那些具有綜合性特點的復雜問題,這使它的發展能夠適應時代發展的需要。
有老一輩綜合自然地理學家如林超、黃秉維、周廷儒、趙松橋、陳傳康等奠定的基
礎,也有許多中、青年綜合自然地理工作者的不懈努力,目前的綜合自然地理學已經有
了長足的發展。50多年來,中國的綜合自然地理學研究在古地理學、現代自然地理過程、
土地科學、綜合自然區劃與區域可持續發展等領域的發展均取得了顯著進展[3]。綜合自然
地理學理論和應用的深化對整個地理學綜合研究的深入發展起到了促進作用。
1.2綜合自然地理視角的景觀生態學
景觀生態學(Landscape ecology)是研究和改善空間格局與生態和社會經濟過程相互
關系的整合性交叉學科。其核心內容包括景觀結構、景觀功能和景觀動態等,研究重點
集中在景觀格局與生態過程相互關系及其尺度效應、人類活動對於景觀結構、過程和功
能的影響,及其景觀異質性的持續性利用與管理等[8]。
景觀生態學既有地理學派也有生態學派,目前在地理科學領域中與綜合自然地理學
難分伯仲,許多景觀生態學家也是綜合自然地理學家。這要從它的淵源說起。
景觀生態學起源於歐洲,一般認為其創始人是德國地理學家特羅爾(Carl Troll,
1899-1975),他於1939年正式提出「景觀生態學」一詞[9],並在1968年將其定義為:
「研究一個給定景觀區段中生物群落和其環境間的主要的、綜合、因果關系的科學。這些
關系在區域分布上具有一定的空間結構(景觀鑲嵌體與組合),在自然地理分布上具有等
級結構」。歐洲的景觀生態學不論從誕生的學科背景還是其完善過程和學科貢獻,以及應
用指向,都帶有濃重的綜合自然地理學色彩。其關注的重點從土地利用評價與規劃逐漸
擴展到資源開發與管理、生物多樣性保護等領域,在理論上強調景觀的多功能性、綜合
整體性、景觀與文化的協同,並提出了整體性景觀生態學的概念框架。北美的景觀生態
學是在歐洲影響下,從20世紀80年代初開始發展,並逐漸形成了自己的特色,以景觀
生態過程、數量化和模擬研究以及自然景觀研究見長。歐洲和北美的景觀生態學研究基
本上引領了國際景觀生態學發展的主要方向,二者也在不斷地相互影響、相互滲透,推
動著景觀生態學學科體系的不斷發展和完善[10]。
中國的景觀生態學從介紹國外先進國家的同類研究工作開始。早期翻譯歐洲景觀生
態學文章的有劉安國、林超、陳昌篤等,而李哈濱則是較為系統地介紹了北美學派的景
觀生態學。1990年,肖篤寧主持翻譯了R.T.T.Forman和M.Godron的《景觀生態學》一
書[11],標志著景觀生態學的概念、理論和方法已基本被我國學界所接受。此後,我國景觀
生態學工作者相繼開展了實質性的研究工作[12]。經過20餘年的努力,在景觀格局與生態
過程、土地利用與動態、景觀規劃與設計、環境影響評價與自然保護等方面的研究與應
用中取得了重要進展[13]。從整體上看,盡管我國的景觀生態學發端於對歐洲景觀生態學理
論、方法和技術的引進,但研究範式接近於北美地區,即更多的帶有生態學方法論色彩。
2.1基礎研究與理論進展
2.1.1陸地表層系統自然地理過程陸地表層系統自然地理過程研究與近年來國際上非
常活躍的地球系統科學、全球環境變化研究相呼應,結合「全球變化與區域響應」、「人
類活動對地球系統的影響機制」等科學命題[14,15],自然地理過程研究從自然過程研究轉向
自然過程與人文過程的綜合研究,從無機過程研究轉向無機—有機的綜合研究,從單一
要素研究轉向多要素綜合研究,從宏觀研究轉向宏觀與微觀的結合研究。研究強調人為
因素在各種過程中的作用,強調人為因素作用下的地理過程對自然資源和環境的影響,
強調地理過程與全球變化之間的耦合作用以及可能引發的後果,強調地理過程在土地退
化過程中的關鍵作用。研究內容從地域系統的結構與功能向動態拓展。理論研究從系統
變化的驅動力與過程向機制研究深化,並從簡單綜合向系統綜合與集成轉變[16]。進而開展
了自然和社會經濟驅動、時空變化過程以及資源、環境、生態和災害效應等地表環境變
化的驅動力、過程和效應的研究。綜合自然地理學在陸地表層系統、環境系統、人地系
統方面的理論建設更加系統化;通過要素綜合、過程綜合與區域綜合,綜合性不斷得到
加強;通過自然與人文的交叉、科學與技術的交叉、多學科交叉研究,交叉性更加明顯。
在理論上,發展了綜合的格局—過程、驅動力—過程—效應的研究[17]。從近3年國家自然
科學基金資助的綜合自然地理(D010106)項目看,與上述命題相關的研究2006年占
63.0%,2007年佔56.1%,2008年佔67.9%,3年平均佔61.5%,足見陸地表層系統自然
地理過程研究在綜合自然地理學中的基礎研究地位和重視程度。
2.1.2土地科學
土地科學的研究重點結合國際地圈生物圈計劃(IGBP)與國際全球環
境變化人文因素計劃(IHDP)的聯合核心項目「土地利用/覆被變化(LUCC)」及新階段
的「全球土地計劃(GLP)」取得進展。近年來所發表的論文可以歸為土地利用分類系統
與分區、土地利用現狀分析、LUCC及其驅動力、土地可持續利用和土地利用規劃等5
個研究主題。據張鐿鋰等對土地利用文獻的統計,我國在2002-2007年發表的論文占
1978年以來文獻總量的65.0%,2007年一年的論文數量達到796篇。這表明我國土地利
用研究的領域不斷擴展,從事土地利用研究的科技隊伍不斷加強的同時,國家有關部門
對該領域研究的支持力度持續加強,項目資助數和經費額度均明顯提高[16]。隨著國際上將
LUCC這一研究主題上升為「土地變化科學」的學科範疇[18],隨著土地利用問題在國際科
學研究與區域可持續發展領域研究的不斷深化,更加重視基礎理論探討[19]。土地資源學的
學科基礎理論問題主要圍繞土地資源的可持續利用展開,包括土地資源的倫理觀問題、
土地資源的系統理論問題、土地資源的過程理論問題、土地資源價值論問題、土地資源
產權理論等諸多問題[20]。土地保護學所涉及的基礎理論問題主要是圍繞土壤學、生態學以
及經濟學的基礎理論問題展開的[21],作為土地退化及其防護的重要研究內容—水土保持及
荒漠化防治仍舊屬於土地保護學研究領域關注的主要對象。土地生態學的基本理論問題
則主要是基於系統理論和生態學理論提出的,主要包括土地的生物生產力、土地的生物
棲息和承載功能、土地的能量平衡和水循環功能、土地的環境功能、土地生態過程、土
地生態變化規律以及土地生態的分異理論問題等[22]。土地利用與規劃基礎理論問題研究主
要包括地租和地價理論、土地區位理論、土地可持續利用理論、生態經濟理論、人地協
調理論以及系統工程理論等[19,23,24]。
2.1.3自然區劃
上一世紀,以林超、羅開富、黃秉維、任美鍔、侯學煜、趙松喬和席
承藩等為代表的科學家為中國綜合自然區劃工作做出了卓越貢獻[25-32],奠定了我國這一領
域在國際上的領先地位。鄭度等的「中國生態地理區域系統」[33]是近年自然區劃的代表性
研究,在分析前人區劃研究工作與成果的基礎上,探討了自然地理區劃方法論及其體系。自然地理區劃既是區域劃分的結果,也是區域劃分的方法與過程,同時還是認識地理特
征和發現地理規律的一種科學方法。鄭度提出了包括區劃本體、區劃原則、區劃等級系
統、區劃模型和區劃信息系統的自然地理區劃範式,並通過區劃模型,實現區劃原則、指
標體系和單位等級系統的綜合[34]。另一個基礎性研究是「中國主體功能區劃」,樊傑闡述
了主體功能區劃的科學基礎,提出了區域發展的空間均衡模型。並探討了地域功能演替
對空間均衡過程的影響,提出了區劃方案效益最大化是同區域如何劃分和對地域功能隨
時間變化的正確把握程度相關的[35]。自然區劃已向帶有自然區域劃分性質的綜合區劃發
展,在《中國地理多樣性與可持續發展》一書中,蔡運龍闡述了三大地帶和七大地區及
其內部的地理多樣性,可視為綜合區劃性質的著作[36]。自然區劃的趨勢還表現為區劃方案
多樣、應用領域廣泛、影響決策顯著等。在中國期刊網上檢索到2007-2008年發表的自然
區劃及其相關研究文章約有696篇。
2.1.4景觀生態學近年來中國的景觀生態學研究發展迅速,人才培養成果顯著,研究
隊伍不斷擴大。在中國期刊網上,以「景觀生態」作為主題詞檢索到的博士和碩士論文
呈現快速增長的態勢。由2000年的3篇,增加到2007年的127篇;與此同時,以景觀
生態為主題的學術論文發表數量也急劇增加,由2000年的86篇,增加到2007年的504
篇。據傅伯傑等的檢索統計,從1996到2007年,在以「景觀生態學」為主題詞檢索到
的3164篇SCI論文中,有96篇來自中國,約占總數的3.03%,位列全球第七。景觀
生態學研究在深度和廣度上得到加強,促進了新的學科生長點的產生和發展。廣度上,
開始注重自然與社會經濟、人文因子的綜合,以解析景觀的復雜性;深度上,注重宏觀
格局與微觀過程的耦合,深入的微觀觀測和實驗為宏觀格局表徵和管理策略的制定提供
可靠依據;宏觀格局的規劃和管理反過來強化了微觀研究的實踐意義。並進一步加強了
格局-過程和尺度效應研究[10]。隨著景觀生態學研究範式從平衡範式向遠離平衡範式、線
性範式向非線性範式、平穩範式向非平穩範式,以及簡單性範式向復雜性範式轉換,一
些新的理論成為景觀生態學繼續發展的重要科學支撐。近年一些復雜性科學的概念和方
法在景觀生態學中得到廣泛應用,如分形理論、元胞自動機、自組織臨界理論、復雜適
應系統理論等等[8]。建立了空間分析法(如分形分析法和小波分析法)、基於相似性的尺度
上推方法、基於局域動態模型的尺度上推方法、隨機(模型)法的尺度推繹途徑[37],正在
試圖將這些途徑和轉換方法構建成統一的尺度推繹理論框架。一些新的理論如空間自相
關理論、空間非平穩理論和地統計理論等被應用到景觀生態學研究的采樣技術體繫上。
呂一河等則提出了一個景觀格局與生態過程耦合研究的基本框架[38]。
2.2方法和技術進展
面對復雜的研究對象,利用現代手段進行定量化研究和過程模擬以及建立模型仍然
是綜合自然地理學與景觀生態學特別是地理—生態過程研究的趨勢。通過借鑒和集成其
他眾多學科的研究方法,特別是非線性科學和復雜性科學在研究中的應用,定位試驗、
模擬實驗和遙感技術的應用,多源數據復合分析和信息挖掘,地理—生態過程模型的發
展、有效性檢驗與驗證等,促進了綜合自然地理與景觀生態學的研究並使之提高到新的
水平。
2.2.1數據採集方法技術在實驗數據採集方面,從監測、分析、模擬三個方面,加強
了數據的科學性和可驗證性。利用化學分析技術,加強物質遷移轉化過程和機理的研究;
應用物理實驗,了解地表物質的物理結構及物質運動的動力學特徵;利用遙感對地觀測
系統和典型地理單元長期定位、半定位觀測網路,加強典型地區地理要素、地理格局和
過程的變化研究;利用室內外模擬實驗,簡化地理環境的復雜性,加強不同要素作用方式
和過程的識別研究[39]。
在區域與全球尺度上,衛星遙感已成為自然地理和景觀生態學研究中最主要的信息來源之一。遙感數據在解析度、高光譜方面更加多樣化。並發展了利用夜間燈光影像為
數據源,用來研究城市土地擴展和蔓延。地理信息系統與遙感、全球定位系統與計算機
相結合,具有對時空信息的綜合處理能力、對現實世界的模擬能力,並能產生和發現新
的信息,為綜合自然地理和景觀生態學的區域研究提供了強有力的支持。近年來,對地
觀測系統的建立與全球准同步動態監測已成為現實,使人類有能力對全球性問題進行系
統研究和綜合集成[17]。
在微觀尺度上,定位試驗觀測、實驗模擬與分析方法得到進一步發展,野外觀測台
站建設在科技部的推動下已經實現網路化體系;實驗室數量、儀器設備、試驗方法不斷
完善。
通過對歷史文獻記載的深入挖掘和利用樹輪、冰芯、湖芯、石筍等自然證據,過去
300年全國和區域性的土地利用/覆蓋變化數據集已經形成。過去2000年的氣候與環境
變化重建等方面也取得了很大進展。
2.2.2模型與數學方法在計算機網路和數字技術的支撐下,系統模型模擬技術也在不
斷強化過程中。已經涌現出大量的環境變化和LUCC模型。部分影響較大的模型包括:
Ehrlich的「I=PAT」公式[40]、國際應用系統分析研究所(IIASA)建立的世界糧食與農業
系統全球模型[41]、LMAGE2.0(Integrated Model to Assess the Greenhouse Effect)模型[42]。
特別是CLUE(The Conversion of Land Use and its Effects)[43,44]、元胞自動機模型(Cellular
Automata,CA)[45]等以GIS技術為支撐進行空間格局模擬的模型得到廣泛應用。
包含生態學過程與機理的景觀機制模型被越來越多地應用到景觀生態學的模擬中,
特別是這類模型與元胞自動機相結合,極大地增強了對於景觀形成和演變機制模擬的能
力。目前基於智能體的個體模型成為景觀生態學模擬的熱點途徑之一,已經應用到土地
利用/土地覆被以及城市景觀的形成演化上。空間顯式斑塊動態模型是另一類景觀機制模
型,常常用於格局和過程作用頻繁、斑塊周轉率快的景觀系統[8]。
各種數學方法被用於地理評價和規劃,如模糊邏輯、人工神經網路、小波分析、遺
傳演算法、多目標線性規劃、主成分分析法、灰色評價、聚類分析等。另外,分形原理、
三維景觀模型、Google Earth技術、DEM分析技術、生態足跡法、能值法等等也得到廣
泛應用。研究者以定量的精確判斷、抽象的數學模型及合理的趨勢推導,使研究結果更
科學、更准確,推進了綜合自然地理學研究方法的創新[16]。目前正朝著以地球系統科學為
指導、以並行計算、網路計算等信息科學新技術為依託的學科體系穩步發展[17]。
2.3成果應用
2.3.1土地科學的成果應用針對我國糧食安全、城市化佔用耕地、土地退化等問題,
近幾年來在土地利用和土地覆被變化研究領域開展了大量的研究工作,主要工作包括:
土地利用和土地覆被的狀況及其歷史變遷,土地利用和土地覆被變化的驅動因子分析,
土地利用/土地覆被變化的環境與生態效應,土地利用和土地覆被變化與全球氣候變化的
相互作用,土地利用和土地覆被變化與耕地、糧食、土地退化等可持續發展重點問題的
相互關系,現有土地利用方式的可持續性及其調控途徑等。這些研究為解決國家戰略需
求、區域社會經濟發展與環境方面的問題做出了貢獻。
2.3.2自然地域系統和格局、過程的成果應用在多年綜合自然區劃和土地類型研究基
礎上,進一步將區域單元作為資源與環境的整體來認識,針對我國水土資源短缺與生態
退化等區域問題,研究了不同地區的土地人口承載力、水資源承載力、自然生產潛力、
生態承載力,並探討了環境影響評價、環境變化方向等一系列問題。自然地域系統研究
也由初期的感性認識、單項自然區劃、綜合自然區劃,發展到近幾年的生態地理區域系
統研究[46]。近年來,區劃的應用范圍也進一步擴大,尤其在制定全球變化區域響應對策、
災害預防、重大基礎設施建設帶來的生態環境效應評估等方面發揮著重要作用。
選擇青藏高原、海岸地帶、半乾旱農牧交錯地帶、黃淮海平原、長江三角洲等敏感
地域,開展了環境演變的綜合研究。針對我國水土流失、水資源短缺、土地退化、自然
災害等主要資源與環境問題,中國自然地理學界開展了坡地侵蝕發育過程與坡地的改良
利用、水文循環過程與水量轉化、土地退化過程及其逆轉機制、土壤—植物—大氣系統、
多界面過程的復雜耦合理論與模型等方面的大量研究工作。
2.3.2景觀生態學的應用研究景觀生態學的理論和方法在自然保護區規劃設計中如功
能區劃定、廊道設計以及整個保護區的空間布局上發揮了重要作用。另外,景觀生態學
的原理促進了自然保護理念的更新,自然保護正從物種保護向景觀保護乃至流域保護方
向轉變。景觀生態學中的格局分析、格局—生態過程關系分析,以及空間模擬技術為土
地利用規劃設計的科學性提供了保證[47];其模擬預測技術,為土地利用規劃環評提供較好
的技術支持;利用景觀生態學及其他學科理論評價區域生態風險和構建區域生態安全格
局[48,49]。
2.3.4生態建設與生態評估綜合自然地理學研究成果在我國的生態恢復重建中得到廣
泛應用,包括以生態農業為主要建設內容的示範區建設,以工業污染防治與鄉鎮企業合
理規劃布局為主要內容的示範區建設,以生態旅遊為主要建設內容的示範區建設,生態
城市、城郊型的示範區建設,農工貿一體化型的示範區建設,以礦區生態破壞恢復治理
為主要內容的示範區建設,濕地資源合理開發利用與保護的示範區建設,土壤退化綜合
整治的示範區建設,以重要生態功能區環境保護為主要內容的示範區建設,農村環境綜
合整治的示範區建設。
為配合聯合國千年生態系統評估計劃(MA)的實施,我國啟動了中國西部生態系統
綜合評估項目,研究成果為西部大開發中的生態系統保護、管理與生態建設提供了科學
依據。通過較多學者的努力,在生態系統服務領域的多方面都有所進展,對國家的生態
政策產生了重大影響[17]。
2.3.5對重大工程、環境治理和決策的貢獻綜合自然地理研究成果為大型工程提供可
行性論證,為工程建設及運行中的各種可能災害提供預防措施,為環境治理提供理論和
技術以及為國家重大決策提供指導性意見。例如,在青藏鐵路工程建設中,從選線、施
工場地選址、施工時段安排等方面提出方案,最大限度地減少了工程建設對自然保護的
沖擊。綜合自然地理工作者在鐵路修建過程中和建成後一直進行環境的監測、脆弱性和
生態安全的評估以及環境效應的追蹤研究。在南水北調工程對沿線生態與環境的影響、
塔里木沙漠公路防護林生態工程、西氣東輸工程沿線地區不同類型區生態恢復中都有綜
合自然地理學的貢獻。
在西部大開發過程中,綜合自然地理學的工作聚焦在生態與環境的研究與保護方面,
主要研究了西部生態與環境的演化過程、水土資源的持續利用、生態與環境現狀評價及
未來50年變化趨勢預測等,為科學認知我國西部地區生態與環境變化規律,促進西部地
區水土資源可持續利用等提供科學依據和技術支撐[50]。在東北地區水土資源配置、生態與
環境保護和可持續發展,黃土高原水土流失治理,長江中下游湖泊富營養化治理,「三
農」問題,生態系統碳收支問題等方面都發揮了很大作用[17]。
開拓者走的是彎彎曲曲的路,而他留下的卻是又直又寬的足跡。
D. 求大數據分析技術
目前,大數據領域每年都會涌現出大量新的技術,成為大數據獲取、存儲、處理分析或可視化的有效手段。大數據技術能夠將大規模數據中隱藏的信息和知識挖掘出來,為人類社會經濟活動提供依據,提高各個領域的運行效率,甚至整個社會經濟的集約化程度。
01 大數據生命周期
E. 能值分析法
(一)能值分析法的基本概念
能值分析法主要應用在生態效益的評價,能值(Emergy)理論是由美國著名生態學家H.T.Om在20世紀80年代提出的,用於生態系統與人類社會經濟系統的研究,定量分析資源環境與經濟活動的真實價值以及它們間相互的關系。Om將其定義為「某種流動或儲存的能量所包含的其他類型能量的數量」或者說是「勞務或產品形成過程中直接或間接投入應用的一種有效能(available energy)總量,就是它所具有的能值」。「太陽能值」(solar energy)在實際中被廣泛地用來衡量某種能量值的大小,其依據就是地球上的生態、經濟系統內各種不同形式的能量都來源於太陽能,所以可以把太陽能值作為標准來衡量其他類別的能量;系統內能量的流動也是依循了熱力學第一定律和熱力學第二定律,能量在系統內流動的過程中,一部分能量被散失掉,另一部分能量則轉化成潛能。將整個系統維持在高組織、低熵狀態,這樣就形成了不同能量的高低能值等級,即能量不同具有的能質(energy quality)也不同,或能量不同太陽能值轉換率(solar transformity)也不同。太陽能值轉換率是衡量每焦耳某種能量(或每克某種物質)相當於有多少太陽能焦耳(solar emjoules)的能值轉化而來。根據Om和藍盛芳(2002)對其能值分析法的研究,其相關概念見表9-1。
表9-1 能值分析法相關概念及其含義表
能值方法一般應用在生態效益評價中,能值和能值—貨幣比率可用公式表達如下:
能值(sej)=太陽能值轉換率(sej/J)×能量(J)(9-6)
災害損毀土地復墾
因為人類社會經濟中的貨幣流通並不經過自然,所以自然資源的價值用貨幣來衡量是很難的。但自然過程和社會經濟過程都與能量流動相關,均蘊含能值。因此,以能值為基準,可以將不同類型、不具有可比性的能量轉化成統一標准,衡量和比較不同等級、不同類別能量的真實效應,同時,還可以利用能值/貨幣比率對能值與貨幣的數量關系進行進一步的衡量。能值分析法從能量流動的角度提供了一個與貨幣價值核算有別,但對價值量又可進行表達的新的生態評價方法,從而使傳統無償的自然資本和環境服務功能與人類的社會經濟核算系統相融合,為科學決策人類活動提供技術方法。因此,能值理論近年來在生態效益評價中得到了越來越廣泛的應用。
(二)能值分析法的主要步驟
利用能值分析法對復墾效益進行評價主要包括以下兩方面:
(1)項目管理初期的預評價,即對災毀土地復墾活動中可能帶來的生態環境影響進行分析和評價,評價結果同經濟效益評價、社會效益評價和復墾潛力評價共同形成復墾決策的骨架。
(2)項目實施完成後對區域生態環境質量的跟蹤監測與評估,以實際情況為基礎的評價結果作為後續項目的參考、區域生態環境質量保護和生態系統管理的依據。因此評價需要按照立項內容,根據不同災毀土地內容界定評價邊界,進行實地踏勘,收集相關資料,了解項目實施前復墾區域的生態環境的詳細情況,包括不同災毀土地數量、土地利用類型的比例、區域的地形地貌特徵、區域自然災害隱患、區域生物資源的分布及數量、農業投入產出狀況、污染物排放及治理狀況等,預測項目實施後可能產生的環境影響,進行生態效益預評價;在復墾項目實施後,對區域的生態環境狀況實行跟蹤監測調查,進行現場勘測,根據勘測和監測數據結果確定復墾對生態環境影響范圍和內容,選定相關評價因子,對比分析區域在實施復墾活動前後自然環境系統無償能值輸入量的變化情況,評價土地復墾的生態效益和綜合效益,評價步驟見圖9-1。
圖9-1 災毀土地復墾生態效益評價步驟
F. 地表生態系統生態環境效益評估方法
6.2.1 地表生態系統總效益評估方法
6.2.1.1 地表生態系統總生態環境效益評估程序
根據前面的研究,地表生態系統總生態環境效益評估程序可用圖6.1表示:
圖6.1 生態系統服務價值評估程序
Fig.6.1 Ecosystem service value evaluation proceres
6.2.1.2 地表生態系統總效益分類與分析
本研究主要針對河南受水區的水土保持林生態系統、城市綠地生態系統和濕地生態系統進行生態環境影響效益評估。其中,水土保持林生態系統的生態環境效益主要包括土壤保持、固碳釋氧、凈化大氣環境等;城市綠地生態系統的生態環境效益主要包括土壤保持、固碳釋氧、凈化大氣環境、水源涵養、調節小氣候和殺菌等方面;濕地生態系統的生態環境效益主要包括水資源調節、水質凈化、大氣調節等方面。
6.2.1.3 地表生態系統生態環境總效益評估方法
根據已有研究,提出南水北調中線一期工程對受水區帶來的生態環境效益及其價值計算公式。本研究區生態環境影響效益總價值可用式(6.1)表示:
南水北調中線工程河南受水區生態環境效益評估
式中:B為區域生態環境影響效益總價值;Bij代表第i類典型生態系統第j項生態環境效益價值;Dij代表第i類典型生態系統第j項生態環境效益的單位價值;Ai代表第i類典型生態系統的面積;Cij為單位面積第i類典型生態系統每年產生的第j種生態環境效益的能力;Sij為在利用市場價值法或非市場價值法等計算第i類典型生態系統產生的第j種生態環境效益時,採用的替代價格或成本。式(6.1)是總體思路,具體到每種生態系統服務價值的計算時,因生態系統服務本身的特點,本書選取了多種具體計算方法。
地表生態系統主要針對受水區的水土保持林生態系統、城市綠地生態系統和濕地生態系統進行生態環境影響效益評估。將水土保持林生態系統、城市綠地生態系統和濕地生態系統生態環境效益分別表示為B1、B2、B3,則有如下公式:
南水北調中線工程河南受水區生態環境效益評估
總的來說,生態環境效益物質量的評估方法比較一致,物質量評價方法在後面具體介紹;生態環境效益價值量的評估方法比較靈活,且結果具有可加、可比性。受水區生態環境效益的貨幣價值一律通過物價指數換算摺合為按 2005年價格標准價計算的價值。「5.1.6」中,對生態系統服務價值評估的方法作了介紹,本書根據這些方法的適用性結合研究區內生態系統特點,提出了對應的價值量評價方法。價值量評價方法主要運用了影子價格法、影子工程法、機會成本法和費用分析法,具體的價值量評價方法如下:
(1)影子價格法
如「5.1.6」所述,經濟學家利用替代市場技術,先尋找「環境商品」的替代市場,再以市場上與其相同的產品價格來估算該「環境商品」的價值,這種相同產品的價格被稱為「環境商品」的「影子價格」。影子價格法的數學表達式為:
南水北調中線工程河南受水區生態環境效益評估
式中:V為生態系統某項服務的價值;Q為該項服務的量;SP為該項服務的影子價格。
例如,評價水土保持林提供氧氣的經濟價值時,先計算出水土保持林每年提供氧氣的總量並假設這些氧氣可用於市場交換,再以氧氣的市場價格作為「影子價格」,計算出水土保持林提供氧氣的經濟價值。碳稅法是將生態系統每年固定CO2的量乘以碳稅的影子價格,從而得出生態系統固定CO2價值的一種方法,也屬於影子價格法。另外,本研究在計算凈化空氣效益時也採用本方法進行評估。
(2)機會成本法
機會成本指的是在其他條件相同時,把一定的資源用於生產某種產品時所放棄生產另一種產品的價值,或利用一定的資源獲得某種收入時所放棄的另一種收入。本研究在林地或綠地固持土壤效益中採用了機會成本法。
(3)費用分析法
用恢復或防護一種資源不受污染所需的費用來作為環境資源破壞帶來的最低經濟損失,即恢復費用法和防護費用法。
本書運用了費用分析法中的恢復費用法來評估林地或綠地保持土壤肥力的能力。林地破壞的直接後果之一就是隨著水土流失,損失了土壤中的養分。為了恢復流失掉的土壤養分,可以通過施用化肥的辦法進行補償,則所施用的化肥的數量乘以化肥的市場價格之積,就可以作為林地或綠地保持土壤肥力的價值。
(4)影子工程法
又稱替代工程法,是恢復費用法的一種特殊形式。影子工程法是在生態系統遭受破壞後人工建造一個工程來代替原來的生態系統服務功能,用建造新工程的費用來估計環境污染或生態破壞所造成的經濟損失的一種方法。其數學表達式為
南水北調中線工程河南受水區生態環境效益評估
式中:V為生態系統某項服務的價值;G為替代工程的造價;Xi為替代工程中i項目的建設費用。
當生態系統生態效益的價值難以直接估算時,可藉助於能夠提供類似功能的替代工程或影子工程的費用,來替代該環境的生態價值。如綠地具有涵養水源的功能,這種生態系統服務功能很難直接進行價值量化。於是,可以尋找一個影子工程,如修建一座能儲存與綠地涵養水源量同樣水量的水庫,則修建此水庫的費用就是該綠地涵養水源的生態服務價值。另外,在綠地防止泥沙滯留和淤積的效益時也運用了此方法。
地表生態系統生態環境效益具體評估方法如下:
6.2.2 水土保持林生態環境效益評估方法
根據國家林業局頒布的《森林生態系統服務功能評估規范》(LY/T 1721—2008),森林生態系統服務功能主要包括森林在涵養水源、保育土壤、固碳釋氧、積累營養物質、凈化大氣環境、森林防護、生物多樣性保護和森林遊憩等方面提供的生態服務功能;森林生態系統服務功能評估即對森林服務功能開展的實物量與價值量的評估。
本研究中的水土保持林是指南水北調中線一期工程實施過程中,為保護環境在乾渠沿線實施的水土保持措施中增加的水土保持林。由於南水北調中線一期工程的水土保持林是線性分布在供水線路兩側,沿線長度較長,但並未形成大片林地,涵養水源作用對於線形的防護林來說並不突出,故不考慮其涵養水源的效益。另外,根據研究目的,本研究探討的僅是南水北調中線一期工程實施後,對河南受水區帶來的生態環境方面的效益,故不考慮其積累營養物質、森林防護、生物多樣性保護和森林遊憩等方面的功能。經分析,本研究僅探討水土保持林的土壤保持、固碳釋氧、凈化大氣環境三方面的生態環境效益,其評估指標如圖6.2所示。評估即對水土保持林生態系統的實物量與價值量進行評估,評估方法和單位價值量參考《森林生態系統服務功能評估規范》(LY/T 1721—2008),不足部分結合國內相關區域研究成果進行補充。
圖6.2 水土保持林生態環境效益評估指標體系
Fig.6.2 Index system of ecological environment benefit evaluation of soil and water conservation forest
水土保持林生態環境效益(B1)主要包括土壤保持(B11)、固碳釋氧(B12)、凈化大氣環境(B13),用公式可表示為
南水北調中線工程河南受水區生態環境效益評估
具體評估方法如下:
6.2.2.1 土壤保持效益
水土保持林土壤保持效益(B11)主要包括固持土壤效益、保肥效益及防止泥沙滯留和淤積效益,評估方法如下:
(1)固持土壤效益
A.固持土壤實物量
南水北調中線工程河南受水區生態環境效益評估
式中:B11實為林分年固土量,t/a;A1為水土保持林面積,hm2;C11為單位面積林地每年防止土壤侵蝕的能力,取值為11.11t/hm2。
B.固持土壤價值量
南水北調中線工程河南受水區生態環境效益評估
式中:B11價為固持土壤效益值,萬元/a;ρ為土壤容重,取1.39t/m3;B11實為林分年固土量,t/a;根據土壤侵蝕量和土壤耕作層的平均厚度來推算土地面積減少面積。以我國耕作土壤的平均厚度h=0.5m作為林地的土層厚度,則可計算出每年可能保持的土壤面積S,hm2。根據調查,我國林業生產的平均收益取S11=263.58元 /hm2/a,對林地採用其生產的機會成本,即可估算林地固持土壤的經濟價值。
(2)保肥效益
A.減少養分流失量
南水北調中線工程河南受水區生態環境效益評估
式中:
B.保肥效益價值量
南水北調中線工程河南受水區生態環境效益評估
式中:
(3)防止泥沙滯留和淤積的效益
A.防止滯留和淤積的泥沙量
據統計,全國土壤侵蝕流失的泥沙有24%淤積於水庫、河湖,則水土保持林防止滯留和淤積的泥沙量可用式(6.10)表示:
南水北調中線工程河南受水區生態環境效益評估
式中:
B.防止泥沙滯留和淤積的價值量
南水北調中線工程河南受水區生態環境效益評估
式中:
6.2.2.2 固碳釋氧效益
固碳釋氧效益(B12)指水土保持林固定CO2和供給O2的經濟價值。
(1)固碳釋氧實物量
根據植物光合作用方程式,植物形成1t干物質需要1.63t CO2,放出1.2t O2。據測定,中國北方森林的CO2吸收率為l12=13.6t/hm2。用公式表示為
南水北調中線工程河南受水區生態環境效益評估
式中:B12實為固碳釋氧實物量,t/a;A1為增加的水土保持林面積,hm2。
(2)固碳釋氧價值量
南水北調中線工程河南受水區生態環境效益評估
式中:B12價為固碳釋氧效益值,萬元/a;S12為固碳價格,採用瑞典碳稅率,即S12=1200元/t;
6.2.2.3 凈化大氣環境效益
(1)吸收污染物和滯塵效益(
吸收污染物和滯塵效益主要包括吸收有害氣體SO2的效益(B131)、吸收氟化物的效益(B132)、吸收氮氧化物的效益(B133)和吸收粉塵的效益(B134)。
A.吸收污染物和滯塵的實物量(
南水北調中線工程河南受水區生態環境效益評估
式中:B13實′為吸收污染物和滯塵的實物量,kg/a;A1為增加的水土保持林面積,hm2;C131為單位面積林地吸收SO2 的能力,據《中國生物多樣性經濟價值評估》中的數據,闊葉林吸收SO2平均值為88.65kg/hm2,針葉林吸收SO2 平均值為215.60 kg/hm2,本書取其較小值88.65 kg/hm2;C132為單位面積林地吸收氟化物的能力,據北京市環境保護科學研究所測定,闊葉林和常綠樹吸收氟化物平均值分別為4.65kg/hm2、0.50 kg/hm2,本書取其較小值0.50 kg/hm2;C133為單位面積林地吸收氮氧化物的能力,據測定,當氮氧化物的發生量為1067000t時,森林的吸收量為6.0 kg/hm2;C134 為單位面積林地吸收粉塵的能力,據《中國生物多樣性經濟價值評估》中的數據,針葉林的滯塵能力為33.2t/hm2,闊葉林的滯塵能力為10.11t/hm2,本書取其較小值10.11t/hm2。
B.吸收污染物和滯塵的價值量(
南水北調中線工程河南受水區生態環境效益評估
式中:
(2)降低噪音效益(
目前對森林生態系統降低雜訊價值的估算方法是以造林成本的15%計,本研究也以此作為估算減弱雜訊效益的標准。用公式表示為
南水北調中線工程河南受水區生態環境效益評估
式中:
6.2.3 城市綠地生態環境效益評估方法
城市綠地生態系統的生態環境效益(B2)主要包括土壤保持(B21)、固碳釋氧(B22)、凈化大氣環境效益(B23)、水源涵養(B24)、調節小氣候(B25)、殺菌(B26)等方面。前3種生態環境效益評估方法與水土保持林生態系統類似,下面僅介紹後3種生態環境效益評估方法。
(1)水源涵養效益(B24)
A.水源涵養實物量
涵養水源的物質量可以由受水區城市綠地面積和單位林地的水源涵養能力得出:
南水北調中線工程河南受水區生態環境效益評估
式中:B24實為受水區城市綠地生態系統水源涵養量,m3/a;Ai為引江水可保育的某一城市的綠地面積,hm2;C24為單位面積城市綠地每年的水源涵養能力,據調查可以取值為1105m3/hm2。
B.水源涵養價值量
南水北調中線工程河南受水區生態環境效益評估
式中:B24價為受水區城市綠地生態系統水源涵養效益值,萬元/a;S24為影子工程成本,採用目前的單位庫容造價,根據 1993~1999年《中國水利年鑒》平均水庫庫容造價為 2.17 元/t,計算當年價格指數為 2.816,則單位庫容造價為6.11 元/t。
(2)調節小氣候效益(B25)
城市植被改善小氣候效應最明顯表現在降溫和增濕兩方面。綜合國內外研究情況,綠化能使局地氣溫降低3~5℃,最大可降低12℃,增加相對濕度3%~12%,最大可增加33%。用公式表示為
南水北調中線工程河南受水區生態環境效益評估
式中:B25為調節小氣候效益值,萬元/a;Ai 為引江水可保育的某一城市的綠地面積,hm2;CS25為城市綠地生態系統每年調節氣溫的影子價格,取78019元/hm2。
(3)殺菌效益(B26)
殺菌效益的評估方法採用《北京市森林資源價值》一書中的估算方法,即北京市森林資源殺菌效益占總環境效益的1%。用公式表示為
南水北調中線工程河南受水區生態環境效益評估
6.2.4 濕地生態環境效益評估方法
濕地生態系統的生態環境效益主要包括水資源調節、水質凈化、大氣調節等功能。用公式表示為
南水北調中線工程河南受水區生態環境效益評估
式中:B3為濕地生態系統效益值,萬元/a;A3為北調水可保育的濕地面積,hm2;CS3 為濕地每年能產生的公益價值。根據Costanza的研究並結合國內關於濕地生態服務功能的研究成果,同時考慮到研究區濕地生態系統的具體特徵,CS3 為122715.5元/hm2,這里以此作為研究區濕地生態系統的單位價值。
G. 區域地質-生態環境質量的參數特點及其評價方法研究
一、環境質量評價常用的數學模型
一個學科的發展水平可用該學科研究的定量化程度予以評價。環境地質問題、生態環境問題一般都是具有高度復雜化的定性或半定量問題,幾十年來,工程地質工作者一直致力於工程地質問題的定量化研究,並取得了顯著的成績,各種數量方法(回歸分析、聚類分析、模式識別、概率統計、灰色系統、模糊數學等)都已引入了地學之中,並且解決了很多實際問題。隨著地學研究的深入開展,一些數學方法也引進到地質-生態環境質量評價之中,其基本思路是:首先分析研究比較清楚的或已被驗證過的對象的地質條件,然後,建立地質概念模型,把描述過程、評價過程以數學符號、數學公式的形式表達出來,按照某種原則(如最大隸屬度原則)對被評對象質量等級給出一個綜合性的判斷。其主要評價方法有模糊綜合評判法、灰色聚類法、逐步判別分析法、聚類分析法、模糊聚類、多目標加權法、模式識別法、層次分析法、信息量統計法、德爾菲法等等。
二、地質-生態環境指標參數的特點與評價方法的選擇
1.地質生態環境質量評價的概念
環境質量評價是對環境素質優劣的定量描述。地質-生態環境質量評價主要是分析、確定地質-生態環境對工程建設的適宜性和適應性,也就是評價地質-生態環境質量的優劣程度。
地質-生態環境質量評價是環境管理工程的重要手段之一,通過地質-生態環境評價,弄清環境質量變化發展的規律,進行地質-生態環境系統分析,確定地質-生態環境系統預防與整治的方案。
地質-生態環境質量評價工作一般包括准備、系統分析、設計、綜合評價和調控5個階段。在准備階段主要是收集相關資料;在系統分析階段完成評價指標體系的確立和評價單元劃分;設計階段主要是進行評價方法和定權方法的設計;然後在綜合評價階段進行計算,得出評價結果;最後提出有關建議,以利於調控地質-生態環境開發與生態環境保護之間的矛盾。
地質-生態環境質量評價的主要步驟為:分析影響城市地質-生態環境的主要因素,確定地質-生態環境質量評價指標;確定評價模型與評價方法;研究區單元劃分,確定每個單元的指標值;進行評價,完成地質-生態環境質量區劃圖。
2.地質-生態環境質量指標參數的特點
(1)層次性
城市地質-生態環境質量指標具有不同的層次組合,形成多層次的指標體系。這一特點要求其評價過程不可能一次完成,需多級計算,評價中應根據因素屬性和影響程度,找出主要內容,分析因素之間相互消長的關系,按隸屬關系構造成遞階層次結構,再按層次評價。
(2)多樣性
由於影響地質-生態環境的因素十分復雜,其指標也十分繁多,是一個十分復雜的指標系統,這就要求在具體評價時,一方面為了便於應用,指標不應過於繁多,另一方面評價方法也具有多樣性,應廣泛吸收現代地質學、系統科學的新理論、新方法,如模糊數學、神經網路、灰色理論、地理信息系統等,採取定性與定量相結合、理論與實踐相結合的原則,多種方法相互論證、互相補充。
(3)模糊性
地質-生態環境指標中的數據具有模糊性,一方面,各因素劃分級別的指標界限是模糊的,有些指標界限是連續的,只是為了評價便人為地將之分割開來;另一方面,指標中的數據是模糊的,如地面變形分為輕度地面變形、一定程度的地面變形、嚴重程度的地面變形等。對這樣復雜的大系統問題,用模糊數學可得到較好地解決。
(4)不確定性
地質-生態環境質量的某些指標不能定量,如人們在野外調查和分析中用語言表達的某些內容,另一些則是通過儀器測量、試驗獲得的。我們在野外觀察、描述復雜的地質現象時,常用「中軟場地土、有一定程度破壞、地下水的侵蝕性大致是多少」等方式來表達指標對環境質量的估計,由於描述方法不同,常出現單值、區間值,甚至語言賦值,因而具有不確定性。
3.地質-環境質量評價方法的選擇
如上所述,評價地質-生態環境質量的方法很多,基於上述分析,我們認為採用多因素加權法、神經網路理論、模糊綜合評判方法比較適宜,同時應注意不同方法的相互補充和驗證。對於山東半島城市群地區8個城市的地質-生態環境質量評價宜採用多因素加權法,這是因為評價單元少,以城市為計算單元,僅8個單元,用其他方法不便於城市之間的比較和對比。
H. 數據分析要掌握哪些知識
數據分析師所需要掌握的知識總結:
數學知識
對於初級數據分析師來說,則需要了解統計相關的基礎性內容,公式計算,統計模型等。當你獲得一份數據集時,需要先進行了解數據集的質量,進行描述統計。
而對於高級數據分析師,必須具備統計模型的能力,線性代數也要有一定的了解。
分析工具
對於分析工具,SQL 是必須會的,還有要熟悉Excel數據透視表和公式的使用,另外,還要學會一個統計分析工具,SAS作為入門是比較好的,VBA 基本必備,SPSS/SAS/R 至少要熟練使用其中之一,其他分析工具(如 Matlab)可以視情況而定。
編程語言
數據分析領域最熱門的兩大語言是 R 和 Python。涉及各類統計函數和工具的調用,R無疑有優勢。但是大數據量的處理力不足,學習曲線比較陡峭。Python 適用性強,可以將分析的過程腳本化。所以,如果你想在這一領域有所發展,學習 Python 也是相當有必要的。
當然其他編程語言也是需要掌握的。要有獨立把數據化為己用的能力, 這其中SQL 是最基本的,你必須會用 SQL 查詢數據、會快速寫程序分析數據。當然,編程技術不需要達到軟體工程師的水平。要想更深入的分析問題你可能還會用到:Exploratory analysis skills、Optimization、Simulation、Machine Learning、Data Mining、Modeling 等。
業務理解
對業務的理解是數據分析師工作的基礎,數據的獲取方案、指標的選取、還有最終結論的洞察,都依賴於數據分析師對業務本身的理解。
對於初級數據分析師,主要工作是提取數據和做一些簡單圖表,以及少量的洞察結論,擁有對業務的基本了解就可以。對於高級數據分析師,需要對業務有較為深入的了解,能夠基於數據,提煉出有效觀點,對實際業務能有所幫助。對於數據挖掘工程師,對業務有基本了解就可以,重點還是需要放在發揮自己的技術能力上。
邏輯思維
對於初級數據分析師,邏輯思維主要體現在數據分析過程中每一步都有目的性,知道自己需要用什麼樣的手段,達到什麼樣的目標。對於高級數據分析師,邏輯思維主要體現在搭建完整有效的分析框架,了解分析對象之間的關聯關系,清楚每一個指標變化的前因後果,會給業務帶來的影響。對於數據挖掘工程師,羅輯思維除了體現在和業務相關的分析工作上,還包括演算法邏輯,程序邏輯等,所以對邏輯思維的要求也是最高的。
數據可視化
數據可視化主要藉助於圖形化手段,清晰有效地傳達與溝通信息。聽起來很高大上,其實包括的范圍很廣,做個 PPT 里邊放上數據圖表也可以算是數據可視化。
對於初級數據分析師,能用 Excel 和 PPT 做出基本的圖表和報告,能清楚地展示數據,就達到目標了。對於稍高級的數據分析師,需要使用更有效的數據分析工具,根據實際需求做出或簡單或復雜,但適合受眾觀看的數據可視化內容。
協調溝通
數據分析師不僅需要具備破譯數據的能力,也經常被要求向項目經理和部門主管提供有關某些數據點的建議,所以,你需要有較強的交流能力。
對於高級數據分析師,需要開始獨立帶項目,或者和產品做一些合作,因此除了溝通能力以外,還需要一些項目協調能力。
I. 外行人的大數據五問 帶你了解大數據
外行人的大數據五問 帶你了解大數據
大數據是什麼?是一種運營模式,是一種能力,還是一種技術,或是一種數據集合的統稱?今天我們所說的「大數據」和過去傳統意義上的「數據」的區別又在哪裡?大數據有什麼特點?來源有哪些?又應用於哪些方面等等。接下來小編帶您一起了解大數據。
>>>>>大數據概念
"大數據"是一個體量特別大,數據類別特別大的數據集,並且這樣的數據集無法用傳統資料庫工具對其內容進行抓取、管理和處理。 "大數據"首先是指數據體量(volumes)?大,指代大型數據集,一般在10TB?規模左右,但在實際應用中,很多企業用戶把多個數據集放在一起,已經形成了PB級的數據量;其次是指數據類別(variety)大,數據來自多種數據源,數據種類和格式日漸豐富,已沖破了以前所限定的結構化數據范疇,囊括了半結構化和非結構化數據。接著是數據處理速度(Velocity)快,在數據量非常龐大的情況下,也能夠做到數據的實時處理。最後一個特點是指數據真實性(Veracity)高,隨著社交數據、企業內容、交易與應用數據等新數據源的興趣,傳統數據源的局限被打破,企業愈發需要有效的信息之力以確保其真實性及安全性。
網路知道—大數據概念
大數據(bigdata),或稱巨量資料,指的是所涉及的資料量規模巨大到無法透過目前主流軟體工具,在合理時間內達到擷取、管理、處理、並整理成為幫助企業經營決策更積極目的的資訊。大數據的4V特點:Volume、Velocity、Variety、Veracity。
互聯網周刊—大數據概念
"大數據"的概念遠不止大量的數據(TB)和處理大量數據的技術,或者所謂的"4個V"之類的簡單概念,而是涵蓋了人們在大規模數據的基礎上可以做的事情,而這些事情在小規模數據的基礎上是無法實現的。換句話說,大數據讓我們以一種前所未有的方式,通過對海量數據進行分析,獲得有巨大價值的產品和服務,或深刻的洞見,最終形成變革之力
研究機構Gartner—大數據概念
"大數據"是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。從數據的類別上看,"大數據"指的是無法使用傳統流程或工具處理或分析的信息。它定義了那些超出正常處理范圍和大小、迫使用戶採用非傳統處理方法的數據集。 亞馬遜網路服務(AWS)、大數據科學家JohnRauser提到一個簡單的定義:大數據就是任何超過了一台計算機處理能力的龐大數據量。 研發小組對大數據的定義:"大數據是最大的宣傳技術、是最時髦的技術,當這種現象出現時,定義就變得很混亂。" Kelly說:"大數據是可能不包含所有的信息,但我覺得大部分是正確的。對大數據的一部分認知在於,它是如此之大,分析它需要多個工作負載,這是AWS的定義。當你的技術達到極限時,也就是數據的極限"。 大數據不是關於如何定義,最重要的是如何使用。最大的挑戰在於哪些技術能更好的使用數據以及大數據的應用情況如何。這與傳統的資料庫相比,開源的大數據分析工具的如Hadoop的崛起,這些非結構化的數據服務的價值在哪裡。
>>>>>大數據分析
眾所周知,大數據已經不簡簡單單是數據大的事實了,而最重要的現實是對大數據進行分析,只有通過分析才能獲取很多智能的,深入的,有價值的信息。那麼越來越多的應用涉及到大數據,而這些大數據的屬性,包括數量,速度,多樣性等等都是呈現了大數據不斷增長的復雜性,所以大數據的分析方法在大數據領域就顯得尤為重要,可以說是決定最終信息是否有價值的決定性因素。基於如此的認識,大數據分析普遍存在的方法理論有哪些呢?
>>>>>大數據技術
數據採集:ETL工具負責將分布的、異構數據源中的數據如關系數據、平面數據文件等抽取到臨時中間層後進行清洗、轉換、集成,最後載入到數據倉庫或數據集市中,成為聯機分析處理、數據挖掘的基礎。
數據存取:關系資料庫、NOSQL、SQL等。
基礎架構:雲存儲、分布式文件存儲等。
數據處理:自然語言處理(NLP,NaturalLanguageProcessing)是研究人與計算機交互的語言問題的一門學科。處理自然語言的關鍵是要讓計算機"理解"自然語言,所以自然語言處理又叫做自然語言理解(NLU,NaturalLanguage Understanding),也稱為計算語言學(Computational Linguistics。一方面它是語言信息處理的一個分支,另一方面它是人工智慧(AI, Artificial Intelligence)的核心課題之一。
統計分析:假設檢驗、顯著性檢驗、差異分析、相關分析、T檢驗、方差分析、卡方分析、偏相關分析、距離分析、回歸分析、簡單回歸分析、多元回歸分析、逐步回歸、回歸預測與殘差分析、嶺回歸、logistic回歸分析、曲線估計、因子分析、聚類分析、主成分分析、因子分析、快速聚類法與聚類法、判別分析、對應分析、多元對應分析(最優尺度分析)、bootstrap技術等等。
數據挖掘:分類 (Classification)、估計(Estimation)、預測(Prediction)、相關性分組或關聯規則(Affinity grouping or association rules)、聚類(Clustering)、描述和可視化、Description and Visualization)、復雜數據類型挖掘(Text, Web ,圖形圖像,視頻,音頻等)
模型預測:預測模型、機器學習、建模模擬。
結果呈現:雲計算、標簽雲、關系圖等。
>>>>>大數據特點
要理解大數據這一概念,首先要從"大"入手,"大"是指數據規模,大數據一般指在10TB(1TB=1024GB)規模以上的數據量。大數據同過去的海量數據有所區別,其基本特徵可以用4個V來總結(Vol-ume、Variety、Value和Veloc-ity),即體量大、多樣性、價值密度低、速度快。
第一,數據體量巨大。從TB級別,躍升到PB級別。
第二,數據類型繁多,如前文提到的網路日誌、視頻、圖片、地理位置信息,等等。
第三,價值密度低。以視頻為例,連續不間斷監控過程中,可能有用的數據僅僅有一兩秒。
第四,處理速度快。1秒定律。最後這一點也是和傳統的數據挖掘技術有著本質的不同。物聯網、雲計算、移動互聯網、車聯網、手機、平板電腦、PC以及遍布地球各個角落的各種各樣的感測器,無一不是數據來源或者承載的方式。
大數據技術是指從各種各樣類型的巨量數據中,快速獲得有價值信息的技術。解決大數據問題的核心是大數據技術。目前所說的"大數據"不僅指數據本身的規模,也包括採集數據的工具、平台和數據分析系統。大數據研發目的是發展大數據技術並將其應用到相關領域,通過解決巨量數據處理問題促進其突破性發展。因此,大數據時代帶來的挑戰不僅體現在如何處理巨量數據從中獲取有價值的信息,也體現在如何加強大數據技術研發,搶占時代發展的前沿。
當下我國大數據研發建設應在以下四個方面著力
一是建立一套運行機制。大數據建設是一項有序的、動態的、可持續發展的系統工程,必須建立良好的運行機制,以促進建設過程中各個環節的正規有序,實現統合,搞好頂層設計。
二是規范一套建設標准。沒有標准就沒有系統。應建立面向不同主題、覆蓋各個領域、不斷動態更新的大數據建設標准,為實現各級各類信息系統的網路互連、信息互通、資源共享奠定基礎。
三是搭建一個共享平台。數據只有不斷流動和充分共享,才有生命力。應在各專用資料庫建設的基礎上,通過數據集成,實現各級各類指揮信息系統的數據交換和數據共享。
四是培養一支專業隊伍。大數據建設的每個環節都需要依靠專業人員完成,因此,必須培養和造就一支懂指揮、懂技術、懂管理的大數據建設專業隊伍。
>>>>>大數據作用
大數據時代到來,認同這一判斷的人越來越多。那麼大數據意味著什麼,他到底會改變什麼?僅僅從技術角度回答,已不足以解惑。大數據只是賓語,離開了人這個主語,它再大也沒有意義。我們需要把大數據放在人的背景中加以透視,理解它作為時代變革力量的所以然。
變革價值的力量
未來十年,決定中國是不是有大智慧的核心意義標准(那個"思想者"),就是國民幸福。一體現在民生上,通過大數據讓有意義的事變得澄明,看我們在人與人關繫上,做得是否比以前更有意義;二體現在生態上,通過大數據讓有意義的事變得澄明,看我們在天與人關繫上,做得是否比以前更有意義。總之,讓我們從前10年的意義混沌時代,進入未來10年意義澄明時代。
變革經濟的力量
生產者是有價值的,消費者是價值的意義所在。有意義的才有價值,消費者不認同的,就賣不出去,就實現不了價值;只有消費者認同的,才賣得出去,才實現得了價值。大數據幫助我們從消費者這個源頭識別意義,從而幫助生產者實現價值。這就是啟動內需的原理。
變革組織的力量
隨著具有語義網特徵的數據基礎設施和數據資源發展起來,組織的變革就越來越顯得不可避免。大數據將推動網路結構產生無組織的組織力量。最先反映這種結構特點的,是各種各樣去中心化的WEB2.0應用,如RSS、維基、博客等。
大數據之所以成為時代變革力量,在於它通過追隨意義而獲得智慧。
>>>>>大數據處理
大數據處理數據時代理念的三大轉變:要全體不要抽樣,要效率不要絕對精確,要相關不要因果。
大數據處理的流程
具體的大數據處理方法確實有很多,但是根據筆者長時間的實踐,總結了一個普遍適用的大數據處理流程,並且這個流程應該能夠對大家理順大數據的處理有所幫助。整個處理流程可以概括為四步,分別是採集、導入和預處理、統計和分析,最後是數據挖掘。
大數據處理之一:採集
大數據的採集是指利用多個資料庫來接收發自客戶端(Web、App或者感測器形式等)的數據,並且用戶可以通過這些資料庫來進行簡單的查詢和處理工作。比如,電商會使用傳統的關系型資料庫MySQL和Oracle等來存儲每一筆事務數據,除此之外,Redis和MongoDB這樣的NoSQL資料庫也常用於數據的採集。
在大數據的採集過程中,其主要特點和挑戰是並發數高,因為同時有可能會有成千上萬的用戶來進行訪問和操作,比如火車票售票網站和淘寶,它們並發的訪問量在峰值時達到上百萬,所以需要在採集端部署大量資料庫才能支撐。並且如何在這些資料庫之間進行負載均衡和分片的確是需要深入的思考和設計。
大數據處理之二:導入/預處理
雖然採集端本身會有很多資料庫,但是如果要對這些海量數據進行有效的分析,還是應該將這些來自前端的數據導入到一個集中的大型分布式資料庫,或者分布式存儲集群,並且可以在導入基礎上做一些簡單的清洗和預處理工作。也有一些用戶會在導入時使用來自Twitter的Storm來對數據進行流式計算,來滿足部分業務的實時計算需求。
導入與預處理過程的特點和挑戰主要是導入的數據量大,每秒鍾的導入量經常會達到百兆,甚至千兆級別。
大數據處理之三:統計/分析
統計與分析主要利用分布式資料庫,或者分布式計算集群來對存儲於其內的海量數據進行普通的分析和分類匯總等,以滿足大多數常見的分析需求,在這方面,一些實時性需求會用到EMC的GreenPlum、Oracle的Exadata,以及基於MySQL的列式存儲Infobright等,而一些批處理,或者基於半結構化數據的需求可以使用Hadoop。
統計與分析這部分的主要特點和挑戰是分析涉及的數據量大,其對系統資源,特別是I/O會有極大的佔用。
大數據處理之四:挖掘
與前面統計和分析過程不同的是,數據挖掘一般沒有什麼預先設定好的主題,主要是在現有數據上面進行基於各種演算法的計算,從而起到預測(Predict)的效果,從而實現一些高級別數據分析的需求。比較典型演算法有用於聚類的Kmeans、用於統計學習的SVM和用於分類的NaiveBayes,主要使用的工具有Hadoop的Mahout等。該過程的特點和挑戰主要是用於挖掘的演算法很復雜,並且計算涉及的數據量和計算量都很大,常用數據挖掘演算法都以單線程為主。
整個大數據處理的普遍流程至少應該滿足這四個方面的步驟,才能算得上是一個比較完整的大數據處理。
>>>>>大數據應用與案例分析
大數據應用的關鍵,也是其必要條件,就在於"IT"與"經營"的融合,當然,這里的經營的內涵可以非常廣泛,小至一個零售門店的經營,大至一個城市的經營。以下是我整理的關於各行各業,不同的組織機構在大數據方面的應用的案例,在此申明,以下案例均來源於網路,本文僅作引用,並在此基礎上作簡單的梳理和分類。
大數據應用案例之:醫療行業
[1] Seton Healthcare是採用IBM最新沃森技術醫療保健內容分析預測的首個客戶。該技術允許企業找到大量病人相關的臨床醫療信息,通過大數據處理,更好地分析病人的信息。
[2] 在加拿大多倫多的一家醫院,針對早產嬰兒,每秒鍾有超過3000次的數據讀取。通過這些數據分析,醫院能夠提前知道哪些早產兒出現問題並且有針對性地採取措施,避免早產嬰兒夭折。
[3] 它讓更多的創業者更方便地開發產品,比如通過社交網路來收集數據的健康類App。也許未來數年後,它們搜集的數據能讓醫生給你的診斷變得更為精確,比方說不是通用的成人每日三次一次一片,而是檢測到你的血液中葯劑已經代謝完成會自動提醒你再次服葯。
大數據應用案例之:能源行業
[1] 智能電網現在歐洲已經做到了終端,也就是所謂的智能電表。在德國,為了鼓勵利用太陽能,會在家庭安裝太陽能,除了賣電給你,當你的太陽能有多餘電的時候還可以買回來。通過電網收集每隔五分鍾或十分鍾收集一次數據,收集來的這些數據可以用來預測客戶的用電習慣等,從而推斷出在未來2~3個月時間里,整個電網大概需要多少電。有了這個預測後,就可以向發電或者供電企業購買一定數量的電。因為電有點像期貨一樣,如果提前買就會比較便宜,買現貨就比較貴。通過這個預測後,可以降低采購成本。
[2] 維斯塔斯風力系統,依靠的是BigInsights軟體和IBM超級計算機,然後對氣象數據進行分析,找出安裝風力渦輪機和整個風電場最佳的地點。利用大數據,以往需要數周的分析工作,現在僅需要不足1小時便可完成。
大數據應用案例之:通信行業
[1] XO Communications通過使用IBM SPSS預測分析軟體,減少了將近一半的客戶流失率。XO現在可以預測客戶的行為,發現行為趨勢,並找出存在缺陷的環節,從而幫助公司及時採取措施,保留客戶。此外,IBM新的Netezza網路分析加速器,將通過提供單個端到端網路、服務、客戶分析視圖的可擴展平台,幫助通信企業制定更科學、合理決策。
[2] 電信業者透過數以千萬計的客戶資料,能分析出多種使用者行為和趨勢,賣給需要的企業,這是全新的資料經濟。
[3] 中國移動通過大數據分析,對企業運營的全業務進行針對性的監控、預警、跟蹤。系統在第一時間自動捕捉市場變化,再以最快捷的方式推送給指定負責人,使他在最短時間內獲知市場行情。
[4] NTT docomo把手機位置信息和互聯網上的信息結合起來,為顧客提供附近的餐飲店信息,接近末班車時間時,提供末班車信息服務。
大數據應用案例之:零售業
[1] "我們的某個客戶,是一家領先的專業時裝零售商,通過當地的百貨商店、網路及其郵購目錄業務為客戶提供服務。公司希望向客戶提供差異化服務,如何定位公司的差異化,他們通過從 Twitter 和 Facebook 上收集社交信息,更深入的理解化妝品的營銷模式,隨後他們認識到必須保留兩類有價值的客戶:高消費者和高影響者。希望通過接受免費化妝服務,讓用戶進行口碑宣傳,這是交易數據與交互數據的完美結合,為業務挑戰提供了解決方案。"Informatica的技術幫助這家零售商用社交平台上的數據充實了客戶主數據,使他的業務服務更具有目標性。
[2] 零售企業也監控客戶的店內走動情況以及與商品的互動。它們將這些數據與交易記錄相結合來展開分析,從而在銷售哪些商品、如何擺放貨品以及何時調整售價上給出意見,此類方法已經幫助某領先零售企業減少了17%的存貨,同時在保持市場份額的前提下,增加了高利潤率自有品牌商品的比例
J. Biolog ECO板做生態分析,數據怎麼處理
一般文獻會用-至-,具體還得看你的污泥中微生物含量和活性,以結果好說明為准,吸光度BIO