如何使用數據資源

A. 大數據怎麼應用，大數據是什麼

大數據（big data），指無法在一定時間范圍內用常規軟體工具進行捕捉、管理和處理的數據集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。[1]
在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大數據時代》[2] 中大數據指不用隨機分析法（抽樣調查）這樣捷徑，而採用所有數據進行分析處理。大數據的5V特點（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（價值）、Veracity（真實性）。
未至科技數據中心解決方案是以組織價值鏈分析模型為理論指導，結合組織戰略規劃和面向對象的方法論，對組織信息化戰略進行規劃重造立足數據，以數據為基礎建立組織信息化標准，提供面向數據採集、處理、挖掘、分析、服務為組織提供一整套的基礎解決方案。未至數據中心解決方案採用了當前先進的大數據技術，基於Hadoop架構，利用HDFS、Hive、Impala等大數據技術架構組件和公司自有ETL工具等中間件產品，建立了組織內部高性能、高效率的信息資源大數據服務平台，實現組織內數億條以上數據的秒級實時查詢、更新、調用、分析等信息資源服務。未至數據中心解決方案將，為公安、教育、旅遊、住建等各行業業務數據中心、城市公共基礎資料庫平台、行業部門信息資源基礎資料庫建設和數據資源規劃、管理等業務提供了一體化的解決方案。

B. 如何實現數據共享和和數據開放

解決這個問題，首先要明白數據共享與數據開放都是什麼！

什麼是數據共享？

網路中，數據共享就是讓在不同地方使用不同計算機、不同軟體的用戶能夠讀取他人數據並進行各種操作運算和分析。

《數據資產管理實踐白皮書4.0》曾指出:數據共享管理主要是指開展數據共享和交換，實現數據內外部價值的一系列活動。數據共享管理包括數據內部共享（企業內部跨組織、部門的數據交換）、外部流通（企業之間的數據交換）、對外開放。

綜合以上內容，數據共享是組織內部因履行職責、開展相關業務需要使用內部掌控數據的行為。其主要目的是通過打破組織內部壁壘、消除數據孤島，實現提高數據供給能力、提高運營效率、降低組織運營成本。

什麼是數據開放？

在DCMM中：數據開放開放是指按照統一的管理策略對組織內部的數據進行有選擇的對外開放，同時按照相關的管理策略引入外部數據供組織內部應用。

《數據資產管理》層說過：數據開放是以數據共享為基礎，致力於提供各種數據資源和服務，協助數據開發者來開發特色數據應用，幫助數據開發和分析人員更容易地使用共享數據的一種服務模式。

綜合以上內容，數據開放是指組織按照統一的管理策略向組織外部有選擇提供組織所掌控數據的行為。是實現數據跨組織、跨行業流轉的重要前提，也是數據價值最大化的基礎。

數據共享與數據開放之間的關系，可以說數據共享是內部交換數據，數據開放是向外部提供數據。

這里不得不提一個概念，就是開放數據

開放數據是能被任何人處於任何目的不受限制進行自由利用、再利用和分發，並最大程度保持其原始出處和開放性的數據。

2015《開放數據憲章》：開放數據應具備必要的技術和法律特性，能被任何人、在任何時間和地點進行自由利用、再利用和分發的電子數據。

1. 開放數據與數據開放之間的關系，可以這樣理解:

2. 數據開放是組織向外部提供數據的行為；

3. 開放數據強調的是這類數據的屬性是開放的。

C. 企業數字化轉型如何進行數據資源規劃

樓主你好，本人來說下，個人曾經就這個問題咨詢過中大咨詢的專家，專家給出以下幾點建議：
1、統一信息資源模式，強化數據標准建設
以業務為導向，建立統一的企業數據架構。依託企業主數據管理（MDM）和數據資源規劃（IRP），強化數據標准化建設，實現信息資源模式的統一。企業主數據管理，就是將企業的多個業務系統中整合最核心的、最需要共享的數據（主數據），集中進行數據的清洗和豐富，並且以服務的方式把統一的、完整的、准確的、具有權威性的主數據分發給企業內需要使用這些數據的應用。圍繞流程再造，從業務到數據，構建企業數據架構基線，建立數據架構管理機制。
2、積極部署大數據應用，驅動信息資源的有效利用
加大 大數據技術的應用部署力度，綜合運用雲計算、分布式計算、數據交換、數據倉庫、數據挖掘以及非結構化的數據處理等多層次的大數據技術搭建大數據平台。
3、推進結構化和非結構化數據的融合發
推進結構化和非結構化數據的融合式發展，將超文本、超媒體數據模型和面向對象數據模型進行融合，構建適合結構化和非結構數據統一組織和管理的數據模型。

4、重視數據安全管理，確保大數據生態圈信息安全
在信息資源整合過程中以數據安全管理為前提，與上下游企業以及安全管理機構、評測機構等第三方機構開展廣泛合作，從企業管理制度、流程和技術手段等多方面協作確保大數據生態圈的數據信息安全，希望回答對你有幫助，望採納，謝謝了哈。

D. 如何有效的進行數據治理和數據管控

從技術實施角度看，主要包含「理」「采」「存」「管」「用」這五個，即業務和數據資源梳理、數據採集清洗、資料庫設計和存儲、數據管理、數據使用。

數據資源梳理：數據治理的第一個步驟是從業務的視角釐清組織的數據資源環境和數據資源清單，包含組織機構、業務事項、信息系統，以及以資料庫、網頁、文件和 API 介面形式存在的數據項資源，本步驟的輸出物為分門別類的數據資源清單。

數據採集清洗：通過可視化的 ETL 工具（例如阿里的 DataX，Pentaho Data Integration）將數據從來源端經過抽取 (extract)、轉換 (transform)、載入 (load) 至目的端的過程，目的是將散落和零亂的數據集中存儲起來。

基礎庫主題庫建設：一般情況下，可以將數據分為基礎數據、業務主題數據和分析數據。基礎數據一般指的是核心實體數據，或稱主數據，例如智慧城市中的人口、法人、地理信息、信用、電子證照等數據。主題數據一般指的是某個業務主題數據，例如市場監督管理局的食品監管、質量監督檢查、企業綜合監管等數據。而分析數據指的是基於業務主題數據綜合分析而得的分析結果數據，例如市場監督管理局的企業綜合評價、產業區域分布、高危企業分布等。那麼基礎庫和主題庫的建設就是在對業務理解的基礎上，基於易存儲、易管理、易使用的原則抽像數據存儲結構，說白了，就是基於一定的原則設計資料庫表結構，然後再根據數據資源清單設計數據採集清洗流程，將整潔干凈的數據存儲到資料庫或數據倉庫中。

元數據管理：元數據管理是對基礎庫和主題庫中的數據項屬性的管理，同時，將數據項的業務含義與數據項進行了關聯，便於業務人員也能夠理解資料庫中的數據欄位含義，並且，元數據是後面提到的自動化數據共享、數據交換和商業智能（BI）的基礎。需要注意的是，元數據管理一般是對基礎庫和主題庫中（即核心數據資產）的數據項屬性的管理，而數據資源清單是對各類數據來源的數據項的管理。

血緣追蹤：數據被業務場景使用時，發現數據錯誤，數據治理團隊需要快速定位數據來源，修復數據錯誤。那麼數據治理團隊需要知道業務團隊的數據來自於哪個核心庫，核心庫的數據又來自於哪個數據源頭。我們的實踐是在元數據和數據資源清單之間建立關聯關系，且業務團隊使用的數據項由元數據組合配置而來，這樣，就建立了數據使用場景與數據源頭之間的血緣關系。 數據資源目錄：數據資源目錄一般應用於數據共享的場景，例如政府部門之間的數據共享，數據資源目錄是基於業務場景和行業規范而創建，同時依託於元數據和基礎庫主題而實現自動化的數據申請和使用。

質量管理：數據價值的成功發掘必須依託於高質量的數據，唯有準確、完整、一致的數據才有使用價值。因此，需要從多維度來分析數據的質量，例如：偏移量、非空檢查、值域檢查、規范性檢查、重復性檢查、關聯關系檢查、離群值檢查、波動檢查等等。需要注意的是，優秀的數據質量模型的設計必須依賴於對業務的深刻理解，在技術上也推薦使用大數據相關技術來保障檢測性能和降低對業務系統的性能影響，例如 Hadoop，MapRece，HBase 等。

商業智能（BI）：數據治理的目的是使用，對於一個大型的數據倉庫來說，數據使用的場景和需求是多變的，那麼可以使用 BI 類的產品快速獲取需要的數據，並分析形成報表，像派可數據就屬於專業的BI廠商。

數據共享交換：數據共享包括組織內部和組織之間的數據共享，共享方式也分為庫表、文件和 API 介面三種共享方式，庫表共享比較直接粗暴，文件共享方式通過 ETL 工具做一個反向的數據交換也就可以實現。我們比較推薦的是 API 介面共享方式，在這種方式下，能夠讓中心數據倉庫保留數據所有權，把數據使用權通過 API 介面的形式進行了轉移。API 介面共享可以使用 API 網關實現，常見的功能是自動化的介面生成、申請審核、限流、限並發、多用戶隔離、調用統計、調用審計、黑白名單、調用監控、質量監控等等。

E. 什麼是資料庫 怎麼用

資料庫
資料庫發展階段大致劃分為如下幾個階段：
人工管理階段；
文件系統階段；
資料庫系統階段；
高級資料庫階段。

當人們從不同的角度來描述這一概念時就有不同的定義(當然是描述性的)。例如，稱資料庫是一個「記錄保存系統」(該定義強調了資料庫是若干記錄的集合)。又如稱資料庫是「人們為解決特定的任務，以一定的組織方式存儲在一起的相關的數據的集合」(該定義側重於數據的組織)。更有甚者稱資料庫是「一個數據倉庫」。當然，這種說法雖然形象，但並不嚴謹。
嚴格地說，資料庫是「按照數據結構來組織、存儲和管理數據的倉庫」。在經濟管理的日常工作中，常常需要把某些相關的數據放進這樣「倉庫」，並根據管理的需要進行相應的處理。例如，企業或事業單位的人事部門常常要把本單位職工的基本情況(職工號、姓名、年齡、性別、籍貫、工資、簡歷等)存放在表20.6.3中，這張表就可以看成是一個資料庫。有了這個"數據倉庫"我們就可以根據需要隨時查詢某職工的基本情況，也可以查詢工資在某個范圍內的職工人數等等。這些工作如果都能在計算機上自動進行，那我們的人事管理就可以達到極高的水平。此外，在財務管理、倉庫管理、生產管理中也需要建立眾多的這種"資料庫"，使其可以利用計算機實現財務、倉庫、生產的自動化管理。
J.Martin給資料庫下了一個比較完整的定義：資料庫是存儲在一起的相關數據的集合，這些數據是結構化的，無有害的或不必要的冗餘，並為多種應用服務；數據的存儲獨立於使用它的程序；對資料庫插入新數據，修改和檢索原有數據均能按一種公用的和可控制的方式進行。當某個系統中存在結構上完全分開的若干個資料庫時，則該系統包含一個「資料庫集合」。
· 資料庫的優點
使用資料庫可以帶來許多好處：如減少了數據的冗餘度，從而大大地節省了數據的存儲空間；實現數據資源的充分共享等等。此外，資料庫技術還為用戶提供了非常簡便的使用手段使用戶易於編寫有關資料庫應用程序。特別是近年來推出的微型計算機關系資料庫管理系統dBASELL，操作直觀，使用靈活，編程方便，環境適應廣泛(一般的十六位機，如IBM/PC/XT，國產長城0520等均可運行種軟體)，數據處理能力極強。資料庫在我國正得到愈來愈廣泛的應用，必將成為經濟管理的有力工具。
資料庫是通過資料庫管理系統(DBMS-DATA BASE MANAGEMENT SYSTEM)軟體來實現數據的存儲、管理與使用的dBASELL就是一種資料庫管理系統軟體。
· 資料庫結構與資料庫種類
資料庫通常分為層次式資料庫、網路式資料庫和關系式資料庫三種。而不同的資料庫是按不同的數據結構來聯系和組織的。
1.數據結構模型
(1)數據結構
所謂數據結構是指數據的組織形式或數據之間的聯系。如果用D表示數據，用R表示數據對象之間存在的關系集合，則將DS＝(D，R)稱為數據結構。例如，設有一個電話號碼簿，它記錄了n個人的名字和相應的電話號碼。為了方便地查找某人的電話號碼，將人名和號碼按字典順序排列，並在名字的後面跟隨著對應的電話號碼。這樣，若要查找某人的電話號碼(假定他的名字的第一個字母是Y)，那麼只須查找以Y開頭的那些名字就可以了。該例中，數據的集合D就是人名和電話號碼，它們之間的聯系R就是按字典順序的排列，其相應的數據結構就是DS＝(D，R)，即一個數組。(2)數據結構種類

數據結構又分為數據的邏輯結構和數據的物理結構。數據的邏輯結構是從邏輯的角度(即數據間的聯系和組織方式)來觀察數據，分析數據，與數據的存儲位置無關。數據的物理結構是指數據在計算機中存放的結構，即數據的邏輯結構在計算機中的實現形式，所以物理結構也被稱為存儲結構。本節只研究數據的邏輯結構，並將反映和實現數據聯系的方法稱為數據模型。
目前，比較流行的數據模型有三種，即按圖論理論建立的層次結構模型和網狀結構模型以及按關系理論建立的關系結構模型。
2.層次、網狀和關系資料庫系統
(1)層次結構模型
層次結構模型實質上是一種有根結點的定向有序樹(在數學中"樹"被定義為一個無回的連通圖)。例如圖20.6.4是一個高等學校的組織結構圖。這個組織結構圖像一棵樹，校部就是樹根(稱為根結點)，各系、專業、教師、學生等為枝點(稱為結點)，樹根與枝點之間的聯系稱為邊，樹根與邊之比為1:N，即樹根只有一個，樹枝有N個。這種數據結構模型的一般結構見圖20.6.5所示。
圖20.6.4 高等學校的組織結構圖 圖20.6.5 層次結構模型
圖20.6.5中，Ri(i＝1，2，…6)代表記錄(即數據的集合)，其中R1就是根結點(如果Ri看成是一個家族，則R1就是祖先，它是R2、R3、R4的雙親，而R2、R3、R4互為兄弟)，R5、R6也是兄弟，且其雙親為R3。R2、R4、R5、R6又被稱為葉結點(即無子女的結點)。這樣，Ri(i＝1，2，…6)就組成了以R1為樹根的一棵樹，這就是一個層次數據結構模型。
按照層次模型建立的資料庫系統稱為層次模型資料庫系統。IMS(Information Manage-mentSystem)是其典型代表。
(2)網狀結構模型
在圖20.6.6中，給出了某醫院醫生、病房和病人之間的聯系。即每個醫生負責治療三個病人，每個病房可住一到四個病人。如果將醫生看成是一個數據集合，病人和病房分別是另外兩個數據集合，那麼醫生、病人和病房的比例關系就是M:N:P(即M個醫生，N個病人，P間病房)。這種數據結構就是網狀數據結構，它的一般結構模型如圖20.6.7所示。在圖中，記錄Ri(i＝1，2，8)滿足以下條件：
①可以有一個以上的結點無雙親(如R1、R2、R3)。
②至少有一個結點有多於一個以上的雙親。在"醫生、病人、病房"例中，"醫生集合有若干個結點(M個醫生結點)無"雙親"，而"病房"集合有P個結點(即病房)，並有一個以上的"雙親"(即病人)。
圖20.6.6 醫生、病房和病人之間的關系
圖20.6.7 網狀結構模型
按照網狀數據結構建立的資料庫系統稱為網狀資料庫系統，其典型代表是DBTG(Data Base Task Group)。用數學方法可將網狀數據結構轉化為層次數據結構。
(3)關系結構模型
關系式數據結構把一些復雜的數據結構歸結為簡單的二元關系(即二維表格形式)。例如某單位的職工關系就是一個二元關系(見表20.6.8)。這個四行六列的表格的每一列稱為一個欄位(即屬性)，欄位名相當於標題欄中的標題(屬性名稱)；表的每一行是包含了六個屬性(工號、姓名、年齡、性別、職務、工資)的一個六元組，即一個人的記錄。這個表格清晰地反映出該單位職工的基本情況。

表20.6.8 職工基本情況
通常一個m行、n列的二維表格的結構如表20.6.9所示。
表中每一行表示一個記錄值，每一列表示一個屬性(即欄位或數據項)。該表一共有m個記錄。每個記錄包含n個屬性。
作為一個關系的二維表，必須滿足以下條件：
(1)表中每一列必須是基本數據項(即不可再分解)。(2)表中每一列必須具有相同的數據類型(例如字元型或數值型)。(3)表中每一列的名字必須是唯一的。(4)表中不應有內容完全相同的行。(5)行的順序與列的順序不影響表格中所表示的信息的含義。
由關系數據結構組成的資料庫系統被稱為關系資料庫系統。
在關系資料庫中，對數據的操作幾乎全部建立在一個或多個關系表格上，通過對這些關系表格的分類、合並、連接或選取等運算來實現數據的管理。dBASEII就是這類資料庫管理系統的典型代表。對於一個實際的應用問題(如人事管理問題)，有時需要多個關系才能實現。用dBASEII建立起來的一個關系稱為一個資料庫(或稱資料庫文件)，而把對應多個關系建立起來的多個資料庫稱為資料庫系統。dBASEII的另一個重要功能是通過建立命令文件來實現對資料庫的使用和管理，對於一個資料庫系統相應的命令序列文件，稱為該資料庫的應用系統。因此，可以概括地說，一個關系稱為一個資料庫，若干個資料庫可以構成一個資料庫系統。資料庫系統可以派生出各種不同類型的輔助文件和建立它的應用系統。
· 資料庫的要求與特性
為了使各種類型的資料庫系統能夠充分發揮它們的優越性，必須對資料庫管理系統的使用提出一些明確的要求。
1.建立資料庫文件的要求
(1)盡量減少數據的重復，使數據具有最小的冗餘度。計算機早期應用中的文件管理系統，由於數據文件是用戶各自建立的，幾個用戶即使有許多相同的數據也得放在各自的文件中，因而造成存儲的數據大量重復，浪費存儲空間。資料庫技術正是為了克服這一缺點而出現的，所以在組織數據的存儲時應避免出現冗餘。
(2)提高數據的利用率，使眾多用戶都能共享數據資源。
(3)注意保持數據的完整性。這對某些需要歷史數據來進行預測、決策的部門(如統計局、銀行等)特別重要。
(4)注意同一數據描述方法的一致性，使數據操作不致發生混亂。如一個人的學歷在人事檔案中是大學畢業，而在科技檔案中卻是大學程度，這樣就容易造成混亂。
(5)對於某些需要保密的數據，必須增設保密措施。
(6)數據的查找率高，根據需要數據應能被及時維護。
2.資料庫文件的特徵
無論使用哪一種資料庫管理系統，由它們所建立的資料庫文件都可以看成是具有相同性質的記錄的集合，因而這些資料庫文件都有相同的特性：
(1)文件的記錄格式相同，長度相等。
(2)不同的行是不同的記錄，因而具有不同的內容。
(3)不同的列表示不同的欄位名，同一列中的數據的性質(屬性)相同。
(4)每一行各列的內容是不能分割的，但行的順序和列的順序不影響文件內容的表達。

3.文件的分類
對文件引用最多的是主文件和事物文件。其他的文件分類還包括表文件、備份文件、檔案的輸出文件等。下面將講述這些文件。
(1)主文件。主文件是某特定應用領域的永久性的數據資源。主文件包含那些被定期存取以提供信息和經常更新以反映最新狀態的記錄。典型的主文件有庫存文件、職工主文件和收帳主文件等。
(2)事務文件。事務文件包含著作為一個信息系統的數據活動(事務)的那些記錄。這些事務被分批以構成事務文件。例如，從每周工資卡上錄制下來的數分批存放在一個事務文件上，然後對照工資清單文件進行處理以便列印出工資支票和工資記錄簿。
(3)表文件。表文件是一些表格。之所以單獨建立表文件而不把表設計在程序中是為了便於修改。例如，一個公用事業公司的稅率表或國內稅務局的稅率就可以存儲在表中文件。
(4)備用文件。備用文件是現有生產性文件的一個復製品。一旦生產性文件受到破壞，利用備用文件就可以重新建立生產性文件。
(5)檔案文件。檔案文件不是提供當前處理使用的，而是保存起來作為歷史參照的。例如，國內稅務局(IRS)可能要求檢查某個人最近15年的歷史。實際上，檔案文件恰恰是在給定時間內工作的一個"快照"。
(6)輸出文件。輸出文件包含將要列印在列印機上的、顯在屏幕上的或者繪制在繪圖儀上的那些信息的數值映象。輸出文件可以是"假離線的"(存儲在輔存設備上)，當輸出設備可用時才進行實際的輸出。