數據管理如何關聯問題

『壹』 如何在綜合資料庫中反映統計指標間的內在關系

統計指標間的內在關系非常復雜，是人們進行經濟分析的基礎，也是數據關聯使用的依據。為了使資料庫使用起來更加方便，並開發出一些智能化的分析功能，資料庫的設計應盡可能地把這些關系反映出來。 一、統計指標間的常見關系 為了把統計指標間的內在關系在資料庫中反映出來，首先應把這些關系搞清楚。在2005年設計《智能型中國經濟資料庫》時，我們對這些關系進行了一次系統的歸納，結果如下： 1.指標間的運算關系。即一個指標可通過其他指標計算出來，如出口增長率可由出口總額計算、名義收入除價格指數可得實際收入等。 2.分組匯總關系。即分組指標和匯總指標之間的關系。雖然分組匯總關系也是指標間的運算關系，但這種運算關系非常規范，並在分析中應用廣泛，因此有單獨出來的必要。 3.月度數、季度數和年度數間的轉換關系。月度數、季度數和年度數是三種常見的數據類型，相互之間可以轉換，由月度數可以生成季度數和年度數，由季度數可生成年度數。如財政收入，只要有各月的收入總額，就可以算出各季和全年的收入總額。 4.關聯關系和集聚關系。關聯關系是指在分析某一指標時經常需要了解一下其他指標的情況，並且這些「其他指標」是相對固定的，每一次都差不多。集聚關系是指統計指標的使用不是孤立的，經常是一些指標一起使用，這些一起使用的指標形成了一個一個的指標集合。如全國的指標主要是與全國指標一起使用，地區的指標主要與本地區的指標一起使用。 二、指標類型與數據間的運算關系 出口總額通常有當月絕對額、累計絕對額、當月增長率和累計增長率四項數據，這四項數據經常一起使用，並且相互之間可以換算，但在以往的資料庫中，這四項數據一般作為四個獨立的指標，因而難以反映數據之間的關系，使用起來更是極為不便。為了解決這一難題，就必須改變數據管理的模式，由一個指標對應一項數據調整為對應多項數據，從而把有緊密關系的數據進行集中管理，如出口總額對應著四項數據。一個指標對應多項數據，自然就需要明確各項數據的含義和數據項之間的關系。若每個指標都需要單獨地作這種定義，那麼一個指標對應多項數據的意義就不大。指標類型就是為簡化這一定義過程而提出的。指標類型相同的指標，數據項之間的運算關系完全相同，因此只要指定某一指標所屬的指標類型，就完成了所有運算關系的定義，定義過程就高度簡化了。 1.常見的指標類型。指標類型是為了規范數據項間的運算關系而提出的，但指標類型的設定並不僅僅考慮這一因素，而是融入了更多的內容。設定指標類型應考慮的因素是：(1)數據中的信息含量；(2)數據項之間的內在關系；(3)分組匯總的性質；(4)數據的數量特徵。這四個方面都相同的指標可看做是同一類型，當某一方面或幾個方面不同時，則應看做是不同類型。 通過對大量統計指標的觀察和分析，我們歸納出很多種指標類型，常見的類型是：絕對額類、准絕對額類、平均額類、准平均額類、時點類(余額類)、准時點類(准余額類)、時期平均類、價格指數類、定基價格指數類、比率類、差額類、差額增長率類、單指數類等。針對每一種類型，均需進行深入細致的研究，主要內容有：(1)類型的概念和主要特徵；(2)原始數據的各種情況和數據標准化公式；(3)數據項之間的關系和可派生的數據項；(4)數據匯總函數和指標間的運算函數；⑸月度數、季度數和年度數的轉換關系；⑹各數據項在分析中的作用；⑺標准文本的生成方法。 2.原始數據的多種情況。當月進口總額和累計進口總額是兩個不同的指標，但相互之間可以轉換，即從當月進口總額可以計算出累計進口總額，或反之。因此，從使用角度看，這兩個指標是完全一樣的。由於指標類型包含這種轉換關系，因此，為解決這一問題提供了可能。當月進口總額和累計進口總額均為絕對額類指標，是原始數據的兩種不同情況。絕對額類指標的原始數據情況還有很多，並且均可通過運算生成相同的數據項，可生成數據項有當月絕對額、累計絕對額、當季絕對額、當月增長率、累計增長率、當季增長率、當月同比增加額、累計同比增加額和當季同比增加額等。 3.邏輯檢查。在原始數據中，有時包含一些重復信息，如絕對額類指標的有一種情況是當月絕對額和當月增長率，當月增長率是重復信息，可用於檢測原始數據是否正確。當從絕對額計算出來的增長率與原始數據中的增長率不一致時，就說明原始數據有問題。 4.彌補缺損值。月度進口總額為絕對額類指標，假如有當月絕對額、累計絕對額、當月增長率和累計增長率四個原始數據項，第一種情況是缺某一個月的當月絕對額，依據當月絕對額等於累計絕對額減去上月累計絕對額可以把缺損值補上；第二種情況是累計絕對額也缺損，這時可根據上年絕對額和當年增長率進行推算；第三情況是當年增長率也缺損，這時可根據下年絕對額和增長率進行推算。 5.月度數、季度數和年度數的轉換。月度數包含了季度數和年度數的信息，季度數包含了年度數的信息，因此月度數可以轉化為季度數和年度數據，季度數可以轉化年度數，但不能反過來。以絕對額類指標為例，月度數的標准數據項是當月絕對額、累計絕對額、當月增長率和累計增長率。並可以生成當季絕對額和當季增長率，轉換為季度數的方法是：選定數據項當季絕對額、累計絕對額、當季增長率和累計增長率，然後指定輸出月份為3、6、9和12；月度數和季度數轉換成年度數的方法是：選取累計絕對額和累計增長率，並指定輸出月份為12。 三、分組匯總關系 1.反映分組匯總關系的指標代碼編碼規則。為了敘述指標代碼編碼規則，必須先引入基本指標的概念。基本指標是相對於分組指標而言的。以工業增加值來說，本身有多種分組指標，如按行業分、按經濟類型分、按地區分、按輕重工業分，每一種分組都有多個指標；然而其本身又可以看做是國內生產總值按行業分的分組指標。如果一個指標不是其他任何指標的分組指標，那麼就是基本指標。 基本指標的編碼基本上沒有限制，不要使用符號「_」和「！」即可，因為這兩個符號是分組碼和附加碼的聯接符。為了指標編碼管理的方便，基本指標編碼按指標類別編制較好，每個類別用一個英文字母開頭，然後是順序號。 分組指標的編碼由基本指標代碼加分組碼構成，兩者之間用符號「_」聯接。分組碼由兩部分構成，前兩位是分組方式代碼，後面的是分組項代碼。當一個指標包括多種分組方式時，分組碼之間用符號「_」聯接，並按ASCII碼的大小順序排列，以確保編碼的唯一性。如山西省城鎮居民食品支出的代碼為H001_0214_081，其中的H001為基本指標代碼，表示城鎮居民消費支出，0214表示按地區分組的山西省，081表示按消費支出用途分組的食品支出。 對於多級分組，分組項的級別差異可用分組項代碼長度來區分，規則是：同級分組項的代碼長度必須相同，下級分組項的代碼是在上級分組項代碼的後面加上本級編碼，代碼長度自然就比上級分組項長。 當指標代碼按上述規則編制時，將可以方便地找出任一指標的分組指標、同級指標、下級指標、上級指標、同分組指標。這些關系對於數據查詢、對比分析等功能的設計非常有用。 2.結構分析。當某一指標有分組指標時，就可以對該指標的構成情況和構成變動情況進行分析。以工業銷售收入的分地區數據為例，可分析內容有：銷售收入規模較大的地區有哪些、哪些地區發展速度快、哪些地區發展緩慢、哪些地區對增長的貢獻最大、哪些地區對增長速度變化的影響最大、發展速度的均衡性如何、發展水平的均衡性如何、增長格局是否發生了變化等。 四、集聚關系 1.指標類別。指標類別是在對統計指標分類的基礎上形成的。在中國統計年鑒中，統計指標分為自然資源、人口、就業、投資、能源、財政、價格、人民生活、農業、工業、建築業、國內貿易、對外經濟和金融等類別。但統計年鑒中的指標分類難以滿足某些統計分析的需要，以研究製造業問題來說，需要把製造業的生產、價格、投資、進出口等數據集中起來使用，但這些數據分散在統計年鑒的多個部分，因此使用起來不太方便。在資料庫中，統計指標可按多種不同方式進行分類，只要用戶有需要的類別都可以添加到資料庫中，可以解決統計年鑒存在的問題，使得各種集聚關系都能得到反映。 2.條件對象。某一行業的數據主要是與本行業的數據一起使用，即同分組的數據一起使用，這是一種很重要的集聚關系。這種集聚關系可用條件對象的方法來反映，即把帶有某一種分組項的指標全部篩選出來，組成一個分析對象。例如，采礦業的統計指標均帶有采礦業的行業編碼，只要把查詢條件設為采礦業，就可以把這些指標都找出來。 五、反映指標間關系的其他途徑 1.派生指標。派生指標就是通過指標間的運算生成的指標，如進出口總額除以GDP生成貿易依存度，用於反映指標間的運算關系。指標間運算必須以指標類型為基礎，同樣是除法運算，但計算公式卻多種多樣。兩個指標相除，可以生成比率類指標，也可以生成絕對額指標，但兩者計算過程完全不同。現價居民可支配收入除以相應的價格指數可以生成不變價居民可支配收入，但價格指數有可能是當月指數、累計指數、當月漲幅、累計漲幅，可支配收入同樣也有多種情況，只有藉助指標類型的概念，才能使除法運算公式與這些具體情況相獨立。 2.相近指標。含義相近但又略有不同的指標很多，如按人民幣計價的進出口和按美元計價的進出口、由兩個不同部門統計的同一指標、調整前後的GDP等等。相近指標可在指標代碼中予以反映，方法是在指標代碼的最後面添加附加碼，附加碼與其他編碼之間用「！」分開。這樣，相近指標就是附加碼不同的指標。 3.關聯指標。每個統計指標的關聯指標都是不一樣的，因此只能一個指標、一個指標地定義。這種定義可以在資料庫指標體系設計階段進行，也可以根據使用情況自動生成，即把經常一起使用的指標設為關聯指標。

『貳』 如何有效的進行數據治理和數據管控

大數據時代的到來，讓政府、企業看到了數據資產的價值，並快速開始 探索 應用場景和商業模式、建設技術平台。但是，如果在大數據拼圖中遺忘了數據治理，那麼做再多的業務和技術投入也是徒勞的，因為很經典的一句話：Garbage in Garbage out。

當你處理或使用過大量數據，那麼對「數據治理」這個詞你一定不會陌生。你會思考數據治理是什麼？數據治理是否適合你？如何實施。簡單來說，數據治理就是處理數據的策略——如何收集、驗證、存儲、訪問、保護和使用數據。數據治理也還包括誰來查看，使用，共享你的數據。

隨著大數據時代的推進，以上這些問題日益突出，越來越多的企業依賴採集、治理、儲存和分析數據，並實現他們的商業目標。數據變成了企業的盈利工具、業務媒介和商業機密。數據泄露會導致法律糾紛，還會令消費者對公司的核心業務失去信心。

如果抱著僥幸的心理，讓各個業務部門自己管理數據，那麼你會缺乏有效的數據管理，甚至各部門會自己做自己的。你無法想像各個部門按隨心所欲地自己生產、儲存、銷售產品。數據使用不當就像庫存使用不當一樣，會給企業造成沉重的損失。因此必須制定一項測量用以保證所需數據的有效和安全，可用性，這就是我們要談的「數據治理」。

數據治理策略必須包含完整的數據生命周期。策略必須包含從數據採集、清洗到管理，在這個生命周期內，數據治理必須要有關注以下內容：

數據從哪裡來，數據怎麼來

這是數據生命周期的起點。數據來源決定了數據治理策略的基礎。例如數據集的大小就由數據來源所決定。是從目標市場、現存用戶和社交媒體收集數據？還是使用第三方收集數據或者分析你收集的數據？輸入數據流是什麼？數據治理必須關注這些問題，並制定策略來管理數據的採集，引導第三方處理他們收集的數據或者分析你收集的數據，控制數據的路徑和生命周期。

數據校驗

通常數據源都是非常龐大且多樣的，這是一個讓數據管理者非常頭疼的問題。將數據噪音和重要數據進行區分僅僅只是開始，如果你正從關聯公司收集數據，你必須確保數據是可靠的，對於那些幾萬、幾十萬、甚至成百上千萬的復雜關系數據，單靠人為的通過Excel對進行數據清洗已經不太現實，需要專業的數據清洗工具或系統對海量復雜關系數據進行批量查詢、替換、糾正、豐富以及存儲。將元數據、主數據、交易數據、參考數據以及數據標准內置固化到數據清洗工具或系統中，結合組織架構、內容管控、過程管控等管理機制、技術標准提高數據治理人員的工作效率。比如：需要手工編寫程序收集的元數據，系統幫你自動獲取；需要人工識別或編寫代碼實現的數據質量檢查，系統幫你自動識別問題；用文檔管理的數據字典，系統幫你在線管理；基於郵件和線下的流程，系統幫你線上自動化。當然，系統並不是萬能的，數據治理的軟體工具與其他軟體工具一樣，沒有什麼神奇之處，沒有數據治理人員的參與和數據治理工作的推進，軟體再完美也無法完成數據治理整個過程。這也是為什麼數據治理咨詢服務一直有其市場，以及為什麼國內大部分單純數據治理軟體項目未能達到預期目標。

數據治理必須解決存儲問題

而數據存儲和數據集的大小有密切關系。大數據的存儲必須是在安全的冗餘系統之中。常常利用層次體系，根據使用頻率來存儲數據。這樣一來，昂貴的在線系統提供的是被頻繁請求的數據，而請求頻率較低的數據則存儲在便宜，可用率較低的系統上。當然，一些請求頻率低但是敏感的數據如果存儲於安全性較低的系統上，風險會大大提升。因此，在制定數據存儲方案時，良好的數據治理策略必須考慮到方方面面的因素。

數據治理必須建立訪問管理制度，在需求和安全性找到平衡點

明確訪問者的許可權，只能訪問他們對應許可權包含的數據。只有合法請求才能夠訪問數據，而敏感的數據需要更高的許可權和更嚴密的驗證才可以被訪問。只向具有特定安全級別的用戶開放。應該對用戶和數據本身設置訪問級別，管理賬戶時，應與人力資源部和采購部緊密互動，這一點非常重要，因為這樣可以及時地使離職員工和停止合作的供應商不再擁有訪問許可權。處理好這些細節以及確保數據所有權和責任，這是構成完整的數據治理策略的一部分。

數據的使用/共享/分析

如何使用數據是數據治理之後一項重要的內容，數據可能會用於客戶管理，提高客戶體驗，投放定向廣告，用戶應用系統初始化基礎數據工作，輔助應用系統建設，提供市場分析和關聯公司共享數據。必須仔細界定哪些數據可用於共享或者用於營銷，並保護它們免遭攻擊和泄露，因為數據本來就應該被用於純粹的內部用途。讓用戶知悉採集數據的所有公司都會遵守數據安全和保證的規定。能夠確保數據被合理合規的使用，也是數據治理重要的一項內容。

收集、驗證、存儲、訪問和使用都是數據安全計劃的必要組成部分

收集、驗證、存儲、訪問和使用都是數據安全計劃的必要組成部分，必須要有一個全面的策略來解決這些問題以及其他安全問題。數據安全計劃必須是有效且可用性高，但是數據生命周期的所有部分都很容易受到攻擊和由於粗心造成的破壞。你必須在數據治理中確定數據安全計劃，包括訪問控制，靜態數據，數據加工，數據傳輸之後的加密等。

管理/元數據

沒有管理的數據生命周期是不完整的。例如，將元數據應用於一段數據，用來進行識別檢索。元數據包含數據的來源，採集或生成的日期，信息訪問的級別，語義分類及其他企業所必須的信息。數據治理能建立一個元數據詞彙表，界定數據的有效期。請注意數據也會過期，過期之後我們只能用於 歷史 數據的分析。

數據治理創建的過程中可能會在企業內部遭到一些阻力，比如有的人會害怕失去訪問數據的許可權，而有些人也不願意和競爭者共享數據。數據治理政策需要解決上述問題，讓各方面的人都可接受。習慣了數據筒倉環境的公司，在適應新的數據治理策略上面會有困難，但如今對大型數據集的依賴以及隨之而來的諸多安全問題，使創建和實施覆蓋全公司的數據策略成為一種必然。

數據日益成為企業基礎設施的一部分，在企業一步步處理各種特定情況的過程中形成決策。它以一次性的方式作出，常常是對某一特定問題的回應。因此，企業處理數據的方法會因為不同部門而改變，甚至會因為部門內部的不同情況而改變。即使每個部門已經有一套合理的數據處理方案，但這些方案可能彼此沖突，企業將不得不想辦法協調。弄清數據存儲的要求和需求是一件難事，如果做得不好，就無法發揮數據在營銷和客戶維系方面的潛力，而如果發生數據泄露，你還要承擔法律責任。

另外在大企業內部，部門之間會展開對數據資源的爭奪，各部門只關注自身的業務情況，缺乏全局觀念，很難在沒有調解的情況下達成妥協。

因此公司需要一個類似數據治理委員會的機構，他的職責是執行現有數據策略、挖掘未被滿足的需求以及潛在安全問題等，創建數據治理策略，使數據的採集、管護、儲存、訪問以及使用策略均實現標准化，同時還會考慮各個部門和崗位的不同需求。平衡不同部門之間存在沖突的需求，在安全性與訪問需求之間進行協調，確保最高效、最安全的數據管理策略。

建立數據治理委員會

負責評估各個數據用戶的需求，建立覆蓋全公司的數據管理策略，滿足內部用戶、外部用戶甚至法律方面的各種需求。該委員會的成員應該囊括各個業務領域的利益相關者，確保各方需求都得到較好地滿足，所有類型的數據所有權均得到體現。委員會也需要有數據安全專家，數據安全也是重要的一環。了解數據治理委員會的目標是什麼，這一點很重要，因此，應該思考企業需要數據治理策略的原因，並清楚地加以說明。

制定數據治理的框架

這個框架要將企業內部、外部、甚至是法律層面的數據需求都納入其中。框架內的各個部分要能夠融合成一個整體，滿足收集、清洗、存儲、檢索和安全要求。為此，企業必須清楚說明其端到端數據策略，以便設計一個能夠滿足所有需求和必要操作的框架。

有計劃地把各個部分結合起來，彼此支持，這有很多好處，比如在高度安全的環境中執行檢索要求。合規性也需要專門的設計，成為框架的一部分，這樣就可以追蹤和報告監管問題。這個框架還包括日常記錄和其他安全措施，能夠對攻擊發出早期預警。在使用數據前，對其進行驗證，這也是框架的一部分。數據治理委員會應該了解框架的每個部分，明確其用途，以及它如何在數據的整個生命周期中發揮作用。

數據測試策略

通常一個數據策略需要在小規模的商用環境中進行測試，用來發現數據策略在框架，結構和計劃上的不足之處並進行調整，之後才能夠投入正式使用。

數據治理策略要與時俱進

隨著數據治理策略延伸到新的業務領域，肯定需要對策略進行調整。而且，隨著技術的發展，數據策略也應該發展，與安全形勢、數據分析方法以及數據管理工具等保持同步。

明確什麼是成功的數據策略

我們需要確立衡量數據治理是否成功的明確標准，以便衡量進展。制定數據管理目標，有助於確定成功的重要指標，進而確保數據治理策略的方向是符合企業需求。

無論企業大小，在使用數據上都面臨相似的數據挑戰。企業越大，數據越多，而數據越多，越發需要制定一個有效的，正式的數據治理策略。規模較小的企業也許只需要非正式的數據治理策略就足夠了，但這只限於那些規模很小且對數據依賴度很低的公司。即便是非正式的數據治理計劃也需要盡可能考慮數據用戶和員工數據的採集、驗證、訪問、存儲。

當企業規模擴大，數據需求跨越多個部門時，當數據系統和數據集太大，難以駕馭時，當業務發展需要企業級的策略時，或者當法律或監管提出需求時，就必須制定更為正式的數據治理策略。

『叄』 如何有效的進行數據治理和數據管控

從技術實施角度看，主要包含「理」「采」「存」「管」「用」這五個，即業務和數據資源梳理、數據採集清洗、資料庫設計和存儲、數據管理、數據使用。

數據資源梳理：數據治理的第一個步驟是從業務的視角釐清組織的數據資源環境和數據資源清單，包含組織機構、業務事項、信息系統，以及以資料庫、網頁、文件和 API 介面形式存在的數據項資源，本步驟的輸出物為分門別類的數據資源清單。

數據採集清洗：通過可視化的 ETL 工具（例如阿里的 DataX，Pentaho Data Integration）將數據從來源端經過抽取 (extract)、轉換 (transform)、載入 (load) 至目的端的過程，目的是將散落和零亂的數據集中存儲起來。

基礎庫主題庫建設：一般情況下，可以將數據分為基礎數據、業務主題數據和分析數據。基礎數據一般指的是核心實體數據，或稱主數據，例如智慧城市中的人口、法人、地理信息、信用、電子證照等數據。主題數據一般指的是某個業務主題數據，例如市場監督管理局的食品監管、質量監督檢查、企業綜合監管等數據。而分析數據指的是基於業務主題數據綜合分析而得的分析結果數據，例如市場監督管理局的企業綜合評價、產業區域分布、高危企業分布等。那麼基礎庫和主題庫的建設就是在對業務理解的基礎上，基於易存儲、易管理、易使用的原則抽像數據存儲結構，說白了，就是基於一定的原則設計資料庫表結構，然後再根據數據資源清單設計數據採集清洗流程，將整潔干凈的數據存儲到資料庫或數據倉庫中。

元數據管理：元數據管理是對基礎庫和主題庫中的數據項屬性的管理，同時，將數據項的業務含義與數據項進行了關聯，便於業務人員也能夠理解資料庫中的數據欄位含義，並且，元數據是後面提到的自動化數據共享、數據交換和商業智能（BI）的基礎。需要注意的是，元數據管理一般是對基礎庫和主題庫中（即核心數據資產）的數據項屬性的管理，而數據資源清單是對各類數據來源的數據項的管理。

血緣追蹤：數據被業務場景使用時，發現數據錯誤，數據治理團隊需要快速定位數據來源，修復數據錯誤。那麼數據治理團隊需要知道業務團隊的數據來自於哪個核心庫，核心庫的數據又來自於哪個數據源頭。我們的實踐是在元數據和數據資源清單之間建立關聯關系，且業務團隊使用的數據項由元數據組合配置而來，這樣，就建立了數據使用場景與數據源頭之間的血緣關系。 數據資源目錄：數據資源目錄一般應用於數據共享的場景，例如政府部門之間的數據共享，數據資源目錄是基於業務場景和行業規范而創建，同時依託於元數據和基礎庫主題而實現自動化的數據申請和使用。

質量管理：數據價值的成功發掘必須依託於高質量的數據，唯有準確、完整、一致的數據才有使用價值。因此，需要從多維度來分析數據的質量，例如：偏移量、非空檢查、值域檢查、規范性檢查、重復性檢查、關聯關系檢查、離群值檢查、波動檢查等等。需要注意的是，優秀的數據質量模型的設計必須依賴於對業務的深刻理解，在技術上也推薦使用大數據相關技術來保障檢測性能和降低對業務系統的性能影響，例如 Hadoop，MapRece，HBase 等。

商業智能（BI）：數據治理的目的是使用，對於一個大型的數據倉庫來說，數據使用的場景和需求是多變的，那麼可以使用 BI 類的產品快速獲取需要的數據，並分析形成報表，像派可數據就屬於專業的BI廠商。

數據共享交換：數據共享包括組織內部和組織之間的數據共享，共享方式也分為庫表、文件和 API 介面三種共享方式，庫表共享比較直接粗暴，文件共享方式通過 ETL 工具做一個反向的數據交換也就可以實現。我們比較推薦的是 API 介面共享方式，在這種方式下，能夠讓中心數據倉庫保留數據所有權，把數據使用權通過 API 介面的形式進行了轉移。API 介面共享可以使用 API 網關實現，常見的功能是自動化的介面生成、申請審核、限流、限並發、多用戶隔離、調用統計、調用審計、黑白名單、調用監控、質量監控等等。

『肆』 請問在做出產品入庫管理程序中。出入庫操作後，怎樣讓出入庫數據與庫存數關聯……（

用上期結存+本期收入-期末結余=本期出庫公式就可以反映其關聯關系。

『伍』 如何構建一個完善的資料庫,如何來處理表與表關系.

SQL Server本身就是一個完善的資料庫，提供可視化編程，後台完成所有拖放處理操作，不管有沒有數據都可以使用，不需要編譯。

一個比較合理的資料庫設計應該考慮數據的交互性和挖掘能力、處理效率以及日誌記錄。

建立數據表，注意以下幾點：

1. 表建立的時候要有主鍵和索引，表與表之間要能使用主鍵相聯系，舉例說在A表裡我做完一次記錄要生成一個單號，B表裡面是依據單號來做下一個流程，而不是依據記錄的每一條數據
   

2. 取名盡量使用英文+下劃線，SQL Server里對漢字需要轉碼，影響工作效率，按照他的默認編碼方式操作有助於提高數據處理速度

3. 建立數據表的列數不要太多，用編碼規則來建立邏輯

4. 注意欄位存儲空間，限制欄位長度，少用注釋和image

5. 存儲過程盡量簡潔實用
   

建立視圖，為了別的客戶端使用，盡量建立視圖，做好完整的數據分析，別的介面程序或者客戶端直接就可以拿去使用。做視圖注意幾點：

1. 多個表操作寫在一個視圖里，不要嵌套太多視圖
   

2. 連接查詢要適當的篩選

3. 跨伺服器操作視圖，要建立伺服器鏈接表，盡量使用內網鏈接，把伺服器鏈接表做成查詢視圖，放在本地伺服器資料庫里，這樣就等同本地操作

4. 視圖之間保留連接欄位作為主要索引

建立計劃作業，有計劃地進行數據同步更新和備份標識工作，注意事項：

1. 備份數據盡量放資料庫里同步復制
   

2. 計劃任務避開工作高峰期

建立存儲過程，記錄操作日誌，把日誌以數據表的形式存儲，注意事項：

1. 存儲過程對本表操作，不要交互太多表
   

2. 精簡參數數量，注意參數存儲空間

3. 對記錄修改刪除、更新標記的時候盡量使用時間來索引

建立關系圖，給表與表之間建立直接關系，整理整體挖掘數據性能。

建立計劃更新任務，優化資料庫整體性能。

『陸』 一文讓你分清數據管理與數據治理

一文讓你分清數據管理與數據治理
當我們談數據資產管理時，我們究竟在談什麼？就目前而言，我們談論得最多的非數據管理和數據治理這兩個概念莫屬。但是對於這兩個概念，兩者的准確定義是什麼，具體區別又是什麼，仍是困擾著許多人的關鍵問題。
數據管理和數據治理有很多地方是互相重疊的，它們都圍繞數據這個領域展開，因此這兩個術語經常被混為一談。
此外，每當人們提起數據管理和數據治理的時候，還有一對類似的術語叫信息管理和信息治理，更混淆了人們對它們的理解。關於企業信息管理這個課題，還有許多相關的子集，包括主數據管理、元數據管理、數據生命周期管理等等。
於是，出現了許多不同的理論（或理論家）描述關於在企業中數據/信息的管理以及治理如何運作：它們如何單獨運作？它們又如何一起協同工作？是「自下而上」還是「自上而下」的方法更高效？
為了幫助大家弄明白這些術語以及它們之間的關系，本文將著重定義它們的概念，並指出它們的區別，這些定義和區別源自於國際公認的以數據為中心的相關組織，同時還會在一些觀點上展開詳細的探討。
數據管理包含數據治理
在說明數據和信息的區別之前，最好從「治理是整體數據管理的一部分」這個概念開始，這個概念目前已經得到了業界的廣泛認同。數據管理包含多個不同的領域，其中一個最顯著的領域就是數據治理。CMMi協會頒布的數據管理成熟度模型（DMM）使這個概念具體化。DMM模型中包括六個有效數據管理分類，而其中一個就是數據治理。數據管理協會（DAMA）在數據管理知識體系（DMBOK）中也認為，數據治理是數據管理的一部分。在企業信息管理（EIM）這個定義上，Gartner認為EIM是「在組織和技術的邊界上結構化、描述、治理信息資產的一個綜合學科」。Gartner這個定義不僅強調了數據/信息管理和治理上的緊密關系，也重申了數據管理包含治理這個觀點。
治理與管理的區別
在明確數據治理是數據管理的一部分之後，下一個問題就是定義數據管理。治理相對容易界定，它是用來明確相關角色、工作責任和工作流程的，確保數據資產能長期有序地、可持續地得到管理。而數據管理則是一個更為廣泛的定義，它與任何時間採集和應用數據的可重復流程的方方面面都緊密相關。例如，簡單地建立和規劃一個數據倉庫，這是數據管理層面的工作。定義誰以及如何訪問這個數據倉庫，並且實施各種各樣針對元數據和資源庫管理工作的標准，這是治理層面的工作。數據管理更廣泛的定義包含DATAVERSITY上大部分主題為數據管理的文章和博客，其中有一部分是特別針對數據治理的。一個更廣泛的定義是，在數據管理過程中要保證一個組織已經將數據轉換成有用信息，這項工作所需要的流程和工具就是數據治理的工作。
信息與數據的區別
在上文關於數據管理的第三個定義中，提到了數據和信息的區別。所有的信息都是數據，但並不是所有的數據都是信息。信息是那些容易應用於業務流程並產生特定價值的數據。要成為信息，數據通常必須經歷一個嚴格的治理流程，它使有用的數據從無用數據中分離出來，以及採取若干關鍵措施增加有用數據的可信度，並將有用數據作為信息使用。數據的特殊點在於創造和使用信息。在Gartner的術語表中，沒有單獨解釋數據管理和數據治理的概念，取與代之的是重點介紹了信息治理和信息管理的概念。
數據治理主要圍繞對象：角色
與正式的數據治理流程相關的角色是有限的。這些角色通常包括高層的管理者，他們優化數據治理規劃並使資金籌集變得更為容易。這些角度也包括一個治理委員會，由個別高層管理者以及針對治理特定業務和必要流程而賦予相應職責的跨業務部門的人組成。角色也包括數據管理員，確保治理活動的持續開展以及幫忙企業實現業務目標。此外，還有部分「平民」管理員，他們雖然不會明確被指定為數據管理員，但他們仍然在各自業務領域里的治理流程中扮演活躍的角色。
有效的治理不僅需要IT的介入，這是人們的普遍共識。尤其當業務必須更主動地參與到治理方式和數據管理其他層面（例如自助數據分析）的時候，目的是要從這些工作參與中獲益。在更多的案例中，特定領域的治理可以直接應用於業務。這就是為什麼治理僅需要IT的介入是一個過時且應該擯棄的觀點。
數據治理主要圍繞對象：領域
數據治理包含許多不同方面的領域：
●元數據：元數據要求數據元素和術語的一致性定義，它們通常聚集於業務詞彙表上。
●業務詞彙表：對於企業而言，建立統一的業務術語非常關鍵，如果這些術語和上下文不能橫跨整個企業的范疇，那麼它將會在不同的業務部門中出現不同的表述。
●生命周期管理：數據保存的時間跨度、數據保存的位置，以及數據如何使用都會隨著時間而產生變化，某些生命周期管理還會受到法律法規的影響。
●數據質量：數據質量的具體措施包括數據詳細檢查的流程，目的是讓業務部門信任這些數據。數據質量是非常重要的，有人認為它不同於治理，它極大提升了治理的水平。
●參考數據管理：參考數據提供數據的上下文，尤其是它結合元數據一起考慮的情況下。由於參考數據變更的頻率較低，參考數據的治理經常會被忽視。
雖然上述提及的是數據治理在數據管理中所負責的特定領域，但一個至關重要的問題在於，所有組織里的數據必須持續堅持數據治理的原則。
數據建模
數據建模是依賴於數據治理的另一個數據管理中的關鍵領域，它結合了數據管理與數據治理兩者進行協調工作。可以說，為了將數據治理擴展到整個組織，利用一個規范化的數據建模有利於將數據治理工作擴展到其他業務部門。遵從一致性的數據建模，令數據標准變得有價值（特別是應用於大數據）。一個確保數據治理貫穿整個企業的最高效手段，就是利用數據建模技術直接關聯不同的數據治理領域，例如數據血緣關系以及數據質量。當需要合並非結構化數據時，數據建模將會更有價值。此外，數據建模加強了治理的結構和形式。
關鍵的不同點
數據管理其他方面的案例在DMM中有五個類型，包括數據管理戰略、數據質量、數據操作（生命周期管理）、平台與架構（例如集成和架構標准），以及支持流程（聚集於其他因素之中的流程和風險管理）。在此重申一點，數據治理和數據管理非常接近是有事實支撐的，數據質量經常被視為與數據治理相結合，甚至被認為是數據治理的產物之一。也許，情景化這兩個領域的最好辦法，在於理解數據治理是負責正式化任何數據管理當中的流程，數據治理本身著重提供一整套工具和方法，確保企業在實際上治理這些數據。雖然數據治理是數據管理中的一部分，但後者必須要由前者來提供可靠的信息到核心業務流程。

『柒』 數據治理的數據治理成功的關鍵——元數據管理

獨立企業數據集成軟體提供商Informatica公司（納斯達克代碼：INFA）認為：數據治理成功的關鍵在於元數據管理，即賦予數據上下文和含義的參考框架。經過有效治理的元數據可提供數據流視圖、影響分析的執行能力、通用業務詞彙表以及其術語和定義的可問責性，最終提供用於滿足合規性的審計跟蹤。元數據管理成為一項重要功能，讓 IT 部門得以監視復雜數據集成環境中的變化，同時交付可信、安全的數據。因此，良好的元數據管理工具在全局數據治理中起到了核心作用。 Informatica將數據治理定義為「在組織范圍內，對流程、政策、標准、技術和人員進行職能協調和定義來將數據作為公司資產管理，從而實現對准確、一致、安全且及時的數據的可用性管理和可控增長，以此制定更好的業務決策，降低風險並改善業務流程」。
數據治理著重於交付可信、安全的信息，為制定明智的業務決策、有效的業務流程並優化利益相關方交互提供支持。因此，數據治理本身並非是結果，而僅僅是方法：即通過數據治理來支持最關鍵的業務目標。 正如某家大型銀行的高管所言：「如果沒有數據治理，任何元數據管理方案註定會失敗。」元數據管理可作為一項重要功能，讓IT部門得以管理復雜數據集成環境中的變化，同時交付可信、安全的數據。當業務利益相關方參與這一進程並接受對數據參考框架的責任，其優勢將變得更有說服力。此時，企業就能將業務元數據與基層的技術元數據進行關聯，為全公司范圍內的協作提供詞彙表和背景資料。
例如，當業務用戶要求其在 IT 部門的搭檔在報告或分析中顯示「凈收入」，就無需再提問「哪種凈收入——財務、銷售還是市場營銷？」除提供其他優勢外，良好的元數據管理還可通過免除此類重要問題，促進數據治理：
· 這個業務術語的含義是什麼？
· 在（幾個相似的）業務術語中應當使用哪一個？
· 該術語的來源是什麼？
· 該數據從數據源轉移到目標時是如何進行轉換的？
· 由誰負責該術語的定義、記錄和管理？
· 誰修改過該術語？如何及何時進行修改？
· 哪些政策和規則適用於該術語？（示例包括數據質量規則、安全屏蔽規則、存檔規則和數據保留政策）
· 修改環境中的某一特定數據對象會對其他數據對象產生哪些影響？
· 在不對可能使用相同數據對象的其他報告和分析造成影響的前提下，需要多長時間來實施環境變更？ 一系列公司方案推動了數據治理的進展，也由此帶動了元數據管理。這些方案包括：
· 通用業務詞彙表（簡單的數據管理）。這種「小規模試水」方法著重於某一特定問題或業務部門的通用業務詞彙表。
· 全面數據治理（或數據管理策略）。這是一種更近似由上至下的方式，通常用於涉及企業內一系列業務部門的較大規模計劃，並以按多個階段（如果不是更長時間）進行管理的計劃中的多個商機為目標。
· 合規。此類方案的推動因素是為遵守國際、國家、當地或行業法規的需求。合規——通常由一個治理、風險與合規性（GRC）職能部門進行管理，顯然與數據治理唇齒相依。在發現、分析和記錄企業的多項內部數據治理要求的同時，還必須與適用外部法規的相關特定要求進行統籌協調。其中部分示例包括：
· 銀行業：Basel II、Basel III、多德弗蘭克法案（Dodd Frank）、洗錢法案
· 保險業：償付能力監管標准II（Solvency II ）
· 醫療保健：HITECH Act、HIPAA
· 一般金融服務：薩班斯—奧克斯利法案
· 元數據管理。這是更上一層樓的做法，將元數據管理和數據治理作為「最佳實踐」與各個新的業務方案掛鉤。該方案對業務案例和項目范圍進行定義。在多家未能成功實施較大型數據治理方案的公司中，這一方法則取得了成功。 幾乎所有企業都面臨著管理數據量、速度和種類的挑戰。Hadoop/MapRece 技術在復雜數據分析能力以及按相對低廉的成本實現最大數據擴展性方面提供了一些有趣的優勢。Hadoop 在不久的將來取代關系性DBMS的可能性不大，這兩項技術更有可能並存，因為它們各有獨到之處。雖然用於管理和分析數據的技術可能不同，元數據管理和數據治理的目標應始終保持不變：為支持良好的業務決策提供可信、及時且相關的信息。不存在所謂的「大數據治理」或「大數據元數據管理」——相反，這是一個將全局企業數據治理和元數據管理活動加以擴展來包容全新數據類型和數據源的問題。
Hadoop帶來的挑戰之一就是元數據管理。如果沒有良好的元數據管理和數據治理，Hadoop將會缺乏透明度、可審計性以及數據的標准化與重復利用能力。企業仍將需要對數據相關關鍵信息的可見性，例如其來源、質量和所有權，否則就必須承受Hadoop變成環境內的又一個數據孤島的風險。在該領域涌現的 HCatalog 和Hive /HiveQL等新技術將使得從非結構化和半結構化數據中收集元數據變得更加簡易，從而實現Hadoop上的數據沿襲。這些功能對於將Hadoop集成入總體數據集成框架，以防止大數據在企業中遭到孤立隔絕，可如同任何其他數據源一樣進行治理至關重要。 Informatica可提供功能齊全而又穩健可靠的工具，具備交付可信、安全的數據和啟動成功的元數據管理方案所需的全部精確功能。Metadata Manager & BusinessGlossary可提供獨一無二的多項優勢，讓IT經理能夠盡量降低在實施變更時對關鍵業務數據造成損害的業務風險。
InformaticaMetadata Manager & Business Glossary是 InformaticaPowerCenter Standard Edition的關鍵組件之一。它可提供為數據治理方案奠定基礎所需的核心元數據管理工具。Metadata Manager & Business Glossary是一項單個產品，配備一個共享的元數據信息庫。它具備兩個用戶界面，供兩類截然不同的用戶使用：
· MetadataManager 可讓 IT 人員處理技術元數據。
· Business Glossary 可讓業務和 IT 管理員協同管理業務元數據。
ITSS WG1發布的白皮書表明
數據治理模型包括三個框架:范圍，促成因素和執行及評估。他們每個方面都包含許多組件來進行展示和描述它們是如何工作的。該框架顯示數據治理內部的邏輯關系。范圍展示了我們應該關注什麼，促成因素展示了數據治理的推動因素，執行和評估展示了如何實現治理的方法。該DG模型可以通過三個框架幫助我們理解數據治理。
數據治理的范圍包括四個層次的內容。首先，應該 有一個治理要素負責管理其它管理要素，保證治理與管理的一致性。其次，下面的三個層次分別列示了需要治理的數據管理要素，其中價值創造層列示了通過數據治理所創造的價值服務。價值保證層描述了一個組織治理數據時重要保證服務。基礎數據服務層描述了一個數據治理的基礎數據服務。

『捌』 主數據管理的問題在大多數行業、企業中普遍存在

（1）主數據管理

主數據管理，包括不僅僅是硬體和軟體，還是將數據作為重要資產管理的思想和辦法，是指一整套的用於生成和維護企業主數據的規范、技術和方案，以保證主數據的完整性、一致性和准確性。主數據管理的目標是提供一個准確、及時、完整、相應的主數據來源，以支持業務流程和交易。

（2）主數據管理不是數據倉庫

數據倉庫會將各個業務系統的數據集中在一起再進行業務的分析，並且保存經過清理的數據；主數據管理系統不會把所有數據都管理起來，只是把需要在各個系統間共享的主數據進行採集和發布。

數據倉庫是單向集成的；主數據管理注重將主數據的變化同步發布到各個關聯的業務系統中。主數據系統是雙向的，不但需要從各個系統中獲取、加工，還包括了最終數據的分發。

（3）常見的主數據管理問題

目前，主數據管理的問題在大多數行業、企業中普遍存在。

主要表現為以下幾點：

關鍵信息孤島，數據分布在多個孤島，不能跨組織傳播；

組織內不能就一個主數據源達成一致；

數據質量問題引發的業務流程和交易的失敗；

不正確或丟失數據造成合規性和績效管理的問題；

決策者做出基於錯誤數據的錯誤決定。

對企業來說，業務系統的構建大多是以實際業務為核心，從下至上地構建系統，使得缺乏統一的規劃，從而導致一些需要在各個業務中共享的主數據被分散到各個業務系統中。分散管理的主數據由於缺乏一致性、准確性和完整性，從而導致各個企業普遍存在的客戶管理、供應商管理、產品管理等不力現象。

（4）主數據管理解決方案

從多個業務系統中整合最核心的、需要共享並保持一致的主數據，即創建主數據的單一視圖（MDM主數據管理系統）；

以服務的方式把統一、完整、准確的主數據發布給企業范圍內需要使用這些數據的業務系統、業務流程和決策支持系統；

建立數據治理委員會，集中、定期進行主數據的清洗和豐富。

（5）帶來的業務價值

基於完整、准確的信息增強企業管理和業務增長的能力；

加速新的服務和產品的推出，簡化業務流程；

增強IT架構的靈活性，構建覆蓋整個企業范圍的數據管理基礎；

提高業務分析的准確度和企業管理的水平，滿足法規的要求，降低業務風險。

如何進行主數據管理

那如何解決這上述的兩大痛點， 億信華辰睿治數據治理平台 -主數據管理提供了完整的解決方案，主要工作包括以下幾方面：

1、完善主數據管理體系

構建主數據體系，建立企業的主數據管理組織機構。設置主數據管理崗位，明確職責和分工。制定管理制度、標准以及流程。綜合組織機構、人員配備、制度流程三方面建立起完備的主數據管理體系。

2、統一主數據來源

梳理主數據范圍，統一各類主數據的來源，保證主數據入口的唯一性和准確性，打破原有數據分散、不一致的局面。

3、建立主數據標准規范

對各類主數據的標准和規范進行定義，從源頭提高數據的質量和可用性。

4、進行主數據管理

通過專業化工具實現主數據管理，降低數據管理、維護、集成成本，提升主數據的質量，提供主數據服務，提升數據的高效利用。

『玖』 資料庫在企業管理器中怎麼建立關聯

用鏈接伺服器的方式