⑴ 數據質量與數據質量八個維度指標
數據質量與數據質量八個維度指標
數據的質量直接影響著數據的價值,並且直接影響著數據分析的結果以及我們以此做出的決策的質量。質量不高的數據不僅僅是數據本身的問題,還會影響著企業經營管理決策;錯誤的數據還不如沒有數據,因為沒有數據時,我們還會基於經驗和基於常識的判斷來做出不見得是錯誤的決策,而錯誤的數據會引導我們做出錯誤的決策。因此數據質量是企業經營管理數據治理的關鍵所在。
數據的質量可以從八個方面進行衡量,每個維度都從一個側面來反映數據的品相。八個維度分別是:准確性、真實性、完整性、全面性、及時性、即時性、精確性和關聯性。
我們在比較兩個數據集的品相的時候往往採用這種圖形表示。比如說,常規來講內部數據採集的准確性、真實性、完整性高,而全面性、及時性、即時性、精確性和關聯性方面取決於企業內部對數據的重視程度以及採用的技術手段的先進性有關;外部數據集,比如說微博數據、互聯網媒體數據等,其全面性、及時性和即時性都可以通過技術手段,如網路爬蟲等得到提高,但在准確性、真實性、精確性上難以保證,也難以控制,在關聯性方面取決於數據採集和挖掘的相關技術。
我們也可以用這個模型來衡量公司內部各個職能部門數據的品相。下圖是個示意,通過數據質量8大指標的評價,我們可以對企業內部數據治理有針對性地採取措施去提高企業的數據質量。
數據的准確性
數據的准確性(Accuracy)是指數據採集值或者觀測值和真實值之間的接近程度,也叫做誤差值,誤差越大,准確度越低。數據的准確性由數據的採集方法決定的。
數據的精確性
數據的精確性(Precision)是指對同一對象的觀測數據在重復測量時所得到不同數據間的接近程度。精確性,也可以叫精準性。精確性與我們數據採集的精度有關系。精度高,要求數據採集的粒度越細,誤差的容忍程度越低。
測量人的身高,我們可以精確到厘米,多次測量差異只會在厘米級別;測量北京到上海的距離,我們精確到公里,多次測量結果間的差異會在公里級別;採用游標卡尺測量一個零件的厚度,可以精確到1/50毫米,多次測量的結果間的誤差也只會在1/50毫米間。採用的測量方法和手段直接影響著數據的精確性。
數據的真實性
數據的真實性,也叫數據的正確性(Rightness)。數據的正確性取決於數據採集過程的可控程度,可控程度高,可追溯情況好,數據的真實性容易得到保障,而可控程度低或者無法追溯,數據造假後無法追溯,則真實性難以保證。
為了提高數據的真實性,採用無人進行過程干涉的智能終端直接採集數據,能夠更好地保證所採集數據的真實性,減少人為干預,減少數據造假,從而讓數據更加正確地反應客觀事物。
數據的及時性
數據的及時性(In-time)就是數據能否在需要的時候得到保證。我們月初會對上個月的經營和管理數據進行統計匯總,這些數據能否及時處理完成,財務能否在月度關賬後及時核算。數據的及時性是我們數據分析和挖掘及時性的保障。如果公司的財務核算復雜,核算速度緩慢,上個月的數據在月中才能統計匯總完成,等需要調整財務策略的時候,已經到了月底了,一個月已經快過完了。特別是公司做大了之後,業務覆蓋多個市場、多個國家,數據不能及時匯總,會影響到高層決策的及時程度。
數據的及時性與企業數據處理的速度和效率有直接的關系,為了提高數據的及時性,越來越多的公司採用管理信息系統,並在管理信息系統中附加各種自動數據處理功能,能夠在數據上傳系統之後自動完成絕大部分報表,從而保證數據處理的效率。計算機自動處理中間層數據是提高企業數據處理效率的有效手段。
除了保證數據採集的及時性和數據處理的效率問題外,還需要從制度和流程上保證數據傳輸的及時性。數據報表完成了,要及時或者在要求的時間范圍內發送到指定的部門,或者上傳到指定的存儲空間。
數據的即時性
數據的即時性是指數據採集時間節點和數據傳輸的時間節點,一個數據在數據源頭採集後立即存儲,並立即加工呈現,就是即時數據,而經過一段時間之後再傳輸到信息系統中,則數據即時性就稍差。
微博的數據採集,當用戶發布了微博,數據立即能夠被抓取和加工,會生成即時微博數據報告,並隨著時間推移,數據不斷變化,我們可以稱作是即時採集和處理的。一個生產設備的儀表即時反應著設備的溫度、電壓、電流、氣壓等數據,這些數據生成數據流,隨時監控設備的運行狀況,這個數據可以看作是即時數據。而當設備的即時運行數據存儲下來,用來分析設備運行狀況與設備壽命的關系,這些數據就成為歷史數據。
數據的完整性
數據的完整性是從數據採集到的程度來衡量的,是應採集和實際採集到數據之間的比例。一條信息採集12個數據點,如我們採集員工信息數據的時候,要求填寫姓名、出生日期、性別、民族、籍貫、身高、血型、婚姻狀況、最高學歷、最高學歷專業、最高學歷畢業院校、最高學歷畢業時間等12項信息,而某一員工僅僅填寫了部分信息,如只填寫了其中的5項,則該員工所填寫數據的完整性只有一半。
一個公司數據的完整性體現著這個公司對數據的重視程度。要求採集數據而實際上並未完整採集,只採集了一部分,這就是不完整的,往往是公司對數據採集質量要求不到位導致的。公司要求每個人都填寫完整的個人信息表,而有部分員工拒絕填寫,公司2000員工,只有1200人填寫了完整的個人信息表,則這個數據集就是不完整的。
另外,對於動態數據,我們可以從時間軸上去衡量數據採集的完整性。比如,我們要求每小時採集一次數據,每天會形成24個數據點,記錄為24條數據,但是員工瀆職,只記錄了20次,那麼這個數據集也是不完整的。
數據的全面性
數據的全面性和完整性不同,完整性衡量的是應採集和實際採集的差異。而全面性指的是數據採集點的遺漏情況。比如說,我們要採集員工行為數據,我們只採集了員工上班打卡和下班打卡的數據,上班時間的員工行為數據並未採集,或者沒有找到合適的方法來採集。那麼,這個數據集就是不全面的。
我們描述一個產品的包裝,僅僅描述了產品包裝的正面和背面,沒有記錄產品包裝的側面,則就是不全面的。我們記錄一個客戶的交易數據,我們只採集了客戶訂單中的產品、訂單中產品的價格和數量,而沒有採集客戶送貨地址、采購時間,這個數據採集就是不全面的。
騰訊QQ和微信的用戶數據記錄了客戶交流溝通的數據;阿里和京東的用戶數據記錄了用戶的購買交易數據;網路地圖記錄了用戶出行的數據;大眾點評和美團記錄了客戶餐飲娛樂的數據。對於全面描述一個人的生活的衣食住行各方面,這些公司的數據都是不全面的,而如果把他們的數據整合起來,則會形成更加全面的數據。所以說,數據的全面性說一個相對的概念。過度追求數據的全面性說不現實的。
數據的關聯性
數據的關聯性是指各個數據集之間的關聯關系。比如員工工資數據和員工績效考核數據是通過員工這個資源關聯在一起來的,而且績效數據直接關繫到工資的多少。采購訂單數據與生產訂單數據之間通過物料的追溯機制進行關聯,而生產訂單又是由員工完成的,即通過員工作業數據與員工信息數據關聯起來。
其實,我們本書探討的企業大數據,每個數據集都是相關關聯的,有些是直接關聯的,比如員工工資數據和員工績效數據,有些是間接關聯的,比如說物料采購訂單數據與員工工資數據。這些數據的關聯關系是由公司的資源,包括人、財、物和信息等,連接起來的。如果有任何的數據集不能連接到其他的數據集,就會存在數據割裂或者數據孤島。數據割裂和數據孤島是企業數據關聯性不足導致的。而數據的關聯性直接影響到企業數據集的價值。
⑵ 數據質量的評價指標有哪些
1、對於高速數據,主要看眼形圖。
2、對於普通信號,主要看失真度、延遲時間、上升時間、下降時間、超調量、穩定性等。
數據是組織最具價值的資產之一。企業的數據質量與業務績效之間存在著直接聯系,高質量的數據可以使公司保持競爭力並在經濟動盪時期立於不敗之地。有了普遍深入的數據質量,企業在任何時候都可以信任滿足所有需求的所有數據。
⑶ 你知道互聯網業務數據分析常用指標有哪些嗎
常用的數據指標包括三方面:用戶數據、行為數據、業務數據,串成一句話即是:誰,幹了什麼,結果如何
可從用戶來源、用戶存量、用戶增量、用戶健康度四個常用維度去看
用戶來源 :指用戶來源的渠道,比如:網路自然搜索、網路關鍵字投放、搜狗、微信等
用戶存量 :指日活DAU(Daily Active User,日活躍用戶數量)、月活MAU(Monthly Active User,月活躍用戶數量)等用戶活躍數據。註:需要說明的是MAU不等於各日的DAU之和,需要對用戶去重統計才有意義。
用戶增量 :指新增用戶,定義新增用戶的流程節點和基於維度不同,統計出來的數據不同,在日常工作中,要和團隊明確統一定義的標准,降低溝通成本
用戶健康度 :可用用戶留存率等指標衡量,關於留存率計算一般有三種演算法
可從訪問次數/頻率、訪問時長、訪問轉化、訪問跳出四個常用維度去看
訪問次數/頻率 :可用PV(Page View,頁面瀏覽量)、UV(Unique Visitor,獨立訪客量)、訪問深度來呈現
PV指頁面訪問次數,UV指訪客人數
訪問深度 :用來衡量用戶對產品的了解程度
訪問時長 :可一定程度量化當前頁面內容對用戶的吸引程度。註:在處理訪問時長數據時,需要注意剔除一些非常大的值,避免用戶去做其他事情頁面沒關這種極端情況帶來的干擾
訪問轉化 :指用戶訪問相關頁面後,轉化成注冊用戶、付費用戶的比率
訪問跳出 :可用彈出率等指標衡量頁面對用戶的質量,註:彈出率是基於訪問次數的
可從業務總量、人均付費、人數、產品健康度四個常用維度去看
總量 :一般會用GMV(Gross Merchandise Volume,成交總額)來度量,
人均付費 :一般用ARPU(Average Revenue Per User,每用戶平均收入)/ARPPU(Average Revenue Per Paying User,每付費用戶帶來的平均收益)
人數 :一般指付費人數
產品健康度 :衡量大多數產品健康度,看其能帶來的收益,即可以用付費率、付費頻次等指標來衡量
上述具體指標,在實際工作中,要根據產品的具體形態調整。比如業務數據的指標,視頻產品一般就會採用觀看時長來衡量總量,觀看人數來度量人數這個指標