A. 大數據在安防領域主要有哪些應用難點在哪
一、安防大數據主要應用領域
（一）大數據是視頻智能分析基礎
在大數據應用時代，視頻因其信息含量最高、數據量最大，分析運算最復雜而成為大數據時代採集分析傳輸存儲應用最具挑戰的國際技術難題！智能視頻分析研究永無止境，分析演算法必須以監控視頻為資源，研究實時或歷史監控視頻中的目標特徵提取、增強與行為分析等關鍵技術，才能推動監控視頻應用模式從事後被動處置向事前主動預防轉變。
（二）幫助實現智慧城市智能化
我國智慧城市建設面臨的重大挑戰之一，是城市系統之間由於標准問題無法有效集成，形成信息孤島。因此，在大數據融合技術領域，一方面要加強大數據標准建設，另一方面要加強海量異構數據建模與融合、海量異構數據列存儲與索引等關鍵技術研發，為給予底層數據集成的信息共享提供標准和技術保障。大規模數據在智慧城市系統流動過程中，出於傳輸效率、數據質量與安全等因素的考慮，需要對大規模數據進行預處理。大數據處理技術往往需要與基於雲計算的並行分布式技術相結合，這也是目前國際產業界普遍採用的技術方案。大數據分析與挖掘技術為智慧城市治理提供了強大的決策支持能力。
（三）提高警務辦事效率
互聯網技術的飛速發展已經為構建一個大型全國性的專業報警運營服務平台提供了有力的技術支撐。通過這個報警平台，報警運營服務商手中會累積海量的用戶數據，例如用戶的身份信息、警情數據、消費記錄、維修記錄等，這些都是非常寶貴的資源。報警運營服務商可以在此基礎上，應用大數據技術進行分析和挖掘，充分發揮大數據的商業價值。
公安如公安系統中的圖偵技術，應用模式多樣，思維活躍，圍繞著「發現線索」的目的可衍生出多種的技戰法，只有從這些具體的技戰法中才能提煉出需求，真正告訴系統的設計者「我們要什麼」。
那麼，圖偵里的大數據應用需要哪些？像商業大數據那樣找規律的應用似乎還遠了點，目前最實在的就是從海量視頻數據里把有相同線索特徵的圖像給找出來，讓幹警發現出新的案件線索。至於「怎麼找？」這就是由公安來提的應用模式了。因此，視頻大數據的發展並不是簡單的由技術廠商做主導，而是需要公安體制內既有刑偵實戰經驗，又有科技化功底的復合型人才，共同來參與視頻大數據應用的發展。
（四）讓智能家居「聰明」起來
智能家居會產生大數據，同時也是大數據的重要應用領域，不然它極有可能將停滯不前。家庭產生的大數據能讓智能家居更「聰明」，但需要根據實際情況進行有效處理，而不是任何數據的「一鍋端」，通過大數據與雲計算技術的結合應用，智能家居系統能夠第一時間對用戶家庭中智能設備的數據、信息進行有效分析、記憶，並將得到的相應規律反過來應用於智能設備，提升智能家居的智能效果。
二、安防大數據應用難點
（一）數據整合問題
不同來源的大數據，分別存儲於相互獨立的系統中，將這些數據集中於統一的平台，是安防大數據實施的基礎性工作，但行業、部門壁壘是最大障礙。即使只是公安內部的視頻數據，各省、地市也互不相通，想採集集中也不是一件容易的事。即使集中後，如何找到這些不同類型數據之間的關系，從而挖掘出有價值的數據，也是難點。
（二）數據挖掘、分析演算法的成熟度問題
對於安防數據中最重要的視頻數據，對其進行智能視頻分析和挖掘是很困難的事情。目前，除了車牌識別、人數統計等演算法較為成熟外，對視頻進行事件分析、人臉識別、摘要等技術都還沒達到大規模的商用水平，這也極大地制約了安防大數據的實施。
（三）時效性問題
安防大數據的目的之一就是要解決現有安防系統內以事後查看、分析為主的數據(特別是視頻數據)應用形式，還要增加以事前預警、實時處理，這對大數據處理技術的實時性要求很高。這種時效性就決定了視頻安防大數據的高運算量、高傳輸帶寬的要求。
（四）信息安全與用戶隱私問題
安防行業，特別是公安行業對數據的安全性要求非常高，這也是造成數據的區域隔離的重要原因。同時，在利用安防大數據上，如何保護用戶的隱私，也是一個非常重要的課題，目前主要採用數據脫敏的辦法。當務之急就是將安防數據安全級別需要有明確的分級定義，不能一味強調安全而各自封閉，否則必將導致安防大數據分析成為無源之水。
（五）視頻圖像數據挖掘的難點
1.識別什麼特徵？一副圖像或者一段視頻可以有無數角度的標簽屬性去描述，什麼才是我們需要的屬性？這與我們需要得到的目的密切相關，這就需要公安圖偵的人才來歸納終結。
2.識別演算法開發難，由於是平面圖像，因此特徵的識別主要原理就是看圖像區域中的輪廓、顏色、紋理與特徵庫進行比較。但是在同一個物體在不同監控角度的攝像頭中顯示出的輪廓都不相同，因此無法做到識別。
3.大規模數據處理難，即使做到了識別演算法，但是如果要通過數據處理伺服器的形式對大規模的視頻進行結構化處理，這個建造成本巨大，其能源的耗費在中國這個夏季需要限電的情況里也不切實際。
（六）警務服務平台大數據難點：
1.如何將不同報警運營服務商之間的數據整合在一起？
2.我國多數報警運營網路尚未完成規模化建設，用戶規模大、跨省市運營的網路很少，每家報警運營服務商的警情並發量不大，而且報警運營服務商之間普遍存在信息孤島，很難通過大數據分析實現數據的增值。
3.大數據的挖掘是一個長期的過程，需要企業不斷的嘗試，挖掘出有意義的信息或規律，並將結果拿到市場上檢驗。
4.大數據自身也面臨著挑戰，數據的運用仍面臨多種技術難關的束縛，大數據方面的人才比較缺乏，大數據的產品尚不成熟等問題都制約著大數據在報警運營服務領域的發展。
總結
針對這些問題和難點，個人就一個方面提出自己的見解，大數據的信息採集和監測。就目前來說，大數據跟互聯網是一個互相關聯的整體。那麼，在數據挖掘方面，對論壇，貼吧，微博，微信的信息採集就變得十分必要了。數據挖掘以後，還要對數據進行篩選和處理。此時，信息的監測就發揮作用了。就目前來說，能把信息採集和信息監測結合起來，運用到實際中的企業不多，可以留意一下這家，兩個字的，快樂的「樂」，思考的「思」，在這方面具備一定的積淀和實力。大數據是一個新的行業。因此要找具備一定技術的，才能應用於安防領域，並產生應有的效果。
B. 數據分析技術解決了哪些難題
在過去的二十多年裡，幾萬億美元的投資被用於建立名目繁多的各類數據採集、管理、和上報系統。單個來看，每個系統都有其存在的原因和道理。但從總體角度看，數據卻是一片混亂。數據孤島、混亂的定義、不統一的格式、各異的標准等給數據分析造成了極大障礙。通過網路、社交、視頻、感測器等手段源源不斷地積累的無結構、半結構數據更加大了數據清理、過濾、重組、標准化工作的難度。因此，今天數據分析面臨的最大挑戰就是如何應用數據科學的理論、方法論、和大數據技術高速、高質地把數據正確地整合以支持數據分析和智能決策。
數據整合的技術挑戰有六個方面：
第一、大規模數據收集和管理（Data Curation at Scale）
數據收集和管理經歷了三代技術更新。第一代的數據倉庫（Data Warehouse）出現於1990年代。主要功能是數據提取、轉換、上傳（Extract, Transform, and Load- ETL）。第二代技術成熟於2000年代。它主要是在ETL的基礎上增加了數據清理，不同類型資料庫的兼容，相關數據自動轉換（如歐元轉化為美元）等功能。這兩代技術都不適於大規模數據收集（成百上千個數據源）。第三代技術隨大數據時代的到來而興起於2010年代。它的核心技術是應用統計模型和機器學習使數據的收集和管理實現自動化為主，人員干預為輔使高速優質的大規模數據收集成為可能。
第二、數據管理的新思路
過去幾十年裡，自上而下的數據管理理念一直佔有統治地位。這種思維方式的基本假設是只有通過統一規劃才能達到數據的統一定義，標准，管理，儲存，使用。可實踐證明，由於每個公司和組織都在不斷變化，中央設計的數據管理系統似乎永遠無法完成。即使完成了也已經過時。系統的設計者與使用者之間總是有一道隔閡，計劃趕不上變化。企業為此浪費了大量的錢財和時間。
近十年來，一種自下而上的數據管理理念逐漸引起人們的關注。它的思維方式有五個特點：（1）聯邦式管理，中央和地方分權。公司總部和分公司協商數據定義和管理的職責和權力；（2）允許各級管理人員使用各種現成的工具而不是等待中央系統提供；（3）不斷登記注冊各種相關數據而不等待統一數據模型；（4）保持數據管理系統簡單直觀；（5）建立尊重數據的環境以改進數據的管理和使用。
第三、數據清理的挑戰
如何處理混雜不幹凈的海量數據是大數據分析難以避免的挑戰。至今為止還沒有出現比較理想的數據清理的工作平台。產生這一情況的主要原因是數據質量問題的診斷、梳理、驗證、以至修正都離不開人的參與。只有通過人工產生了數據清理的程序、邏輯和方法後，才能使用軟體工具快速清理數據。每個新數據源都有其特殊的數據質量問題，這使得開發通用型數據清理平台極為困難。
第四、數據科學：數據主導的認知（Data Intensive Discovery）
近年來以數據為主導的分析（Data Intensive Analysis – DIA）成為數據科學的新熱點。DIA也被稱為大數據分析，是數據科學的新分支。它使人類突破了自身思維能力的極限（人腦只能同時分析10個以下變數的模型）。應用大數據技術可以高速地找出千百個變數的相關性。傳統的科學實證思維模式是以理論為出發點提出假設，然後選擇分析方法，再採集數據來驗證假設。大數據分析拓展了人類的認知能力。這使以數據為主導的科學發現成為可能。這種新的認知框架從數據出發，發現相關性後尋找理論解釋，然後應用科學的方法驗證。有人稱其為第四代認知框架（the Fourth Paradigm）。
第五、從軟體開發運作（DevOrp）到數據應用運作（DataOrp）
軟體開發經過多年的經驗積累已形成了一套有效的設計、開發、測試、質量管理模式和一系列相關的工具（DevOrp）。今天，數據工程師、數據科學家、資料庫管理員等也需要類似的數據應用運作程序和相關工具（DataOrp）。這是一套新的基礎設施，有人稱之為數據技術（DT）。
第六、數據統一是使現有數據系統產生價值的最佳戰略
如何將企業里分散的數據整合以實現全公司層面的決策支持是一個令人非常頭痛的事。為迎接這一挑戰，一個新的理念和技術「數據統一化」（Data Unification）被越來越多的人接受。這個技術包括三個步驟：（1）數據登記注冊（Catalog），即保持原始數據不變又為中心資料庫提供完整數據記錄，（2）資料庫連接（Connect），使各個分散資料庫通過互聯網在需要時即時連接，（3）數據公布（Publish），按照分析需求將不同資料庫的數據統一定義、連接後提供給數據分析人員。這個技術的核心是應用統計概率模型自動地在資料庫連接過程中使數據統一化。數據統一化已成為大數據處理過程中的一個重要組成部分。
數據分析上的競爭將會日趨激烈。只有面對以上挑戰而不斷創新的企業才能率先實現以數據分析為主導的智能決策。