A. 大数据在安防领域主要有哪些应用难点在哪
一、安防大数据主要应用领域
（一）大数据是视频智能分析基础
在大数据应用时代，视频因其信息含量最高、数据量最大，分析运算最复杂而成为大数据时代采集分析传输存储应用最具挑战的国际技术难题！智能视频分析研究永无止境，分析算法必须以监控视频为资源，研究实时或历史监控视频中的目标特征提取、增强与行为分析等关键技术，才能推动监控视频应用模式从事后被动处置向事前主动预防转变。
（二）帮助实现智慧城市智能化
我国智慧城市建设面临的重大挑战之一，是城市系统之间由于标准问题无法有效集成，形成信息孤岛。因此，在大数据融合技术领域，一方面要加强大数据标准建设，另一方面要加强海量异构数据建模与融合、海量异构数据列存储与索引等关键技术研发，为给予底层数据集成的信息共享提供标准和技术保障。大规模数据在智慧城市系统流动过程中，出于传输效率、数据质量与安全等因素的考虑，需要对大规模数据进行预处理。大数据处理技术往往需要与基于云计算的并行分布式技术相结合，这也是目前国际产业界普遍采用的技术方案。大数据分析与挖掘技术为智慧城市治理提供了强大的决策支持能力。
（三）提高警务办事效率
互联网技术的飞速发展已经为构建一个大型全国性的专业报警运营服务平台提供了有力的技术支撑。通过这个报警平台，报警运营服务商手中会累积海量的用户数据，例如用户的身份信息、警情数据、消费记录、维修记录等，这些都是非常宝贵的资源。报警运营服务商可以在此基础上，应用大数据技术进行分析和挖掘，充分发挥大数据的商业价值。
公安如公安系统中的图侦技术，应用模式多样，思维活跃，围绕着“发现线索”的目的可衍生出多种的技战法，只有从这些具体的技战法中才能提炼出需求，真正告诉系统的设计者“我们要什么”。
那么，图侦里的大数据应用需要哪些？像商业大数据那样找规律的应用似乎还远了点，目前最实在的就是从海量视频数据里把有相同线索特征的图像给找出来，让干警发现出新的案件线索。至于“怎么找？”这就是由公安来提的应用模式了。因此，视频大数据的发展并不是简单的由技术厂商做主导，而是需要公安体制内既有刑侦实战经验，又有科技化功底的复合型人才，共同来参与视频大数据应用的发展。
（四）让智能家居“聪明”起来
智能家居会产生大数据，同时也是大数据的重要应用领域，不然它极有可能将停滞不前。家庭产生的大数据能让智能家居更“聪明”，但需要根据实际情况进行有效处理，而不是任何数据的“一锅端”，通过大数据与云计算技术的结合应用，智能家居系统能够第一时间对用户家庭中智能设备的数据、信息进行有效分析、记忆，并将得到的相应规律反过来应用于智能设备，提升智能家居的智能效果。
二、安防大数据应用难点
（一）数据整合问题
不同来源的大数据，分别存储于相互独立的系统中，将这些数据集中于统一的平台，是安防大数据实施的基础性工作，但行业、部门壁垒是最大障碍。即使只是公安内部的视频数据，各省、地市也互不相通，想采集集中也不是一件容易的事。即使集中后，如何找到这些不同类型数据之间的关系，从而挖掘出有价值的数据，也是难点。
（二）数据挖掘、分析算法的成熟度问题
对于安防数据中最重要的视频数据，对其进行智能视频分析和挖掘是很困难的事情。目前，除了车牌识别、人数统计等算法较为成熟外，对视频进行事件分析、人脸识别、摘要等技术都还没达到大规模的商用水平，这也极大地制约了安防大数据的实施。
（三）时效性问题
安防大数据的目的之一就是要解决现有安防系统内以事后查看、分析为主的数据(特别是视频数据)应用形式，还要增加以事前预警、实时处理，这对大数据处理技术的实时性要求很高。这种时效性就决定了视频安防大数据的高运算量、高传输带宽的要求。
（四）信息安全与用户隐私问题
安防行业，特别是公安行业对数据的安全性要求非常高，这也是造成数据的区域隔离的重要原因。同时，在利用安防大数据上，如何保护用户的隐私，也是一个非常重要的课题，目前主要采用数据脱敏的办法。当务之急就是将安防数据安全级别需要有明确的分级定义，不能一味强调安全而各自封闭，否则必将导致安防大数据分析成为无源之水。
（五）视频图像数据挖掘的难点
1.识别什么特征？一副图像或者一段视频可以有无数角度的标签属性去描述，什么才是我们需要的属性？这与我们需要得到的目的密切相关，这就需要公安图侦的人才来归纳终结。
2.识别算法开发难，由于是平面图像，因此特征的识别主要原理就是看图像区域中的轮廓、颜色、纹理与特征库进行比较。但是在同一个物体在不同监控角度的摄像头中显示出的轮廓都不相同，因此无法做到识别。
3.大规模数据处理难，即使做到了识别算法，但是如果要通过数据处理服务器的形式对大规模的视频进行结构化处理，这个建造成本巨大，其能源的耗费在中国这个夏季需要限电的情况里也不切实际。
（六）警务服务平台大数据难点：
1.如何将不同报警运营服务商之间的数据整合在一起？
2.我国多数报警运营网络尚未完成规模化建设，用户规模大、跨省市运营的网络很少，每家报警运营服务商的警情并发量不大，而且报警运营服务商之间普遍存在信息孤岛，很难通过大数据分析实现数据的增值。
3.大数据的挖掘是一个长期的过程，需要企业不断的尝试，挖掘出有意义的信息或规律，并将结果拿到市场上检验。
4.大数据自身也面临着挑战，数据的运用仍面临多种技术难关的束缚，大数据方面的人才比较缺乏，大数据的产品尚不成熟等问题都制约着大数据在报警运营服务领域的发展。
总结
针对这些问题和难点，个人就一个方面提出自己的见解，大数据的信息采集和监测。就目前来说，大数据跟互联网是一个互相关联的整体。那么，在数据挖掘方面，对论坛，贴吧，微博，微信的信息采集就变得十分必要了。数据挖掘以后，还要对数据进行筛选和处理。此时，信息的监测就发挥作用了。就目前来说，能把信息采集和信息监测结合起来，运用到实际中的企业不多，可以留意一下这家，两个字的，快乐的“乐”，思考的“思”，在这方面具备一定的积淀和实力。大数据是一个新的行业。因此要找具备一定技术的，才能应用于安防领域，并产生应有的效果。
B. 数据分析技术解决了哪些难题
在过去的二十多年里，几万亿美元的投资被用于建立名目繁多的各类数据采集、管理、和上报系统。单个来看，每个系统都有其存在的原因和道理。但从总体角度看，数据却是一片混乱。数据孤岛、混乱的定义、不统一的格式、各异的标准等给数据分析造成了极大障碍。通过网络、社交、视频、传感器等手段源源不断地积累的无结构、半结构数据更加大了数据清理、过滤、重组、标准化工作的难度。因此，今天数据分析面临的最大挑战就是如何应用数据科学的理论、方法论、和大数据技术高速、高质地把数据正确地整合以支持数据分析和智能决策。
数据整合的技术挑战有六个方面：
第一、大规模数据收集和管理（Data Curation at Scale）
数据收集和管理经历了三代技术更新。第一代的数据仓库（Data Warehouse）出现于1990年代。主要功能是数据提取、转换、上传（Extract, Transform, and Load- ETL）。第二代技术成熟于2000年代。它主要是在ETL的基础上增加了数据清理，不同类型数据库的兼容，相关数据自动转换（如欧元转化为美元）等功能。这两代技术都不适于大规模数据收集（成百上千个数据源）。第三代技术随大数据时代的到来而兴起于2010年代。它的核心技术是应用统计模型和机器学习使数据的收集和管理实现自动化为主，人员干预为辅使高速优质的大规模数据收集成为可能。
第二、数据管理的新思路
过去几十年里，自上而下的数据管理理念一直占有统治地位。这种思维方式的基本假设是只有通过统一规划才能达到数据的统一定义，标准，管理，储存，使用。可实践证明，由于每个公司和组织都在不断变化，中央设计的数据管理系统似乎永远无法完成。即使完成了也已经过时。系统的设计者与使用者之间总是有一道隔阂，计划赶不上变化。企业为此浪费了大量的钱财和时间。
近十年来，一种自下而上的数据管理理念逐渐引起人们的关注。它的思维方式有五个特点：（1）联邦式管理，中央和地方分权。公司总部和分公司协商数据定义和管理的职责和权力；（2）允许各级管理人员使用各种现成的工具而不是等待中央系统提供；（3）不断登记注册各种相关数据而不等待统一数据模型；（4）保持数据管理系统简单直观；（5）建立尊重数据的环境以改进数据的管理和使用。
第三、数据清理的挑战
如何处理混杂不干净的海量数据是大数据分析难以避免的挑战。至今为止还没有出现比较理想的数据清理的工作平台。产生这一情况的主要原因是数据质量问题的诊断、梳理、验证、以至修正都离不开人的参与。只有通过人工产生了数据清理的程序、逻辑和方法后，才能使用软件工具快速清理数据。每个新数据源都有其特殊的数据质量问题，这使得开发通用型数据清理平台极为困难。
第四、数据科学：数据主导的认知（Data Intensive Discovery）
近年来以数据为主导的分析（Data Intensive Analysis – DIA）成为数据科学的新热点。DIA也被称为大数据分析，是数据科学的新分支。它使人类突破了自身思维能力的极限（人脑只能同时分析10个以下变量的模型）。应用大数据技术可以高速地找出千百个变量的相关性。传统的科学实证思维模式是以理论为出发点提出假设，然后选择分析方法，再采集数据来验证假设。大数据分析拓展了人类的认知能力。这使以数据为主导的科学发现成为可能。这种新的认知框架从数据出发，发现相关性后寻找理论解释，然后应用科学的方法验证。有人称其为第四代认知框架（the Fourth Paradigm）。
第五、从软件开发运作（DevOrp）到数据应用运作（DataOrp）
软件开发经过多年的经验积累已形成了一套有效的设计、开发、测试、质量管理模式和一系列相关的工具（DevOrp）。今天，数据工程师、数据科学家、数据库管理员等也需要类似的数据应用运作程序和相关工具（DataOrp）。这是一套新的基础设施，有人称之为数据技术（DT）。
第六、数据统一是使现有数据系统产生价值的最佳战略
如何将企业里分散的数据整合以实现全公司层面的决策支持是一个令人非常头痛的事。为迎接这一挑战，一个新的理念和技术“数据统一化”（Data Unification）被越来越多的人接受。这个技术包括三个步骤：（1）数据登记注册（Catalog），即保持原始数据不变又为中心数据库提供完整数据记录，（2）数据库连接（Connect），使各个分散数据库通过互联网在需要时即时连接，（3）数据公布（Publish），按照分析需求将不同数据库的数据统一定义、连接后提供给数据分析人员。这个技术的核心是应用统计概率模型自动地在数据库连接过程中使数据统一化。数据统一化已成为大数据处理过程中的一个重要组成部分。
数据分析上的竞争将会日趋激烈。只有面对以上挑战而不断创新的企业才能率先实现以数据分析为主导的智能决策。