统计数据采集的质量要求包括哪些

1. 数据采集原则

全国地质钻孔基本信息的采集以地勘单位保管的除油气以外的区域地质、矿产地质、水文地质、工程地质（大型以上项目）、环境地质、灾害地质勘查等形成的地质钻孔基本信息为主。

地勘单位以地质工作项目为单元，清查地质工作项目施工的钻孔，逐个钻孔填报信息表。只采集钻孔的最基本信息，不清查每个钻孔的详细原始编录内容、测试数据等。

对于地质项目工作中收集的钻孔资料不予清查和填报。

2. 数据质量与数据质量八个维度指标

数据质量与数据质量八个维度指标

数据的质量直接影响着数据的价值，并且直接影响着数据分析的结果以及我们以此做出的决策的质量。质量不高的数据不仅仅是数据本身的问题，还会影响着企业经营管理决策；错误的数据还不如没有数据，因为没有数据时，我们还会基于经验和基于常识的判断来做出不见得是错误的决策，而错误的数据会引导我们做出错误的决策。因此数据质量是企业经营管理数据治理的关键所在。

数据的质量可以从八个方面进行衡量，每个维度都从一个侧面来反映数据的品相。八个维度分别是：准确性、真实性、完整性、全面性、及时性、即时性、精确性和关联性。

我们在比较两个数据集的品相的时候往往采用这种图形表示。比如说，常规来讲内部数据采集的准确性、真实性、完整性高，而全面性、及时性、即时性、精确性和关联性方面取决于企业内部对数据的重视程度以及采用的技术手段的先进性有关；外部数据集，比如说微博数据、互联网媒体数据等，其全面性、及时性和即时性都可以通过技术手段，如网络爬虫等得到提高，但在准确性、真实性、精确性上难以保证，也难以控制，在关联性方面取决于数据采集和挖掘的相关技术。

我们也可以用这个模型来衡量公司内部各个职能部门数据的品相。下图是个示意，通过数据质量8大指标的评价，我们可以对企业内部数据治理有针对性地采取措施去提高企业的数据质量。

数据的准确性

数据的准确性（Accuracy）是指数据采集值或者观测值和真实值之间的接近程度，也叫做误差值，误差越大，准确度越低。数据的准确性由数据的采集方法决定的。

数据的精确性

数据的精确性（Precision）是指对同一对象的观测数据在重复测量时所得到不同数据间的接近程度。精确性，也可以叫精准性。精确性与我们数据采集的精度有关系。精度高，要求数据采集的粒度越细，误差的容忍程度越低。

测量人的身高，我们可以精确到厘米，多次测量差异只会在厘米级别；测量北京到上海的距离，我们精确到公里，多次测量结果间的差异会在公里级别；采用游标卡尺测量一个零件的厚度，可以精确到1/50毫米，多次测量的结果间的误差也只会在1/50毫米间。采用的测量方法和手段直接影响着数据的精确性。

数据的真实性

数据的真实性，也叫数据的正确性（Rightness）。数据的正确性取决于数据采集过程的可控程度，可控程度高，可追溯情况好，数据的真实性容易得到保障，而可控程度低或者无法追溯，数据造假后无法追溯，则真实性难以保证。

为了提高数据的真实性，采用无人进行过程干涉的智能终端直接采集数据，能够更好地保证所采集数据的真实性，减少人为干预，减少数据造假，从而让数据更加正确地反应客观事物。

数据的及时性

数据的及时性（In-time）就是数据能否在需要的时候得到保证。我们月初会对上个月的经营和管理数据进行统计汇总，这些数据能否及时处理完成，财务能否在月度关账后及时核算。数据的及时性是我们数据分析和挖掘及时性的保障。如果公司的财务核算复杂，核算速度缓慢，上个月的数据在月中才能统计汇总完成，等需要调整财务策略的时候，已经到了月底了，一个月已经快过完了。特别是公司做大了之后，业务覆盖多个市场、多个国家，数据不能及时汇总，会影响到高层决策的及时程度。

数据的及时性与企业数据处理的速度和效率有直接的关系，为了提高数据的及时性，越来越多的公司采用管理信息系统，并在管理信息系统中附加各种自动数据处理功能，能够在数据上传系统之后自动完成绝大部分报表，从而保证数据处理的效率。计算机自动处理中间层数据是提高企业数据处理效率的有效手段。

除了保证数据采集的及时性和数据处理的效率问题外，还需要从制度和流程上保证数据传输的及时性。数据报表完成了，要及时或者在要求的时间范围内发送到指定的部门，或者上传到指定的存储空间。

数据的即时性

数据的即时性是指数据采集时间节点和数据传输的时间节点，一个数据在数据源头采集后立即存储，并立即加工呈现，就是即时数据，而经过一段时间之后再传输到信息系统中，则数据即时性就稍差。

微博的数据采集，当用户发布了微博，数据立即能够被抓取和加工，会生成即时微博数据报告，并随着时间推移，数据不断变化，我们可以称作是即时采集和处理的。一个生产设备的仪表即时反应着设备的温度、电压、电流、气压等数据，这些数据生成数据流，随时监控设备的运行状况，这个数据可以看作是即时数据。而当设备的即时运行数据存储下来，用来分析设备运行状况与设备寿命的关系，这些数据就成为历史数据。

数据的完整性

数据的完整性是从数据采集到的程度来衡量的，是应采集和实际采集到数据之间的比例。一条信息采集12个数据点，如我们采集员工信息数据的时候，要求填写姓名、出生日期、性别、民族、籍贯、身高、血型、婚姻状况、最高学历、最高学历专业、最高学历毕业院校、最高学历毕业时间等12项信息，而某一员工仅仅填写了部分信息，如只填写了其中的5项，则该员工所填写数据的完整性只有一半。

一个公司数据的完整性体现着这个公司对数据的重视程度。要求采集数据而实际上并未完整采集，只采集了一部分，这就是不完整的，往往是公司对数据采集质量要求不到位导致的。公司要求每个人都填写完整的个人信息表，而有部分员工拒绝填写，公司2000员工，只有1200人填写了完整的个人信息表，则这个数据集就是不完整的。

另外，对于动态数据，我们可以从时间轴上去衡量数据采集的完整性。比如，我们要求每小时采集一次数据，每天会形成24个数据点，记录为24条数据，但是员工渎职，只记录了20次，那么这个数据集也是不完整的。

数据的全面性

数据的全面性和完整性不同，完整性衡量的是应采集和实际采集的差异。而全面性指的是数据采集点的遗漏情况。比如说，我们要采集员工行为数据，我们只采集了员工上班打卡和下班打卡的数据，上班时间的员工行为数据并未采集，或者没有找到合适的方法来采集。那么，这个数据集就是不全面的。

我们描述一个产品的包装，仅仅描述了产品包装的正面和背面，没有记录产品包装的侧面，则就是不全面的。我们记录一个客户的交易数据，我们只采集了客户订单中的产品、订单中产品的价格和数量，而没有采集客户送货地址、采购时间，这个数据采集就是不全面的。

腾讯QQ和微信的用户数据记录了客户交流沟通的数据；阿里和京东的用户数据记录了用户的购买交易数据；网络地图记录了用户出行的数据；大众点评和美团记录了客户餐饮娱乐的数据。对于全面描述一个人的生活的衣食住行各方面，这些公司的数据都是不全面的，而如果把他们的数据整合起来，则会形成更加全面的数据。所以说，数据的全面性说一个相对的概念。过度追求数据的全面性说不现实的。

数据的关联性

数据的关联性是指各个数据集之间的关联关系。比如员工工资数据和员工绩效考核数据是通过员工这个资源关联在一起来的，而且绩效数据直接关系到工资的多少。采购订单数据与生产订单数据之间通过物料的追溯机制进行关联，而生产订单又是由员工完成的，即通过员工作业数据与员工信息数据关联起来。

其实，我们本书探讨的企业大数据，每个数据集都是相关关联的，有些是直接关联的，比如员工工资数据和员工绩效数据，有些是间接关联的，比如说物料采购订单数据与员工工资数据。这些数据的关联关系是由公司的资源，包括人、财、物和信息等，连接起来的。如果有任何的数据集不能连接到其他的数据集，就会存在数据割裂或者数据孤岛。数据割裂和数据孤岛是企业数据关联性不足导致的。而数据的关联性直接影响到企业数据集的价值。

3. 数据的质量体现在哪里

数据质量主要包括：统计数据的内容质量、表述质量、约束标准三大方面。
统计数据的内容质量是统计数据最基本的特征，它包括相关性、准确性与及时性。一旦缺少了其中任何一个，统计数据就失去了转化为信息的性质和基本作用。因此，这三个特征也可称为统计数据质量的主要特征。
数据是组织最具价值的资产之一。企业的数据质量与业务绩效之间存在着直接联系，高质量的数据可以使公司保持竞争力并在经济动荡时期立于不败之地。有了普遍深入的数据质量，企业在任何时候都可以信任满足所有需求的所有数据。

4. 做定量分析,数据的来源途径通常有哪些怎样提高数据质量

一是数据的间接来源；一是数据的直接来源，提高数据质量方法如下：
1、准确性。数据在系统中应符合业务规则和统计口径，常见的数据准确性的问题有：数据来源存在错误，数据采集、使用、管理的过程中，业务缺乏规范，导致数据缺乏准确性。
2、完整性。只有完整的数据才具有价值，企业常见的数据完整性的问题有：企业在实际业务操作中并未完整采集该字段数据，导致数据缺失或不完整等。
3、一致性。企业系统内外部的数据源直接的数据需要一直，所以要提高企业数据，那么就需要对数据统一规范。常见一致性问题：系统间应该相同的数据却不一致，缺乏必要的联动和核对。
4、及时性。数据在采集、传送、处理等过程中，应该快速支持应用，数据的及时性关系到系统是否可以在规定的试讲内获取到系统需要在特定时间内产生的数据。常见及时性问题：企业没有按照规定的时间来更新数据。

5. 什么是统计数据收集统计数据收集的基本要求是什么

统计数据收集是按照确定的数据分析框架，收集相关数据的过程，它为数据分析提供了素材和依据。

统计数据收集的基本要求是准时性、及时性和全面性。

在收集数据的时候，一般我们把数据类型分为一手数据和二手数据这两个类型。其中一手数据主要是指我们可以直接得到的数据，二手数据主要是指我们需要通过一定的方式对原始数据进行加工处理最后得到的可以进行使用的数据。

而在收集数据的时候，一手数据和二手数据的来源是不一样的。一般数据来源主要有以下几种方式：数据库、公开出版物、互联网、市场调查。

(5)统计数据采集的质量要求包括哪些扩展阅读：

调查数据收集方法

1、问卷调查

问卷的要素，即构成一份完整的问卷所必须的组成部分，包括了标题组、申明组、指导语组、访题组、说明组等内容。

依据访问方式，问卷可分为面访问卷和非面访问卷；面访问卷又可以区分面访问答问卷和面访自填问卷；非面访问卷有纸版邮寄问卷、语音自填问卷、网络自填问卷、电话问答问卷等形式。除了面访问卷与非面访问卷以外，还有混合访问形式。

2、访谈调查

访谈调查还可以再细分为结构式访谈和无结构式访谈，深度访谈和专题小组访谈。

3、观察调查

根据观察的场景，可以将观察区分为实验室观察和实地观察；根据观察者的参与程序，可分为参与观察和非参与观察；根据观察的准备程度，可分为结构性观察和非结构性观察。

4、文献调查

文献调查，是有目的地对文献进行查询，并从中获得研究数据和参考数据的调查。根据用途，它可分为用于理论建构和论证的参考文献调查与用于分析论证的数据文献调查。

5、痕迹调查

痕迹调查可以通过痕迹证据与痕迹数据汇集在一起，用以证明或证伪事物之间的关系模式。另外也可以通过大数据及其研究方法，从大数据中选择数据，调查之前同样需要将研究假设和变量操作化。

6. 数据质量包括什么方面

数据质量包括数据质量控制和数据治理。

数据是组织最具价值的资产之一。企业的数据质量与业务绩效之间存在着直接联系，高质量的数据可以使公司保持竞争力并在经济动荡时期立于不败之地。有了普遍深入的数据质量，企业在任何时候都可以信任满足所有需求的所有数据。

一个战略性和系统性的方法能帮助企业正确研究企业的数据质量项目，业务部门与 IT 部门的相关人员将各自具有明确角色和责任，配备正确的技术和工具，以应对数据质量控制的挑战。

(6)统计数据采集的质量要求包括哪些扩展阅读：

控制方法：

1、探查数据内容、结构和异常

第一步是探查数据以发现和评估数据的内容、结构和异常。通过探查，可以识别数据的优势和弱势，帮助企业确定项目计划。一个关键目标就是明确指出数据错误和问题，例如将会给业务流程带来威胁的不一致和冗余。

2、建立数据质量度量并明确目标

Informatica的数据质量解决方案为业务人员和IT人员提供了一个共同的平台建立和完善度量标准，用户可以在数据质量记分卡中跟踪度量标准的达标情况，并通过电子邮件发送URL来与相关人员随时进行共享。

3、设计和实施数据质量业务规则

明确企业的数据质量规则，即，可重复使用的业务逻辑，管理如何清洗数据和解析用于支持目标应用字段和数据。业务部门和IT部门通过使用基于角色的功能，一同设计、测试、完善和实施数据质量业务规则，以达成最好的结果。

4、将数据质量规则构建到数据集成过程中

Informatica Data Quality支持普遍深入的数据质量控制，使用户可以从扩展型企业中的任何位置跨任何数量的应用程序、在一个基于服务的架构中作为一项服务来执行业务规则。

数据质量服务由可集中管理、独立于应用程序并可重复使用的业务规则构成，可用来执行探查、清洗、标准化、名称与地址匹配以及监测。

5、检查异常并完善规则

在执行数据质量流程后，大多数记录将会被清洗和标准化，并达到企业所设定的数据质量目标。然而，无可避免，仍会存在一些没有被清洗的劣质数据，此时则需要完善控制数据质量的业务规则。Informatica Data Quality可捕获和突显数据质量异常和异常值，以便更进一步的探查和分析。

5、对照目标，监测数据质量

数据质量控制不应为一次性的“边设边忘”活动。相对目标和在整个业务应用中持续监测和管理数据质量对于保持和改进高水平的数据质量性能而言是至关重要的。

Informatica Data Quality包括一个记分卡工具，而仪表板和报告选项则具备更为广泛的功能，可进行动态报告以及以更具可视化的方式呈现。

7. 信息采集的原则

1、可靠性原则：信息必须是真实对象或环境所产生的，必须保证信息来源是可靠的，必须保证采集的信息能反映真实的状况。

2、完整性原则：信息采集必须按照一定的标准要求，采集反映事物全貌的信息，完整性原则是信息利用的基础。

3、实时性原则：信息自发生到被采集的时间间隔，间隔越短就越及时，最快的是信息采集与信息发生同步。

4、准确性原则：采集到信息的表达是无误的，是属于采集目的范畴之内的，相对于企业或组织自身来说具有适用性，是有价值的。

5、计划性原则：采集的信息既要满足当前需要，又要照顾未来的发展；既要广辟信息来源，又要持之以恒。

6、预见性原则：信息采集人员要掌握社会、经济和科学技术的发展动态，要随时了解未来，采集那些对将来发展有指导作用的预测性信息。

(7)统计数据采集的质量要求包括哪些扩展阅读

信息采集的渠道：

1、传统信息系统。传统信息系统采集的信息往往具有较高的价值，一方面原因是传统信息系统采集的往往是结构化数据，易于统计和分析，另一方面原因是传统信息系统采集的数据往往是比较重要的数据。

2、Web平台。信息来源的另一个重要渠道是各种Web平台，随着Web应用的普及，尤其是Web2.0的普及应用之后，整个Web系统产生了大量的数据，这些数据也是大数据系统的重要数据来源之一。

3、物联网系统。物联网与大数据的关系非常紧密，与传统信息系统和Web系统不同，物联网的数据大部分都是非结构化数据和半结构化数据，要想对其进行分析需要采用特定的处理方式，比较常见的处理方式包括批处理和流处理。

参考资料来源：网络-信息采集