数据如何收集

1. 如何做好数据分析的数据采集工作

数据分析离不开数据采集。数据采集包括历史数据的采集和当前市场数据的采集，是科学进行数据分析的基础。数据采集准确性决定了数据分析的价值。那么数据采集是怎么做的呢？一般来说，是需要制定市场研究的计划、明确数据的来源、明确抽样方案、明确数据采集方法、做好数据处理分析工作这四项工作。

1.制定市场调研的计划
在进行数据分析之前，数据采集工作是一项最重要的工作，数据采集的工作能够解决企业经营中在数据分析中的决策问题。因此很多企业非常重视数据采集，但是数据采集是需要花费大量的金钱人力以及物力，不过数据采集能够给数据带来极大的好处，这是因为数据采集能够给大数据分析带来极大的好处。所以，在数据采集工作的时候一定要让资金花到有用的地方，对于每一分钱都有一个清楚的去向。所以，在数据采集的时候一定要控制好成本，在做数据采集工作之前一定要控制到成本，只有做好周密的市场调研计划，才能够好好的做好数据采集这一个工作。

2.明确数据来源
在数据采集前，就需要选择好数据，选择一些干净的数据才能够使得数据分析工作变得更加精准。通常来说，数据的资料一般分为第一手资料和第二手资料。这是根据数据资料的来源不同来决定。什么是第一手资料呢？第二手资料是什么呢？第一手资料就是未来某种目的采集所得的原始材料。一般来说，采集第一手资料所需要的费用比较高，但是第一手的资料的准确性很高，这是因为第一手资料的针对性强。第二手资料是指采集的现成资料。现成资料就是包括互联网上面的信息，各种报刊书本上的资料，还有各类权威机构发布的统计和研究报告等。

3.明确抽样方案
在一手数据的采集中，许多数据可以直接采集，由于对于成本费用等可控制的要素，以及数据的采集范围很广，这样很难直接获取全部数据。这时，我们常用抽样技术对样本进行调查，并根据样本统计量估计总量。

4.明确数据采集方法
数据采集方法现在常见的有三种，分别是访问调查法、实验法和观察法。访问调查法通过访问代表性的样本而获得数据，而观察法强调非语言方式，这一点和访问调查法不一样。观察法是通过调查人员在进行时和过去时记录中采集信息。而实验法可以有效控制调查的环境。这样在实际项目数据采集中可以根据项目特点、成本费用、时间及精度的要求，从而使用不同的方法。

5.数据处理及分析
在进行数据处理工作时，原始数据收集回来很大概率会出现虚假、错误、冗余等现象，如果直接把这些数据进行预测分析，极大概率会带来错误的分析结论，那么数据分析就完全没有了意义。不过只要做好数据处理以及数据分析，就能避免上面出现的现象。而数据的处理是需要运用科学正确客观的方法，将调查所得的原始资料按调查目的来去粗取精，这样才能够做好数据分析。

通过上面的内容，大家已经知道了数据采集是怎么做的了吧？数据采集程序就是上面提到的5点，分别是制定市场研究的计划、明确数据的来源、明确抽样方案、明确数据采集方法、做好数据处理分析工作。只要集齐这些步骤一步一步走下去，那么数据采集工作就可以更高效率地完成了。希望阅读完的朋友对你们的职业生涯有一些帮助，这将是我莫大的荣幸！

2. 想要金融类数据，应该如何收集

金融大数据平台的搭建和应用是两个部分，对于金融大数据平台来说，这两个部分都很重要。

所以以下的部分我们从大数据平台和银行可以分析哪些指标这两个角度来阐述。

一、大数据平台

大数据平台的整体架构可以由以下几个部分组成：

1.一个客户

客户主题：客户属性（客户编号、客户类别）、指标（资产总额、持有产品、交易笔数、交易金额、RFM）、签约（渠道签约、业务签约）组成宽表

2.做了一笔交易

交易主题：交易金融属性、业务类别、支付通道组成宽表。

3.使用哪个账户

账户主题：账户属性（所属客户、开户日期、所属分行、产品、利率、成本）组成宽表

4.通过什么渠道

渠道主题：渠道属性、维度、限额组成宽表

5.涉及哪类业务&产品

产品主题：产品属性、维度、指标组成宽表

3. 如何进行电子数据证据的收集

法律分析：电子数据证据收集的具体步骤:

1.涉案计算机系统的保护。(1)对涉案计算机第一时间进行封锁。(2)对涉案计算机硬盘、光盘等存储介质进行原数据拷贝，尽量避免在原计算机内操作，以免数据丢失。有必要利用硬盘拷贝机把涉案硬盘进行整盘拷贝。(3)利用先进的计算机取证勘查箱进行取证，它具有应用范围广、携带方便、规范化、专业化的特点。(4)在现场取证调查时应记录的内容包括:电脑使用者，电脑状态，是否连接网络，执行取证在场人员，电脑的品牌、型号，电脑硬盘序列号，电脑的外设情况。

2.确定证据。(1)利用搜索工具，进行一系列的关键字搜索查找最重要的信息。(2)借助专业的删除———格式化恢复工具，把删除、隐藏、加密的信息找出。注意Windows系统的交换文件和硬盘中未分配的空间往往存放着犯罪嫌疑人容易忽视的证据。(3)利用数据解密技术和密码破译技术，对电子介质中的被保护信息进行强行访问，获取信息。(4)把搜集好的数据与办案干警初步确定数据进行印证。(5)收集好的原数据应做备份。

3.提取分析数据。(1)利用专业的取证分析平台对文件属性、文件的摘要和日志进行分析。分析平台应具有数据恢复、数据修复、多格式支持、信息检索等必要功能。(2)对确凿证据，作出与案件关联的分析报告。

4.归档。对得出的结论以及电子证据要严格保管、做好备份。办案人员查看时必须登记。

法律依据：最高人民法院、最高人民检察院、公安部《关于办理刑事案件收集提取和审查判断电子数据若干问题的规定》 第八条收集、提取电子数据，能够扣押电子数据原始存储介质的，应当扣押、封存原始存储介质，并制作笔录，记录原始存储介质的封存状态。

封存电子数据原始存储介质，应当保证在不解除封存状态的情况下，无法增加、删除、修改电子数据。封存前后应当拍摄被封存原始存储介质的照片，清晰反映封口或者张贴封条处的状况。

封存手机等具有无线通信功能的存储介质，应当采取信号屏蔽、信号阻断或者切断电源等措施。

4. 如何收集数据

采集的样本要能够代表总体，并且分布均匀
根据任务目标的不同，明确待采集样本的总体。不能把调研女性购物习惯的问卷广泛的撒给包括男生在内的所有人群，要精准投放调查。不能只调研商场购物的女性的特点，而忽略网络购物，小市场购物，海淘购物等女性客户的特点，要分布均匀。

明确记录样本采集的条件和环境
不同条件下的采样样本，会有不同的表现。要详细的记录采样时的上下文，这样才能在以后分析的时候明确哪些可能是干扰因素，也能够帮助理解数据分析看到的一些现象。

使用高效的采样工具
只有数据量大到一定程度，才具有统计学的意义，我们才可以根据数据分析结果得到统计学上的结论。因此，在短时间内，以较少的人力物力获得样本是很重要和必要的。如果研究领域有现成的采样工具就再好不过了，务必在采样之前详细调研和分析现有的采样工具，或者自行研究高效的采样工具和设计采样方法。

预处理样本
采集到的数据质量参差不齐，会有数据错误，数据丢失的现象存在。因此，在真正利用数据进行分析之前，要对数据进行清洗。主要需要解决的问题是：如何使用残缺样本？某些样本有部分数据残缺，是因为没有采样到呢？还是因为某些样本就不应该有这些数据？需要人工分析下原因，再决定以何种方式补全样本的残缺属性或者丢弃样本。

利用统计指标或数据挖掘技术合理分析样本
当采集好了大量的数据，肉眼是无法了解数据说明什么问题的。因此需要使用统计学上的常见指标或者数据挖掘技术来分析样本。统计学上的指标一般有概率分布，中位数，期望，方差，相关系数等。数据挖掘技术一般有聚类，分类，关联分析，时序分析等。

分析统计结果的具体含义
统计学的结果得到了之后，我们还需要理解各个参数能够说明什么问题。这些参数的表现是否符合人们的常识和规律，如果不符合是因为什么原因造成的。然后根据统计结果来得出结论或者继续修正样本采集和分析的任务。

7
备份样本和各个阶段的预处理样本
最重要的，好不容易采集好的样本，丢了或者弄出错实在可惜。所以要认真备份原始的样本以及各个阶段的预处理样本和相应的处理方法。这样即使当前数据出了错误，还可以回滚到原始的版本，而不会没有样本可用。

5. 如何进行数据采集以及数据分析

在一手数据的采集中，许多数据可以直接采集，由于对于成本费用等可控制的要素，以及数据的采集范围很广，这样很难直接获取全部数据。这时，我们常用抽样技术对样本进行调查，并根据样本统计量估计总量。

数据填报功能可对报表进行数据回填设置，对缺失的数据进行补录，也可以制作全新的填报表单用于录入数据，真正的实现了数据分析填报一体化。回填报表支持导入excel数据，让大数据量填报不再是困扰，同时支持数据审核，确保数据正确性。

(5)数据如何收集扩展阅读：

被采集数据是已被转换为电讯号的各种物理量，如温度、水位、风速、压力等，可以是模拟量，也可以是数字量。采集一般是采样方式，即隔一定时间（称采样周期）对同一点数据重复采集。采集的数据大多是瞬时值，也可是某段时间内的一个特征值。准确的数据测量是数据采集的基础。数据量测方法有接触式和非接触式，检测元件多种多样。

6. 大数据怎么采集数据

数据采集是所有数据系统必不可少的，随着大数据越来越被重视，数据采集的挑战也变的尤为突出。我们今天就来看看大数据技术在数据采集方面采用了哪些方法：
1、离线采集：工具：ETL；在数据仓库的语境下，ETL基本上就是数据采集的代表，包括数据的提取（Extract)、转换(Transform)和加载(Load)。在转换的过程中，需要针对具体的业务场景对数据进行治理，例如进行非法数据监测与过滤、格式转换与数据规范化、数据替换、保证数据完整性等。
2、实时采集：工具：Flume/Kafka；实时采集主要用在考虑流处理的业务场景，比如，用于记录数据源的执行的各种操作活动，比如网络监控的流量管理、金融应用的股票记账和 web 服务器记录的用户访问行为。在流处理场景，数据采集会成为Kafka的消费者，就像一个水坝一般将上游源源不断的数据拦截住，然后根据业务场景做对应的处理（例如去重、去噪、中间计算等），之后再写入到对应的数据存储中。这个过程类似传统的ETL，但它是流式的处理方式，而非定时的批处理Job，些工具均采用分布式架构，能满足每秒数百MB的日志数据采集和传输需求。
3、互联网采集：工具：Crawler, DPI等；Scribe是Facebook开发的数据(日志)收集系统。又被称为网页蜘蛛，网络机器人，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本，它支持图片、音频、视频等文件或附件的采集。爬虫除了网络中包含的内容之外，对于网络流量的采集可以使用DPI或DFI等带宽管理技术进行处理。
4、其他数据采集方法对于企业生产经营数据上的客户数据，财务数据等保密性要求较高的数据，可以通过与数据技术服务商合作，使用特定系统接口等相关方式采集数据。比如八度云计算的数企BDSaaS，无论是数据采集技术、BI数据分析，还是数据的安全性和保密性，都做得很好。数据的采集是挖掘数据价值的第一步，当数据量越来越大时，可提取出来的有用数据必然也就更多。只要善用数据化处理平台，便能够保证数据分析结果的有效性，助力企业实现数据驱动。

7. 收集数据的基本方法

1、当面调查询问法。优点：较机动灵活，不受时间、地点的限制，得到的资料也往往比较真实。缺点：所花费的人力、物力、财力会比较大。

2、电话调查法。

3、会议调查询问法。缺点：存在从众的心理，受影响大，调查会的效果好坏与会议组织者的组织能力、业务水平和工作能力有很大的关系。

4、邮寄调查询问法。缺点：所花的时间比较长、最大的问题是回收率低。

5、问卷调查询问法。优点：费用适中，回收率较高，效果良好。

(7)数据如何收集扩展阅读：

信息采集技术：

1、全自动电话访谈（CATS）

近年来出现的一种使用内置声音回答技术，取代了传统的调研方式和电话访谈。她利用专业调研员的录音来代替访问员逐字逐句地念出问题及答案。回答者可以将封闭式问题答案通过电话上的拨号盘键入，开放式问题的答案则被逐一录在磁带上。

2、交互式计算机辅助电话访谈（CATS）

交互式计算机辅助电话访谈是中心控制电话访谈的“电脑化”形式，每一位访问员各坐在一台计算机终端或个人电脑前，当被访问者电话被接通后，访问员通过一个或几个键启动机器开始提问，问题和多选题的答案便立刻出现在屏幕上。这一方法省略了数据的编辑及录入的步骤。

3、电脑柜调研

电脑柜调研是一种类似于公用电话亭的电脑直接访谈调研方式带触摸屏的计算机存放在可自由移动的柜子里，计算机可以设计程序以指导复杂的调研，并显示出全颜色的扫描图像（产品、商店外观等），还可以播放声音和电视影像。

8. 收集数据常用的三种方法是：

摘要 您好，很高兴为您解答，我是六一柒，请您耐心等待，正在为您整理答案。

9. 数据采集的五种方法是什么

一、 问卷调查

问卷的结构，指用于不同目的的访题组之间以及用于同一项研究的不同问卷之间，题目的先后顺序与分布情况。

设计问卷整体结构的步骤如下：首先，根据操作化的结果，将变量进行分类，明确自变量、因变量和控制变量，并列出清单;其次，针对每个变量，依据访问形式设计访题或访题组;再次，整体谋划访题之间的关系和结构;最后，设计问卷的辅助内容。

二、访谈调查

访谈调查，是指通过访员与受访者之间的问答互动来搜集数据的调查方式，它被用于几乎所有的调查活动中。访谈法具有一定的行为规范，从访谈的充分准备、顺利进入、有效控制到访谈结束，每一环节都有一定的技巧。

三、观察调查

观察调查是另一种搜集数据的方法，它借助观察者的眼睛等感觉器官以及其他仪器设备来搜集研究数据。观察前的准备、顺利进入观察场地、观察的过程、观察记录、顺利退出观察等均是技巧性很强的环节。

四、文献调查

第一，通过查找获得文献;第二，阅读所获得文献;第三，按照研究问题的操作化指标对文献进行标注、摘要、摘录;最后，建立文献调查的数据库。

五、痕迹调查

大数据是指与社会行为相伴生、通过设备和网络汇集在一起，数据容量在PB级别且单个计算设备无法处理的数字化、非结构化的在线数据。它完整但并非系统地记录了人类某些社会行为。

大数据研究同样是为了把握事物之间的关系模式。社会调查与研究中，对大数据的调查更多的是从大数据中选择数据，调查之前同样需要将研究假设和变量操作化。

关于数据采集的五种方法是什么，青藤小编就和您分享到这里了。如果您对大数据工程有浓厚的兴趣，希望这篇文章可以为您提供帮助。如果您还想了解更多关于数据分析师、大数据工程师的技巧及素材等内容，可以点击本站的其他文章进行学习。

10. 统计数据收集方式之一的大数据为什么是数据收集的重要方式

摘要 统计数据收集是按照确定的数据分析框架，收集相关数据的过程，它为数据分析提供了素材和依据。