怎么收集数据

A. 如何进行数据库数据采集

关注一下.建议先研究下dz论坛附带的个人空间那个采集器再来研究如何用java实现吧,功能要先弄清楚了才能实现.
要弄明白如何从网上采集到相关的数据?
如何把数据写入自己的数据库?
最后如何把这些数据放到自己网站对应的模块里面去?

B. 数据采集怎么操作的呢

互联网上呈现的内容都是数据信息，所以互联网数据采集又称为信息采集。做数据采集一般用爬虫，但要避开屏蔽，一般衡量数据采集用的指标是信息容量、采集频率。 如果自己要做数据采集需要耗费大量的服务器，还有数据清洗处理，可以直接调用网上现成的免费数据采集接口，现在网上开源的代码也很多，比如慢慢买商品比价数据采集接口、网络信息数据采集接口、QQ音乐数据采集接口等，网上直接搜索调研即可。

C. 如何收集数据

采集的样本要能够代表总体，并且分布均匀
根据任务目标的不同，明确待采集样本的总体。不能把调研女性购物习惯的问卷广泛的撒给包括男生在内的所有人群，要精准投放调查。不能只调研商场购物的女性的特点，而忽略网络购物，小市场购物，海淘购物等女性客户的特点，要分布均匀。

明确记录样本采集的条件和环境
不同条件下的采样样本，会有不同的表现。要详细的记录采样时的上下文，这样才能在以后分析的时候明确哪些可能是干扰因素，也能够帮助理解数据分析看到的一些现象。

使用高效的采样工具
只有数据量大到一定程度，才具有统计学的意义，我们才可以根据数据分析结果得到统计学上的结论。因此，在短时间内，以较少的人力物力获得样本是很重要和必要的。如果研究领域有现成的采样工具就再好不过了，务必在采样之前详细调研和分析现有的采样工具，或者自行研究高效的采样工具和设计采样方法。

预处理样本
采集到的数据质量参差不齐，会有数据错误，数据丢失的现象存在。因此，在真正利用数据进行分析之前，要对数据进行清洗。主要需要解决的问题是：如何使用残缺样本？某些样本有部分数据残缺，是因为没有采样到呢？还是因为某些样本就不应该有这些数据？需要人工分析下原因，再决定以何种方式补全样本的残缺属性或者丢弃样本。

利用统计指标或数据挖掘技术合理分析样本
当采集好了大量的数据，肉眼是无法了解数据说明什么问题的。因此需要使用统计学上的常见指标或者数据挖掘技术来分析样本。统计学上的指标一般有概率分布，中位数，期望，方差，相关系数等。数据挖掘技术一般有聚类，分类，关联分析，时序分析等。

分析统计结果的具体含义
统计学的结果得到了之后，我们还需要理解各个参数能够说明什么问题。这些参数的表现是否符合人们的常识和规律，如果不符合是因为什么原因造成的。然后根据统计结果来得出结论或者继续修正样本采集和分析的任务。

7
备份样本和各个阶段的预处理样本
最重要的，好不容易采集好的样本，丢了或者弄出错实在可惜。所以要认真备份原始的样本以及各个阶段的预处理样本和相应的处理方法。这样即使当前数据出了错误，还可以回滚到原始的版本，而不会没有样本可用。

D. 怎么做数据采集

分析页面源代码，结构化其中的数据（主要是字符串的处理和匹配，推荐正则表达式）

另外说一句，你这样是不厚道的

E. 收集数据的基本方法

1、当面调查询问法。优点：较机动灵活，不受时间、地点的限制，得到的资料也往往比较真实。缺点：所花费的人力、物力、财力会比较大。

2、电话调查法。

3、会议调查询问法。缺点：存在从众的心理，受影响大，调查会的效果好坏与会议组织者的组织能力、业务水平和工作能力有很大的关系。

4、邮寄调查询问法。缺点：所花的时间比较长、最大的问题是回收率低。

5、问卷调查询问法。优点：费用适中，回收率较高，效果良好。

(5)怎么收集数据扩展阅读：

信息采集技术：

1、全自动电话访谈（CATS）

近年来出现的一种使用内置声音回答技术，取代了传统的调研方式和电话访谈。她利用专业调研员的录音来代替访问员逐字逐句地念出问题及答案。回答者可以将封闭式问题答案通过电话上的拨号盘键入，开放式问题的答案则被逐一录在磁带上。

2、交互式计算机辅助电话访谈（CATS）

交互式计算机辅助电话访谈是中心控制电话访谈的“电脑化”形式，每一位访问员各坐在一台计算机终端或个人电脑前，当被访问者电话被接通后，访问员通过一个或几个键启动机器开始提问，问题和多选题的答案便立刻出现在屏幕上。这一方法省略了数据的编辑及录入的步骤。

3、电脑柜调研

电脑柜调研是一种类似于公用电话亭的电脑直接访谈调研方式带触摸屏的计算机存放在可自由移动的柜子里，计算机可以设计程序以指导复杂的调研，并显示出全颜色的扫描图像（产品、商店外观等），还可以播放声音和电视影像。

F. 如何进行数据采集以及数据分析

如何进行数据采集以及数据分析?可以从免费舆情监测系统 舆情调查软件就从舆情监测系统的架构说起是，因为他们的技术手段都是一样的呢
1、舆情采集系统：
一、只要是互联网上发生的与“我”相关的舆情信息，都可以第一时间监测到，并且以最直观的方式显示出来，“一网打尽，一目了然”。监测网站类型包括：新闻、论坛、博客、贴吧、微博、电子报、搜索引擎等。
二、对于重点舆情以及负面信息通过手机短信等方式及时预警，不需要有专人值守就可以随时掌握舆情。
三、自动分析舆情信息的发展变化趋势、舆情信息的首发网站、作者、转载情况、热度变化、评估干预处理之后的效果等。
四、自动生成各种统计分析报表和舆情报告，助力舆情工作。配合相应的工作机制，可以有效提升舆情监管的质量和效率，提升舆情应对水平。
五、除了提供系统级7*24小时的运维服务，还配备专门的舆情分析师协助监测，人工预警。 系统建设目标是整合互联网信息渠道，形成系统、有效的舆情监测机制。实现系统运行，监控互联网信息、新浪、腾讯等主要微博微博，对其进行实时数据采集、全网监控、分析、检索，对敏感信息进行预警，防止负面信息传播，对重大事件做出最及时的反应和相应处理建议。并对近一段时期的热点问题、敏感词句进行搜索，从而掌握网络舆情，辅助领导决策服务。 主要的门户网站，主要的报纸、主要的大型网络论坛、社区、贴吧、博客、微博。例如新浪新闻、各大报纸的电子报、天涯论坛、新浪微博、网络贴吧等。 各类与我相关的以及区域内有影响力的网站。 网络、谷歌、360搜索等搜索引擎。 论坛搜索，博客搜索、微博搜索等专业搜索引擎。 重点网站提供的站内搜索等。
2、舆情分析系统：

分析引擎是本系统的关键组成部分。其主要作用是对采集系统采集的数据，自动进行智能分析。分析引擎的主要功能包括：自定分析舆情级别、自动生成热点、负面舆情研判、自动分类、自动生成专题、转载计算、自动抽取舆情要素和关键词、自动摘要、自动预警、自动生成统计图表等功能。例如：多瑞科舆情数据分析站系统引擎内置了政府舆情模型、企业舆情模型和垂直监控模型，这些分析模型，是在多年舆情行业中按照客户的实际需求，不断重构和完善起来的，具有良好的实际应用效果。在实际项目中，不用通过二次开发就可以全面满足政府、企业单独应用。或者通过SAAS平台完成从上到下的垂直监测需求。对于特殊的应用需要，分析引擎还支持扩展插件，用于快速完成二次开发，支持各种需求定制。
3、舆情服务平台：
主要是用户进行日常舆情管理的平台，能够及时接受舆情信息，进行一些常规的舆情管理工作。

G. 大数据怎么收集

一般来说，有些人寻找数据，是为了做出正确的商业决策；有些人要完善自己的技能，在事业上更上层楼；另一些人或为社会，或为科学而搜寻数据。

特别是，有些人收集详细的数据，是为了做出统计分析，却不知道绝大多数的人可以找到已经为他们做好了一部分统计分析的资讯，包括报告、表单数据的总汇，甚至只是具体事实，几乎所有的人都能够找到对他们有用的数据。

由于不知道怎样寻找丰富的数据，许多人根本不去寻找。他们根据自己的个人观点做决定，或者根据新闻报导做决定，即使使用数据，也不知道使用对他们有用的数据类型或数据的来源。

想要找到需要的数据，必须要有明确的目标，和使用它的目地。资讯的目标越清晰，找到合适的资源就越容易。

下面是四种主要的数据来源，可以引导你找到最好的数据。

1）内部资讯

自己工作单位里面已经有的资讯，是获取数据首先应该考虑的地方。你可以找到对你的机构特别相关的、竞争者找不到的，详细的数据。

这并不容易，你必须明白是什么部门收集和保存这些数据，如何能够访问这个网址，以及允许什么样的用途。这是为什么明确的、详细的目标是如此的重要。

你可能需要向管理阶层提出正式申请，获得准许，而成功与否则要看你的特定目标和一个清晰的商业案例。

拒绝走后门或捷径的诱惑。 你的IT部门设下的规则也许让你头痛， 但是它们的设立是为了保证你的工作单位遵守法律。

2）政府及非营利组织

如果你必须从单位以外的地方搜寻数据，一定要尽量从政府机构或非营利组织搜寻资料。每一个政府机构都会收集数据，而且它们有法律上的义务同公众分享，至少分享一部分数据。 海量多的资料就在电脑、电话或公共图书馆里，等你使用。

政府机构的数据有些是交易型的 ，就是为了做出分析，特别收集起来的一份政府活动记录或统计； 例如财产转让和投票记录，就是交易型的数据。人口普查是统计数据，消费物价指数也是。虽然交易数据通常只有详细的表格，例如个人的交易记录，但是为了保护个人隐私，统计数据通常是汇总的型态。

有些机构的数据比别的机构有用，但是首先你得找到这个机构才能找到其它。需要一般美国人的数据，找美国人口普查局；需要知道猪腩的价格，找农业部。网上有一个门户网站data.gov，可以帮你找到数据，但是如果你不熟悉术语或找不到正确的名称，别放弃，可以打电话到似乎最适合的机构去问。

许多非营利组织是他们的专业领域中良好的数据来源。例如企业信息，就要调查相关的行业协会。一个很好的资料来源是《协会网络全书》（ Encyclopedia of Associations），包含有企业协会、社会事业协会和研究协会。这本书在大多数公共图书馆和大学图书馆里都可以找到。 记住，这些机构通常分享的资讯都是报告的形式，不是数据，所以向他们申请资讯时要说清楚你要的是数据。

如果网上找到的数据来源不明确、不对应，不要使用它。网上浮动的数据集对于练习数据分析的人可能很有用， 但是如果你要靠它来决定策略，你最好知道它的正确来源。

3）商业性

如果你需要的数据无法从内部、政府机构，或非营利组织得到，不妨考虑购买它。 有些由政府收集和格式化的数据意义重大，价钱也便宜。不过要小心，并非所有的商业性数据的质量都好。在花费大价钱购买以前，问问出售者数据是怎样得到的，如何处理的，并且调查一些样本。

4）收集新的数据

最后一招是，由于数据根本不存在，而无法找到时，不妨自己出去收集一下。这要看你需要的是什么数据。你可以根据你所需要的数据，进行一项调查，安装传感器或派人出去观察、衡量，得出数据。这可能会即花时间又花钱，好处是你收集的数据是你真正需要的，而且完全属于你自己。

H. 如何收集大数据

可用爬虫爬取。既然是大数据，相信需要的体量不会太小吧，个人系统爬取难度和成本应该不会很小，建议找一家做大数据的公司代劳，省时省力，也花不了多少钱。

I. 如何收集经济类数据

1首先我们必须要明确一下什么是收集经济类数据，所谓的收集经济类数据收集就是指通过一定的方法去收集相关的数据，目的是为了满足一定的调查或工作的需要，从而为正确的决策做出相关的基础。
2收集经济类数据的方法是多种多样的，尤其是在如今的社会里。其中我们用的最多的一个方法是调查问卷法，这个方法用的是极其的多，这种方法主要是先设计一个相关的问卷，然后发放汇总。
3但是随着社会和时代的发展，调查问卷法也在不断的更新。现在比较流行的就是线上调查问卷的方式，直接是通过线上，而不是在把相关的调查问卷下发，这也是科技下的产物。
4收集经济类数据的方法还有实地调研方法，这种方法花费的成本较高，但是数据的真实性和准确性是极高的，于是这种方法成为大多数的学者和专家的调查的方式。
5另外，收集经济类数据的方法也包括在网上的数据库中去寻找，如果有现成的话，就是比较好的，有些数据我们可以直接在相关的官方的数据库中去寻找即可。
6收集经济类数据的方法有全面普查，抽样调查等。还包括随机抽样的方法，其实在我们平时的调查中，用的最多的就是随机抽样调查方法。简便易行，可操作性强。
7总之，收集经济类数据的方法也是随着我们要做的调研的不同而不同的。对于不同的调查要分情况去选择。