数据怎么收集

1. 如何进行数据库数据采集

关注一下.建议先研究下dz论坛附带的个人空间那个采集器再来研究如何用java实现吧,功能要先弄清楚了才能实现.
要弄明白如何从网上采集到相关的数据?
如何把数据写入自己的数据库?
最后如何把这些数据放到自己网站对应的模块里面去?

2. 收集数据的基本方法

1、当面调查询问法。优点：较机动灵活，不受时间、地点的限制，得到的资料也往往比较真实。缺点：所花费的人力、物力、财力会比较大。

2、电话调查法。

3、会议调查询问法。缺点：存在从众的心理，受影响大，调查会的效果好坏与会议组织者的组织能力、业务水平和工作能力有很大的关系。

4、邮寄调查询问法。缺点：所花的时间比较长、最大的问题是回收率低。

5、问卷调查询问法。优点：费用适中，回收率较高，效果良好。

(2)数据怎么收集扩展阅读：

信息采集技术：

1、全自动电话访谈（CATS）

近年来出现的一种使用内置声音回答技术，取代了传统的调研方式和电话访谈。她利用专业调研员的录音来代替访问员逐字逐句地念出问题及答案。回答者可以将封闭式问题答案通过电话上的拨号盘键入，开放式问题的答案则被逐一录在磁带上。

2、交互式计算机辅助电话访谈（CATS）

交互式计算机辅助电话访谈是中心控制电话访谈的“电脑化”形式，每一位访问员各坐在一台计算机终端或个人电脑前，当被访问者电话被接通后，访问员通过一个或几个键启动机器开始提问，问题和多选题的答案便立刻出现在屏幕上。这一方法省略了数据的编辑及录入的步骤。

3、电脑柜调研

电脑柜调研是一种类似于公用电话亭的电脑直接访谈调研方式带触摸屏的计算机存放在可自由移动的柜子里，计算机可以设计程序以指导复杂的调研，并显示出全颜色的扫描图像（产品、商店外观等），还可以播放声音和电视影像。

3. 如何进行数据采集以及数据分析

如何进行数据采集以及数据分析?可以从免费舆情监测系统 舆情调查软件就从舆情监测系统的架构说起是，因为他们的技术手段都是一样的呢
1、舆情采集系统：
一、只要是互联网上发生的与“我”相关的舆情信息，都可以第一时间监测到，并且以最直观的方式显示出来，“一网打尽，一目了然”。监测网站类型包括：新闻、论坛、博客、贴吧、微博、电子报、搜索引擎等。
二、对于重点舆情以及负面信息通过手机短信等方式及时预警，不需要有专人值守就可以随时掌握舆情。
三、自动分析舆情信息的发展变化趋势、舆情信息的首发网站、作者、转载情况、热度变化、评估干预处理之后的效果等。
四、自动生成各种统计分析报表和舆情报告，助力舆情工作。配合相应的工作机制，可以有效提升舆情监管的质量和效率，提升舆情应对水平。
五、除了提供系统级7*24小时的运维服务，还配备专门的舆情分析师协助监测，人工预警。 系统建设目标是整合互联网信息渠道，形成系统、有效的舆情监测机制。实现系统运行，监控互联网信息、新浪、腾讯等主要微博微博，对其进行实时数据采集、全网监控、分析、检索，对敏感信息进行预警，防止负面信息传播，对重大事件做出最及时的反应和相应处理建议。并对近一段时期的热点问题、敏感词句进行搜索，从而掌握网络舆情，辅助领导决策服务。 主要的门户网站，主要的报纸、主要的大型网络论坛、社区、贴吧、博客、微博。例如新浪新闻、各大报纸的电子报、天涯论坛、新浪微博、网络贴吧等。 各类与我相关的以及区域内有影响力的网站。 网络、谷歌、360搜索等搜索引擎。 论坛搜索，博客搜索、微博搜索等专业搜索引擎。 重点网站提供的站内搜索等。
2、舆情分析系统：

分析引擎是本系统的关键组成部分。其主要作用是对采集系统采集的数据，自动进行智能分析。分析引擎的主要功能包括：自定分析舆情级别、自动生成热点、负面舆情研判、自动分类、自动生成专题、转载计算、自动抽取舆情要素和关键词、自动摘要、自动预警、自动生成统计图表等功能。例如：多瑞科舆情数据分析站系统引擎内置了政府舆情模型、企业舆情模型和垂直监控模型，这些分析模型，是在多年舆情行业中按照客户的实际需求，不断重构和完善起来的，具有良好的实际应用效果。在实际项目中，不用通过二次开发就可以全面满足政府、企业单独应用。或者通过SAAS平台完成从上到下的垂直监测需求。对于特殊的应用需要，分析引擎还支持扩展插件，用于快速完成二次开发，支持各种需求定制。
3、舆情服务平台：
主要是用户进行日常舆情管理的平台，能够及时接受舆情信息，进行一些常规的舆情管理工作。

4. 数据的采集和收集

（一）测井系列的选择

测井时，根据地层的特点和地质任务的要求，选择一套合适的测井方法。这种能完成一定地质任务的测井方法组合，叫做测井系列。

按照划分油气水层的要求，选择良好的测井系列应能做到：准确地分层、确定地层的界面；计算地层厚度和有效厚度；准确地判断岩性和划分渗透层；准确地计算储层参数，如孔隙度、渗透率、泥质含量和含油饱和度、可动油等；准确地判断油气水层。

使用国产仪器时：

1.淡水泥浆测井系列

厚度大于2 m、电阻率小于20 Ω·m的中厚层、中低阻砂岩地层的测井系列为微电极系，电极距离为0.45 m、4 m的底部梯度电极类，声速以及感应测井，有的油田还加井径测井或自然伽马测井。各种方法的用途是：微电极系和0.45 m底部梯度电极系详细划分地层岩石；微电极系、自然电位和声速测井判断岩性和划分渗透层；微电极系反映冲洗带，0.45 m底部梯度电极系反映侵入带，4 m底部梯度电极系反映原状地层岩石；声速测井计算孔隙度；感应测井电阻率确定含油饱和度。

中厚层、电阻率大于20 Ω·m的高阻砂岩，要用侧向测井代替感应测井，即测井系列为微电极（或微侧向）、0.45 m和4 m底部梯度电极系、侧向测井和声速测井。

2.盐水泥浆测井系列

在盐水泥浆钻井中，必须使用有聚焦能力的侧向测井和微侧向测井；用自然伽马测井代替自然电位测井。这样，盐水泥浆的测井系列为微侧向测井、自然伽马测井、声速测井、侧向测井。

3.碳酸盐岩测井系列

深、浅三侧向测井、自然伽马测井、中子-伽马测井、声速测井，2.5 m底部梯度电极系、自然电位（自然伽马）是碳酸盐岩的测井系列。

需要说明的是，上述测井系列并不一定是最佳的。随着我国测井事业的发展，测井仪器的完善，上述测井系列将会有较大的调整，以取得更好的地质效果。

使用进口仪器时：

1）中等—软地层、淡水泥浆条件下，使用以下测井方法：双感应测井/球形聚焦（或八侧向）测井—声波速度测井、岩性—密度—中子—微电阻率—电磁波传播测井。得到的测井曲线是：SP、IL_d、IL_m、SFL、Δt、R_wa、DEN、GR、U、Th、K、Pe、φ_D、φ_N、φ_EPT等。条件许可时，再加测地层倾角测井。

2）硬地层或盐水泥浆条件时使用：双侧向测井—微球形聚焦测井、双感应—球形聚焦测井—声速测井、岩性—密度—中子—自然伽马能谱测井。得到的测井曲线有：SP、LL_d、LL_s、MSFL、DEN、IL_d、IL_m、SFL、Δt、GR、U、Th、K、Pe、φ_D、φ_N等。有可能时，加测地层倾角测井、成像测井和核磁共振测井。

（二）地质录井资料

1.泥浆录井资料

用测井方法进行油气水层评价时，直接需要泥浆相对密度、泥浆矿化度、泥浆电阻率、泥浆滤液电阻率、泥浆滤液矿化度、泥饼厚度等录井资料。

在泥浆寻井过程中出现的油气显示异常数据资料也应认真全部收集，以便在测井油气评价时间接参考使用。

2.钻时录井资料

钻进速度的快慢，取决于地下岩层的可钻性，即疏松性软的岩层钻进快；致密坚硬的岩层钻进慢。所以在进行测井油气层评价时，常用来帮助判断岩石的组成、沉积的类型、压实程度，以及其他岩石物理性质。

对于碳酸盐岩裂缝性油气藏来说，钻时的变化是发现缝、洞最及时的一项录井资料。

3.岩屑录井资料

岩屑录井资料是钻井地质评价中最及时、便宜、不可缺少的直接资料。

4.岩心录井资料

石油地质工作者，对地下可能油气藏的认识都是一种抽象，各人认识的抽象未必相同。只凭岩屑、钻时、泥浆等录井资料是不够的，必须取得能够直观的、可提供作仔细分析化验之用的岩心资料。有了岩心资料，就可以研究地层时代，岩性岩相变化，储集层的物理性质，化学性质和裂缝发育情况，生储层特征及生油指标，储层含油产状，了解地层倾角、接触关系、断点位置等构造情况。

钻井岩心录井资料是测井的油气评价和测井地质解释研究的基础。通过钻井岩心的观察和实验室分析化验获取的地质信息和参数进行各种标定或刻度，在所建立的地质概念模型的基础上，应用正演和反演模型，建立正确可靠的岩石物理与测井的关系，为提高测井地质的解释精度奠定坚实的基础。

（三）测井资料

1.测井数据

测井技术是油气层评价和测井地质学研究应用重要的手段。根据地质分析与油气评价的目的任务，可以由下述测井项目中形成测井系列进行测井数据资料的采集。

（1）常规测井项目

1）双侧向测井（DDL）；

2）微侧向测井（MLL）；

3）补偿中子测井（CN）；

4）补偿声波测井（AC）；

5）补偿Z密度测井（Z-DEN）；

6）自然伽马测井（GR）；

7）井径测井（CAL）；

8）自然电位测井（SP）。

（2）特殊测井项目

1）自然伽马能谱测井（SL）；

2）地层倾角测井（DIP）；

3）重复式地层测试器（FMT）。

（3）现代测井项目

1）微电阻率扫描成像测井（STAR）；

2）井周声波成像测井（CBIL）；

3）多极阵列声波测井（MAC）；

4）核磁共振测井（MRIL）；

5）薄层电阻率测井（TBRT）。

目前在我国，进行地球物理测井工作时，根据解决油气勘探与开发的实际需要设计组合成裸眼井和套管井测井系列，所测的资料经过精细处理和解释，可进行地层岩性识别、解决硬地层的裂缝段的划分、评价及裂缝产状的确定、地层产状的确定，识别低阻油气层、划分与评价薄层，还可进行固井质量检查及管井的动态监测等等。测井系列的选择应用，可参见表6-1。

表6-1 测井系列一览表

2.测井解释参数

测井的定量解释评价油气层采用了两种不同类型的解释模型和方法导出的一些数学关系式，即体积模型法和概率模型法，是目前测井资料数字处理所采用的基本方法。利用上述模型进行定量测井解释时，除了需要地质钻井资料和测井数据资料外，还需要测井解释参数。

1）利用密度测井解释基本公式时，需要岩石骨架密度（ρ_ma）、泥质密度（ρ_sh）、孔隙流体密度（ρ_f）、泥质的相对体积（V_sh）。

2）利用声波测井解释基本公式时，需要岩石骨架声波时差（Δt_ma）、泥质声波时差、孔隙流体声波时差（Δt_f）、泥质的相对体积（V_sh）；

3）利用中子测井解释基本公式时，需要岩石骨架含氢指数（φ_ma）、泥质含氢指数（φ_sh）、孔隙流体含氢指数（φ_f）、泥质的相对体积（V_sh）。

4）利用脉冲中子测井解释基本公式时，需要岩石骨中子俘获截面Σ_ma、孔隙流体中子俘获截面Σ_f、泥质中子俘获截面Σ_sh。

在用经验关系式确定含水饱和度（S_w）和冲洗带饱和度（S_xo）时，需要地层水电阻率（R_w）、泥浆滤液电阻率（R_mf）和孔隙度（φ）。

在用泥质的相对体积（泥质含量）经验关系式确定泥质含量时，也需要给出测井解释参数：

1）利用自然伽马测井计算泥质体积公式时，则需要给出C_GR，max（纯泥岩地层的GR值）和C_GR，min（C_GR纯砂岩层的GR读数）。

2）利用自然电位测井计算泥质体积公式时，需要给出U_SP，max（纯砂岩的SP幅度）和U_SP，min（纯泥岩层的SP幅度）。

3）利用中子测井计算泥质含量公式时，需要给出φ_N，max（纯砂岩地层的中子孔隙度值）和φ_N，min（纯泥岩层的中子孔隙度值）。

4）利用中子寿命测井计算泥质含量公式时，需要给出Σ_max（纯砂岩地层的中子俘获截面）和Σ_min（纯泥岩层的中子俘获截面）。

5）利用声波测井方法时需要给出φ_ACSH（纯泥岩地层声波孔隙度）。

6）利用能谱测井计算时，需要给出纯泥岩地层的钾和Th含量，纯砂岩地层的K和Th含量。

7）利用电阻率测井计算泥质含量时，需要给出R_sh（纯泥岩层电阻率）和R_max（纯产油层最大电阻率）。

8）利用密度-中子、中子-声波、密度-声波等交会图方法计算泥质含量时需要给出φ_Nma、φ_Nsh、ρ_ma、ρ_sh、ρ_f、Δt_f、Δt_ma、Δt_sh等测井解释参数。

在利用核磁共振测井研究和计算储层的毛管束缚流体体积、自由流体体积、地层有效孔隙度、渗透率和孔隙结构时，关键性的测井解释参数应该有φ（孔隙度）、T_2cutoff、ρ（表面弛豫强度）。

在利用Waxman和Smits方程计算储层含水饱和度时，需要给出总连通孔隙度φ_e、地层水电阻率R_w和阳离子交换量Q_V等参数。

5. 如何收集大数据

可用爬虫爬取。既然是大数据，相信需要的体量不会太小吧，个人系统爬取难度和成本应该不会很小，建议找一家做大数据的公司代劳，省时省力，也花不了多少钱。

6. 拼多多商品数据怎么收集

拼多多商品数据可以用多多情报通收集，多多情报通运用先进的大数据采集、清洗及储存等大数据开发技术，通过对整个电商平台的公开交易数据进行抓取和分析，为各类目行业网店运营商家提供精准的商业数据。通过对数据的解读，商家可以很直观地了解行业细分类目市场的整体趋势及消费者偏好，把握全局数据。并且还能对目标店铺的商品定价策略、铺货策略、营销策略等高价值商情和核心数据全盘掌握。多多情报通数据分析软件

7. 数据怎么收集数据怎样管理

建立数据库；

若果不明白，尝试做表格，拆分数据不同的特性，组合相关的特性；
老师做成绩表也是一种数据库；

可以先尝试使用excel做表格，分析相关和非相关特性；整理出来，后期想自己深入就去学数据库，不想学可以外包，让别人做，然后做数据查询软件等等……

8. 大数据怎么收集

一般来说，有些人寻找数据，是为了做出正确的商业决策；有些人要完善自己的技能，在事业上更上层楼；另一些人或为社会，或为科学而搜寻数据。

特别是，有些人收集详细的数据，是为了做出统计分析，却不知道绝大多数的人可以找到已经为他们做好了一部分统计分析的资讯，包括报告、表单数据的总汇，甚至只是具体事实，几乎所有的人都能够找到对他们有用的数据。

由于不知道怎样寻找丰富的数据，许多人根本不去寻找。他们根据自己的个人观点做决定，或者根据新闻报导做决定，即使使用数据，也不知道使用对他们有用的数据类型或数据的来源。

想要找到需要的数据，必须要有明确的目标，和使用它的目地。资讯的目标越清晰，找到合适的资源就越容易。

下面是四种主要的数据来源，可以引导你找到最好的数据。

1）内部资讯

自己工作单位里面已经有的资讯，是获取数据首先应该考虑的地方。你可以找到对你的机构特别相关的、竞争者找不到的，详细的数据。

这并不容易，你必须明白是什么部门收集和保存这些数据，如何能够访问这个网址，以及允许什么样的用途。这是为什么明确的、详细的目标是如此的重要。

你可能需要向管理阶层提出正式申请，获得准许，而成功与否则要看你的特定目标和一个清晰的商业案例。

拒绝走后门或捷径的诱惑。 你的IT部门设下的规则也许让你头痛， 但是它们的设立是为了保证你的工作单位遵守法律。

2）政府及非营利组织

如果你必须从单位以外的地方搜寻数据，一定要尽量从政府机构或非营利组织搜寻资料。每一个政府机构都会收集数据，而且它们有法律上的义务同公众分享，至少分享一部分数据。 海量多的资料就在电脑、电话或公共图书馆里，等你使用。

政府机构的数据有些是交易型的 ，就是为了做出分析，特别收集起来的一份政府活动记录或统计； 例如财产转让和投票记录，就是交易型的数据。人口普查是统计数据，消费物价指数也是。虽然交易数据通常只有详细的表格，例如个人的交易记录，但是为了保护个人隐私，统计数据通常是汇总的型态。

有些机构的数据比别的机构有用，但是首先你得找到这个机构才能找到其它。需要一般美国人的数据，找美国人口普查局；需要知道猪腩的价格，找农业部。网上有一个门户网站data.gov，可以帮你找到数据，但是如果你不熟悉术语或找不到正确的名称，别放弃，可以打电话到似乎最适合的机构去问。

许多非营利组织是他们的专业领域中良好的数据来源。例如企业信息，就要调查相关的行业协会。一个很好的资料来源是《协会网络全书》（ Encyclopedia of Associations），包含有企业协会、社会事业协会和研究协会。这本书在大多数公共图书馆和大学图书馆里都可以找到。 记住，这些机构通常分享的资讯都是报告的形式，不是数据，所以向他们申请资讯时要说清楚你要的是数据。

如果网上找到的数据来源不明确、不对应，不要使用它。网上浮动的数据集对于练习数据分析的人可能很有用， 但是如果你要靠它来决定策略，你最好知道它的正确来源。

3）商业性

如果你需要的数据无法从内部、政府机构，或非营利组织得到，不妨考虑购买它。 有些由政府收集和格式化的数据意义重大，价钱也便宜。不过要小心，并非所有的商业性数据的质量都好。在花费大价钱购买以前，问问出售者数据是怎样得到的，如何处理的，并且调查一些样本。

4）收集新的数据

最后一招是，由于数据根本不存在，而无法找到时，不妨自己出去收集一下。这要看你需要的是什么数据。你可以根据你所需要的数据，进行一项调查，安装传感器或派人出去观察、衡量，得出数据。这可能会即花时间又花钱，好处是你收集的数据是你真正需要的，而且完全属于你自己。

9. 如何收集数据

采集的样本要能够代表总体，并且分布均匀
根据任务目标的不同，明确待采集样本的总体。不能把调研女性购物习惯的问卷广泛的撒给包括男生在内的所有人群，要精准投放调查。不能只调研商场购物的女性的特点，而忽略网络购物，小市场购物，海淘购物等女性客户的特点，要分布均匀。

明确记录样本采集的条件和环境
不同条件下的采样样本，会有不同的表现。要详细的记录采样时的上下文，这样才能在以后分析的时候明确哪些可能是干扰因素，也能够帮助理解数据分析看到的一些现象。

使用高效的采样工具
只有数据量大到一定程度，才具有统计学的意义，我们才可以根据数据分析结果得到统计学上的结论。因此，在短时间内，以较少的人力物力获得样本是很重要和必要的。如果研究领域有现成的采样工具就再好不过了，务必在采样之前详细调研和分析现有的采样工具，或者自行研究高效的采样工具和设计采样方法。

预处理样本
采集到的数据质量参差不齐，会有数据错误，数据丢失的现象存在。因此，在真正利用数据进行分析之前，要对数据进行清洗。主要需要解决的问题是：如何使用残缺样本？某些样本有部分数据残缺，是因为没有采样到呢？还是因为某些样本就不应该有这些数据？需要人工分析下原因，再决定以何种方式补全样本的残缺属性或者丢弃样本。

利用统计指标或数据挖掘技术合理分析样本
当采集好了大量的数据，肉眼是无法了解数据说明什么问题的。因此需要使用统计学上的常见指标或者数据挖掘技术来分析样本。统计学上的指标一般有概率分布，中位数，期望，方差，相关系数等。数据挖掘技术一般有聚类，分类，关联分析，时序分析等。

分析统计结果的具体含义
统计学的结果得到了之后，我们还需要理解各个参数能够说明什么问题。这些参数的表现是否符合人们的常识和规律，如果不符合是因为什么原因造成的。然后根据统计结果来得出结论或者继续修正样本采集和分析的任务。

7
备份样本和各个阶段的预处理样本
最重要的，好不容易采集好的样本，丢了或者弄出错实在可惜。所以要认真备份原始的样本以及各个阶段的预处理样本和相应的处理方法。这样即使当前数据出了错误，还可以回滚到原始的版本，而不会没有样本可用。