数据少用什么研究

‘壹’ 大数据研究常用软件工具与应用场景

大数据研究常用软件工具与应用场景

如今，大数据日益成为研究行业的重要研究目标。面对其高数据量、多维度与异构化的特点，以及分析方法思路的扩展，传统统计工具已经难以应对。

工欲善其事，必先利其器。众多新的软件分析工具作为深入大数据洞察研究的重要助力， 也成为数据科学家所必须掌握的知识技能。

然而，现实情况的复杂性决定了并不存在解决一切问题的终极工具。实际研究过程中，需要根据实际情况灵活选择最合适的工具（甚至多种工具组合使用），才能更好的完成研究探索。

为此，本文针对研究人员（非技术人员）的实际情况，介绍当前大数据研究涉及的一些主要工具软件（因为相关软件众多，只介绍常用的），并进一步阐述其应用特点和适合的场景，以便于研究人员能有的放矢的学习和使用。

传统分析/商业统计

Excel、SPSS、SAS 这三者对于研究人员而言并不陌生。

Excel 作为电子表格软件，适合简单统计（分组/求和等）需求，由于其方便好用，功能也能满足很多场景需要，所以实际成为研究人员最常用的软件工具。其缺点在于功能单一，且可处理数据规模小（这一点让很多研究人员尤为头疼）。这两年Excel在大数据方面（如地理可视化和网络关系分析）上也作出了一些增强，但应用能力有限。

SPSS（SPSS Statistics)和SAS作为商业统计软件，提供研究常用的经典统计分析（如回归、方差、因子、多变量分析等）处理。
SPSS 轻量、易于使用，但功能相对较少，适合常规基本统计分析
SAS 功能丰富而强大（包括绘图能力），且支持编程扩展其分析能力，适合复杂与高要求的统计性分析。

上述三个软件在面对大数据环境出现了各种不适，具体不再赘述。但这并不代表其没有使用价值。如果使用传统研究方法论分析大数据时，海量原始数据资源经过前期处理（如降维和统计汇总等）得到的中间研究结果，就很适合使用它们进行进一步研究。

数据挖掘

数据挖掘作为大数据应用的重要领域，在传统统计分析基础上，更强调提供机器学习的方法，关注高维空间下复杂数据关联关系和推演能力。代表是SPSS Modeler（注意不是SPSS Statistics，其前身为Clementine）

SPSS Modeler 的统计功能相对有限, 主要是提供面向商业挖掘的机器学习算法（决策树、神经元网络、分类、聚类和预测等）的实现。同时，其数据预处理和结果辅助分析方面也相当方便，这一点尤其适合商业环境下的快速挖掘。不过就处理能力而言，实际感觉难以应对亿级以上的数据规模。

另一个商业软件 Matlab 也能提供大量数据挖掘的算法，但其特性更关注科学与工程计算领域。而着名的开源数据挖掘软件Weka，功能较少，且数据预处理和结果分析也比较麻烦，更适合学术界或有数据预处理能力的使用者。

1、通用大数据可视化分析

近两年来出现了许多面向大数据、具备可视化能力的分析工具，在商业研究领域，TableAU无疑是卓越代表。

TableAU 的优势主要在于支持多种大数据源/格式，众多的可视化图表类型，加上拖拽式的使用方式，上手快，非常适合研究员使用，能够涵盖大部分分析研究的场景。不过要注意，其并不能提供经典统计和机器学习算法支持， 因此其可以替代Excel, 但不能代替统计和数据挖掘软件。另外，就实际处理速度而言，感觉面对较大数据（实例超过3000万记录）时，并没有官方介绍的那么迅速。

2 、关系分析

关系分析是大数据环境下的一个新的分析热点（比如信息传播图、社交关系网等），其本质计算的是点之间的关联关系。相关工具中，适合数据研究人员的是一些可视化的轻量桌面型工具，最常用的是Gephi。

Gephi 是免费软件，擅长解决图网络分析的很多需求，其插件众多，功能强且易用。我们经常看到的各种社交关系/传播谱图, 很多都是基于其力导向图（Force directed graph）功能生成。但由于其由java编写，限制了处理性能（感觉处理超过10万节点/边时常陷入假死），如分析百万级节点（如微博热点传播路径）关系时，需先做平滑和剪枝处理。 而要处理更大规模（如亿级以上）的关系网络（如社交网络关系）数据，则需要专门的图关系数据库（如GraphLab/GraphX）来支撑了，其技术要求较高，此处不再介绍。

3、时空数据分析

当前很多软件（包括TableAU）都提供了时空数据的可视化分析功能。但就使用感受来看，其大都只适合较小规模（万级）的可视化展示分析，很少支持不同粒度的快速聚合探索。

如果要分析千万级以上的时空数据，比如新浪微博上亿用户发文的时间与地理分布（从省到街道多级粒度的探索）时，推荐使用 NanoCubes（http://www.nanocubes.net/）。该开源软件可在日常的办公电脑上提供对亿级时空数据的快速展示和多级实时钻取探索分析。下图是对芝加哥犯罪时间地点的分析，网站有更多的实时分析的演示例子

4、文本/非结构化分析

基于自然语言处理（NLP）的文本分析，在非结构化内容（如互联网/社交媒体/电商评论）大数据的分析方面（甚至调研开放题结果分析）有重要用途。其应用处理涉及分词、特征抽取、情感分析、多主题模型等众多内容。

由于实现难度与领域差异，当前市面上只有一些开源函数包或者云API（如BosonNLP）提供一些基础处理功能，尚未看到适合商业研究分析中文文本的集成化工具软件（如果有谁知道烦请通知我）。在这种情况下，各商业公司（如HCR）主要依靠内部技术实力自主研发适合业务所需的分析功能。

前面介绍的各种大数据分析工具，可应对的数据都在亿级以下，也以结构化数据为主。当实际面临以下要求： 亿级以上/半实时性处理/非标准化复杂需求 ，通常就需要借助编程（甚至借助于Hadoop/Spark等分布式计算框架）来完成相关的分析。 如果能掌握相关的编程语言能力，那研究员的分析能力将如虎添翼。

当前适合大数据处理的编程语言，包括：

R语言——最适合统计研究背景的人员学习，具有丰富的统计分析功能库以及可视化绘图函数可以直接调用。通过Hadoop-R更可支持处理百亿级别的数据。 相比SAS，其计算能力更强，可解决更复杂更大数据规模的问题。

Python语言——最大的优势是在文本处理以及大数据量处理场景，且易于开发。在相关分析领域，Python代替R的势头越来越明显。

Java语言——通用性编程语言，能力最全面，拥有最多的开源大数据处理资源（统计、机器学习、NLP等等）直接使用。也得到所有分布式计算框架（Hadoop/Spark）的支持。

前面的内容介绍了面向大数据研究的不同工具软件/语言的特点和适用场景。 这些工具能够极大增强研究员在大数据环境下的分析能力，但更重要的是研究员要发挥自身对业务的深入理解，从数据结果中洞察发现有深度的结果，这才是最有价值的。

以上是小编为大家分享的关于大数据研究常用软件工具与应用场景的相关内容，更多信息可以关注环球青藤分享更多干货

‘贰’ 硕士论文研究一个数据较少的新事物用什么方法比较好

你的论文准备往什么方向写，选题老师审核通过了没，有没有列个大纲让老师看一下写作方向？
老师有没有和你说论文往哪个方向写比较好？写论文之前，一定要写个大纲，这样老师，好确定了框架，避免以后论文修改过程中出现大改的情况！！
学校的格式要求、写作规范要注意，否则很可能发回来重新改，你要还有什么不明白或不懂可以问我，希望你能够顺利毕业，迈向新的人生。

一、毕业论文选题的重要意义

第一、选题是撰写毕业论文的第一步，它实际上是确定“写什么”的问题，也就是确定论文论述的方向。如果“写什么”都不明确，“怎么写”根本无从谈起，因此毕业论文的顺利完成离不开合适的论文选题。

第二、毕业论文的写作一方面是对这几年所学知识的一次全面检验，同时也是对同学们思考问题的广度和深度的全面考察。因此，毕业论文的选题非常重要，既要考虑论文涉及的层面，又要考虑它的社会价值。

二、毕业论文选题的原则

（一）专业性原则

毕业论文选题必须紧密结合自己所学的专业，从那些学过的课程内容中选择值得研究或探讨的学术问题，不能超出这个范围，否则达不到运用所学理论知识来解决实际问题的教学目的。我们学的是工商管理专业，选题当然不能脱离这个大范畴，而且在限定的小范围内，也不能脱离工商管理、经营去谈公共事业管理或金融问题。学术研究是无止境的，任何现成的学说，都有需要完善改进的地方，这就是选题的突破口，由此入手，是不难发现问题、提出问题的。

（二）价值性原则

论文要有科学价值。那些改头换面的文章抄袭、东拼西凑的材料汇集以及脱离实际的高谈阔论，当然谈不上有什么价值。既然是论文，选题就要具有一定的学术意义，也就是要具有先进性、实践性和一定的理论意义。对于工商管理专业的学生而言，我们可以选择管理中有理论意义和实践指导意义的论题，或是对提高我国的管理水平有普遍意义的议题，还可以是新管理方法的使用。毕业论文的价值关键取决于是否有自己的恶创见。也就是说，不是简单地整理和归纳书本上或前人的见解，而是在一定程度上用新的事实或新的理论来丰富专业学科的某些内容，或者运用所学专业知识解决现实中需要解决的问题。

（三）可能性原则

选题要充分考虑到论题的宽度和广度以及你所能占有的论文资料。既要有“知难而进”的勇气和信心，又要做到“量力而行”。”选题太大、太难，自己短时间内无力完成，不行；选题太小、太易，又不能充分发挥自己的才能，也不行。一切应从实际出发，主要应考虑选题是否切合自己的特长和兴趣，是否可以收集到足够的材料和信息，是否和自己从事的工作相接近。一定要考虑主客观条件和时限，选择那些适合自己情况，可以预期成功的课题。一般来说，题目的大小要由作者实际情况而定，很难作硬性规定要求。有的同学如确有水平和能力，写篇大文章，在理论上有所突破和创新，当然是很好的。但从成人高校学生的总体来看，选题还是小点为宜。小题目论述一两个观点，口子虽小，却能小题大做，能从多层次多角度进行分析论证.这样，自己的理论水平可以发挥，文章本身也会写得丰满而充实。选择一个比较恰当的小论题，特别是与自己的工作或者生活密切相关的问题，不仅容易搜集资料，同时对问题也看得准，论述也会更透彻，结论也就可能下得更准确。

三、毕业论文选题的方法

第一、 浏览捕捉法。这种方法是通过对占有的论文资料快速、大量地阅读，在比较中来确定题目的方法。浏览，一般是在资料占有达到一定数量时集中一段时间进行，这样便于对资料作集中的比较和鉴别。浏览的目的是在咀嚼消化已有资料的过程中，提出问题，寻找自己的论题。这就需要我们对收集到的材料进行全面阅读研究，主要的、次要的、不同角度的、不同观点的都应了解，不能“先入为主”，不能以自己头脑中原有的观点决定取舍。而应冷静地、客观地对所有资料作认真的分析思考，从内容丰富的资料中吸取营养，反复思考琢磨之后，就会有所发现，然后再根据自己的实际确定自己的论题。

第二、 追溯验证法。这种方法要求同学们先有一种拟想，然后再通过阅读资料加以验证来确定选题的方法。同学们应该先有自己的主观论点，即根据自己平时的积累，初步确定准备研究的方向、题目或选题范围。这种选题方法应注意：看自己的“拟想”是否与别人重复，是否对别人的观点有补充作用；如果自己的“拟想”虽然别人还没有谈到，但自己尚缺乏足够的理由来加以论证，那就应该中止，再作重新构思。要善于捕捉一闪之念，抓住不放，深入研究。在阅读文献资料或调查研究中，有时会突然产生一些思想火花，尽管这种想法很简单、很朦胧，也未成型，但千万不可轻易放弃。

第三、 知识迁移法。通过四年的学习，对某一方面的理论知识（经济或者法律或者其它）有一个系统的新的理解和掌握。这是对旧知识的一种延伸和拓展，是一种有效的更新。在此基础之上，同学们在认识问题和解决问题的时候就会用所学到的新知识来感应世界，从而形成一些新的观点。理论知识和现实的有机结合往往会激发同学们思维的创造力和开拓性，为毕业论文的选题提供了一个良好的实践基础和理论基础。

第四、 关注热点法。热点问题就是在现代社会中出现的能够引起公众广泛注意的问题。这些问题或关系国计民生，或涉及时代潮流，而且总能吸引人们注意，引发人们思考和争论。同学们在平时的学习和工作中大部分也都会关注国际形势、时事新闻、经济变革。选择社会热点问题作为论文论题是一件十分有意义的事情，不仅可以引起指导老师的关注，激发阅读者的兴趣和思考，而且对于现实问题的认识和解决也具有重要的意义。将社会热点问题作为论文的论题对于同学们搜集材料、整理材料、完成论文也提供了许多便利。

第五，调研选题法。调研选题法类同于关注社会热点这样的选题方法，但所涉及的有一部分是社会热点问题，也有一部分并不是社会热点问题。社会调研可以帮助我们更多地了解调研所涉问题的历史、现状以及发展趋势，对问题的现实认识将更为清晰，并可就现实问题提出一些有针对性的意见和建议。同学们将社会调研课题作为毕业论文的论题，有着十分重要的现实意义，不仅可为地方经济建设和社会发展提供有价值的资料和数据，而且可为解决一些社会现实问题提供一个很好的路径。

‘叁’ 在数据较少的情况下如何更精确地做数据的分析

不知道你的数据少到什么程度。其实少也是可以做一些事情的，主要是用合适的方法。如你可以用灰色系统理论处理小数据的样本分析；你也可以用数据挖掘的方法，通过抽样来分析，典型的例子购买者占不到5%，传统的方法分析不出什么特征了，但是数据挖掘可以做到。

‘肆’ 数据比较少时候用什么统计方法比较好

统计数据比较多的时候可用普通的数学上的平均法，次数比较少的时候可用首尾折半法！
anova 有多种anova , One-way ANOVA , 两组数据 Factorial ANOVA, 测试不同的方法对数据的影响 Repeated measures ANOVA, 测试数据的环境是否相同 Multivariate analysis of variance (MANOVA 多因子变量 数据的分布形态是正态分布，
具体看书

‘伍’ 数据不足对研究有哪些影响

您好。任何对数据的分析和挖掘都是建立在或多或少的病态数据基础上的，没有好的数据，就不可能提供可靠的信息和知识～

‘陆’ 论文用数据是什么研究方法

论文用数据是数学方法。

数学方法就是在撇开研究对象的其他一切特性的情况下，用数学工具对研究对象进行一系列量的处理，从而作出正确的说明和判断，得到以数字形式表述的成果。科学研究的对象是质和量的统一体，它们的质和量是紧密联系,质变和量变是互相制约的。

要达到真正的科学认识，不仅要研究质的规定性，还必须重视对它们的量进行考察和分析，以便更准确地认识研究对象的本质特性。数学方法主要有统计处理和模糊数学分析方法。

论文的作用：

1、提高研究者的研究水平

撰写科研论文，不仅是反映科研成果的问题，而且也是个深化科研成果和发展科研成果的问题，在撰写科研论文过程中，对实验研究过程所取得的大量材料进行去粗取精，实现由感性认识向理性认识的飞跃和升华，使研究活动得到深化，使人们的认识得到深化。

2、推动教育科研活动自身不断完善

教育科研活动是个探索未知领域的活动，并无既定模式和途径可循，在一定意义上可以讲，教育科研活动均属创造性活动。为了保证教育科研活动越发卓有成效，为了给进一步开展教育科研活动提供可靠依据，在每一科研活动终端都撰写报告或论文是十分必要的。