数据分析之前需要准备哪些

A. 数据分析的前期准备有哪些

（1）数据清理：数据清理是数据准备过程中最花费时间、最乏味，但也是最重要的步骤。该步骤可以有效减少学习过程中可能出现相互矛盾情况的问题。初始获得的数据主要有以下几种情况需要处理：含噪声数据、错误数据、缺失数据、冗余数据。
（2）数据集成：数据集成是一种将多个数据源中的数据（数据库、数据立方体或一般文件）结合起来存放到一个一致的数据存储(如数据仓库)中的一种技术和过程。由于不同学科方面的数据集成涉及到不同的理论依据和规则，因此，数据集成可以说是数据预处理中比较困难的一个步骤。目前通常采用联邦式、基于中间件模型和数据仓库等方法来构造集成的系统，这些技术在不同的着重点和应用上解决数据共享和为企业提供决策支持。
（3）数据转换：数据变换是采用线性或非线性的数学变换方法将多维数据压缩成较少维数的数据，消除它们在空间、属性、时间及精度等特征表现的差异。这类方法虽然对原始数据通常都是有损的，但其结果往往具有更大的实用性。数据转换的方法有数据平滑、数据聚集、数据概化、数据规范化、属性构造等。
（4）数据归约：数据经过去噪处理后，需根据相关要求对数据的属性进行相应处理。数据规约就是在减少数据存储空间的同时尽可能保证数据的完整性，获得比原始数据小得多的数据，并将数据以合乎要求的方式表示。数据归约方法主要有：数据立方体聚集、维规约、数据压缩、数值压缩、离散化和概念分层。

B. 数据分析一般有哪些准备工作

前几天也和人探讨了下数据分析，也顺便和你说下，工作流程一般是这样的：事前，采集历史数据，分析数据关联性，推测可能的模型和影响因子；
事中，采集线上数据，同前期规划模型作比较，找到实际问题中的亟待解决的问题和模型改善，为进一步产品改进等做可能性、关联性分析；
事后，归纳数据，发现自己分析的不足、考虑问题的全面性，为接下来的分析工作做经验储备； 简单的讲就是：
事前估计，为什么会有这样的预测，有什么样的数据或是模型支持此分析结果；
事中监测，有哪些突变或是自己尚未前瞻到的异常用户数据，如何将其融合到新一轮的数据分析中，如何更好的为产品改进服务；
事后总结，在这次事件中有哪些问题，问题的原因出自哪里，模型的问题还是客观性或是其他问题，不断提升自己的数据领悟力； 在数据分析中，重数据，却不拘泥于数据；考虑模型，但要动态变化；不能为数据而数据，应该是客观的评析数据，提出合理的分析结果；不断在实践中提升自己的感悟能力，这不是一朝一夕的事。数据既为上，又为己，希望你可以理解。

C. 数据分析师需要掌握哪些能力需要做哪些准备

• 数学知识

对于初级数据分析师来说，则需要了解统计相关的基础性内容，公式计算，统计模型等。当你获得一份数据集时，需要先进行了解数据集的质量，进行描述统计。

而对于高级数据分析师，必须具备统计模型的能力，线性代数也要有一定的了解。

• 分析工具

对于分析工具，SQL是必须会的，还有要熟悉Excel数据透视表和公式的使用，另外，还要学会一个统计分析工具，SAS作为入门是比较好的，VBA 基本必备，SPSS/SAS/R 至少要熟练使用其中之一，其他分析工具（如 Matlab）可以视情况而定。

• 编程语言

数据分析领域最热门的两大语言是 R 和 Python。涉及各类统计函数和工具的调用，R无疑有优势。但是大数据量的处理力不足，学习曲线比较陡峭。Python 适用性强，可以将分析的过程脚本化。所以，如果你想在这一领域有所发展，学习 Python 也是相当有必要的。

当然其他编程语言也是需要掌握的。要有独立把数据化为己用的能力, 这其中SQL 是最基本的，你必须会用 SQL 查询数据、会快速写程序分析数据。当然，编程技术不需要达到软件工程师的水平。要想更深入的分析问题你可能还会用到：Exploratory analysis skills、Optimization、Simulation、Machine Learning、Data Mining、Modeling 等。

• 业务理解

对业务的理解是数据分析师工作的基础，数据的获取方案、指标的选取、还有最终结论的洞察，都依赖于数据分析师对业务本身的理解。

对于初级数据分析师，主要工作是提取数据和做一些简单图表，以及少量的洞察结论，拥有对业务的基本了解就可以。对于高级数据分析师，需要对业务有较为深入的了解，能够基于数据，提炼出有效观点，对实际业务能有所帮助。对于数据挖掘工程师，对业务有基本了解就可以，重点还是需要放在发挥自己的技术能力上。

• 逻辑思维

对于初级数据分析师，逻辑思维主要体现在数据分析过程中每一步都有目的性，知道自己需要用什么样的手段，达到什么样的目标。对于高级数据分析师，逻辑思维主要体现在搭建完整有效的分析框架，了解分析对象之间的关联关系，清楚每一个指标变化的前因后果，会给业务带来的影响。对于数据挖掘工程师，罗辑思维除了体现在和业务相关的分析工作上，还包括算法逻辑，程序逻辑等，所以对逻辑思维的要求也是最高的。

• 数据可视化

数据可视化主要借助于图形化手段，清晰有效地传达与沟通信息。听起来很高大上，其实包括的范围很广，做个 PPT 里边放上数据图表也可以算是数据可视化。

对于初级数据分析师，能用 Excel 和 PPT 做出基本的图表和报告，能清楚地展示数据，就达到目标了。对于稍高级的数据分析师，需要使用更有效的数据分析工具，根据实际需求做出或简单或复杂，但适合受众观看的数据可视化内容。

• 协调沟通

数据分析师不仅需要具备破译数据的能力，也经常被要求向项目经理和部门主管提供有关某些数据点的建议，所以，你需要有较强的交流能力。

对于高级数据分析师，需要开始独立带项目，或者和产品做一些合作，因此除了沟通能力以外，还需要一些项目协调能力。

D. 数据分析师需要掌握哪些能力需要做哪些准备

1、懂业务。从事数据分析工作的前提就会需要懂业务，即熟悉行业知识、公司业务及流程，最好有自孝帆己独到的见解，若脱离行业认知和公司业务背景，分析的结果只会是脱了线的风筝，没有太大的使用价值。

2、懂管理。一方面是搭建数据分析框架的要求，比如确定分析思路就需要用到营销、管理等理论知识来指导，如果不熟悉管理理论，就很难搭建数据分析的框架，后续的数据分析也很难进行。另一方面的作用是针对数据分析结论提出有指导意义的分析建议。

3、懂分析。指掌握数据分析基本原理与一些有效的数据分键橡析方法，并能灵活运用到实践工作中，以便有效的开展数据分析。

基本的分析方法有：对比分析法、分组分析法、交叉分析法、结构分析法、漏斗图分析法稿慎旁、综合评价分析法、因素分析法、矩阵关联分析法等。高级的分析方法有：相关分析法、回归分析法、聚类分析法、判别分析法、主成分分析法、因子分析法、对应分析法、时间序列等。

4、懂工具。指掌握数据分析相关的常用工具。数据分析方法是理论，而数据分析工具就是实现数据分析方法理论的工具，面对越来越庞大的数据，我们不能依靠计算器进行分析，必须依靠强大的数据分析工具帮我们完成数据分析工作。

5、懂设计。懂设计是指运用图表有效表达数据分析师的分析观点，使分析结果一目了然。图表的设计是门大学问，如图形的选择、版式的设计、颜色的搭配等等，都需要掌握一定的设计原则。

E. 数据分析需要做什么呀

• 收集数据

  数据分析师的工作第一步就是收集数据，如果是内部数据，可以用SQL进行取数，如果是要获取外部数据，数据的可靠真实性和全面性其实很难保证。在所有获取外部数据的渠道中，网络采集越来越受到大家的关注。网络采集最常用的方法是通过爬虫获取数据，相比较而言，编写爬虫程序获取到的海量数据更为真实、全面，在信息繁荣的互联网时代更为行之有效。如果是分布式系统的大数据，使用Hadoop和Apache Spark两者进行选取和清理。

• 数据清洗

  是整个数据分析过程中不可缺少的一个环节，其结果质量直接关系到模型效果和最终结论。在实际操作中，数据清洗通常会占据分析过程的50%—80%的时间。国外有些学术机构会专门研究如何做数据清洗，相关的书籍也不少。需要进行处理的数据大概分成以下几种：缺失值、重复值、异常值和数据类型有误的数据。

• 数据可视化

数据可视化是为了准确且高效、精简而全面地传递出数据带来的信息和知识。可视化能将不可见的数据现象转化为可见的图形符号，能将错综复杂、看起来没法解释和关联的数据，建立起联系和关联，发现规律和特征，获得更有商业价值的洞见和价值。在利用了合适的图表后，直截了当且清晰而直观地表达出来，实现了让数据说话的目的。人类右脑记忆图像的速度比左脑记忆抽象的文字快100万倍，这也就是为什么数据可视化能够加深和强化受众对于数据的理解和记忆。

• 所处行业的数据方向建设和规划

  不同行业和领域的侧重点是不同的，对一个领域有了充分的理解和在该领域深入从事的经验，进而体现在数据分析上时，能够更好地发现并定义出实际的问题，也就可以在数据分析之后更符合行业发展规律地去改进问题。

• 数据报告展示

最可以体现数据分析师价值的点就在于通过数据给业务带来价值。数据分析师作为业务与IT的桥梁，与业务的需求沟通是其实是数据分析师每日工作的重中之重。在明确了分析方向之后，能够让数据分析师的分析更有针对性。如果没和业务沟通好，数据分析师就开始撸起袖子干活了，往往会是白做了。最后结果的汇总体现也非常重要，不管是PPT、邮件还是监控看板，选择最合适的展示手段，将分析结果展示给业务团队。

F. 数据分析一般有哪些准备工作

前几天也和人探讨了下数据分析，也顺便和你说下，工作流程一般是这样的： 事前，采集历史数据，分析数据关联性，推测可能的模型和影响因子； 事中，采集线上数据，同前和慎期规划模型作比较，找到实际问题中的亟待解决的问题和模型改善，为进一步产品改进等做可能性、关联性分析； 事后，归纳数据，发现自己分析的不足、考虑问题的全面性，为接下来的分析工作做经验储备； 简单的尘迟讲就是： 在数据分析中，重唤兄敬数据，却不拘泥于数据；考虑模型，但要动态变化；不能为数据而数据，应该是客观的评析数据，提出合理的分析结果；不断在实践中提升自己的感悟能力，这不是一朝一夕的事。数据既为上，又为己，希望你可以理解。