① 数据分析需要掌握些什么知识
我们先从整体上了解数据分析师要掌握的技能有哪些,然后再从具体职位类别来看,不同的职位具体要掌握的技能有哪些。
这样你就能根据自己的实际情况,有针对性的准备和学习。
一、数据分析的胜任力模型是什么?
从整体上来看,数据分析师需要掌握的能力有很多,从总体上可以分为以下几类,这些能力构成了数据分析师的能力模型。
1)理论基础,包括统计学
2)数据分析工具,常用的分析工具有 Excel,SQL,Python 等
3)可视化工具,常用的有 Excel,商业智能(Business Intelligence,BI)
4)业务知识,包括常用的指标、某行业的业务流程
5)数据分析思维,包括常用的分析方法
6)通用能力,包括 PPT、沟通能力
下面我们来详细看下每一种能力的要求。
理论基础:统计学
数据分析背后的理论基础是统计学。所以,掌握了统计学以后我们才能去看懂数据表达的意义是什么。举个例子,给你一家公司员工的工资,是平均值能代表这家公司的工资水平,还是中位数能代表?
如果没学过统计学,那么可能只认识这里的平均值,而不知道中位数这个知识。但是,如果你学过了统计学就会知道,中位数比平均值更能反映出数据的集中表现。
统计学的内容比较多,详细又可以分为两类内容:描述统计分析、推论统计分析。
什么是描述统计分析?
对大量信息进行归纳是处理数据时最基本的任务。中国约有 14 亿人,一张记录每位中国人的姓名和收入的电子表格包含了我们衡量这个国家经济健康状况所需的所有信息,通常我们也将多个数据集合在一起的东东叫“简称数据集”。但这张信息过量的表格其实相当于什么都没有告诉我们。这就是让人觉得讽刺的地方:经常是数据越多,事实越模糊。
因此,我们需要简化,将一系列复杂的数据减少为几个能够起到描述作用的数字,正如奥运会体操比赛中,我们将一套多难度组合的复杂动作浓缩为一个得分:9.8 分。
描述统计分析就是将一系列复杂的数据减少为几个能够起到描述作用的数字,用这些有代表性的数字来代表所有的数据。这样在面对一大堆数据时,你可在不知道所有数据的情况下就能知道数据的整体情况。
这就好比,我们通常一说起美女,能想到的是这样几个指标:长腿,大眼睛,脸蛋好看。虽然全国有那么多美女,你也没有见过全部的美女,但是你却能通过这样几个代表美女的指标就可以大概知道什么是美女。
同样的,描述统计学的关键点在于,找到几个关键的数字来描述数据的整体情况。那么,问题就来了,能担当起这样重要责任的数字有哪些呢?描述数据的整体情况,我们可以用 4 个指标来做,分别是:平均值、四分位数、标准差和标准分。例如,前面我们在拿到工资数据,就可以用“中位数”这样的数字来描述工资的整体情况。
所以,描述统计分析就是掌握 4 个指标:平均值,四分位数,标准差和标准分。
什么是推论统计分析?
推论统计分析就是通过样本来推断出总体。需要掌握的知识包括概率分布、中心极限定、如何用样本估计总体、置信区间、假设检验。例如,互联网常用的 AB 测试背后的原理就是假设检验,如果不掌握推论统计分析,那么连 AB 测试的结果也看不懂,更不用说完成一个 AB 测试实验。
2.数据分析工具
很多人看到现在 Python 很火,就不管自己的能力水平如何,就一头扎进学习 Python 的大潮,最后发现其实自己学不会,或者学完用不上。
这其实是不对的,真正工作里最常用的数据分析工具其实是 Excel,SQL。所以,如果你的零基础,不建议一上来就学 Python,而是先学会 Excel 分析数据,然后学会 SQL。
这样你学会了常用的分析工具,然后再学 Python 才是加分项。同时,这样学习的顺序还有一个好处,如果你是零基础没学过编程,一上来学 Python,大概率是学不会的。但是如果你学过用 Excel、SQL 处理数据,那么就具备了一定的基础,再学 Python,很多概念就会理解起来比较容易。
这就好比,一个婴儿不是一上来就学习跑步(Python),而是先把走路学会,具备了走路(Excel、SQL)的基础,再跑步就容易多了。
需要注意的是,除非是工作必须要求的,其他少部分公司用的工具其实不需要学习。比如有些公司要求其他编程语言,例如 R、SPSS、SAS 这些工具。
现在 Pyhon 已经是人工智能排名第一的编程语言了,大部分公司要求 Python,很少部分的公司要求其他的编程语言,所以学习市场要求最多的那个技能才能找到更多机会。如果你学习了少部分公司才要求的工具,那么意味着你找工作或者跳槽只能选择这些公司,而会错失其他大部分公司的求职机会,对你整个职业生涯不利。
TIOBE 编程语言排行榜是全球编程语言流行趋势的一个指标,每月更新,官网地址(https://www.tiobe.com/tiobe-index)。下图是 2021 年 2 月份排名前 10 的编程语言的变化图,其中橙色曲线是 Python,我们会发现 Python 的流行趋势越来越高。
3.可视化工具
常用的可视化工具包括 Excel、商业智能(BI)。
一般的可视化图表用 Excel 里的图表功能就可以实现,而且使用起来也方便。如果是要经常做报表,并且要求实现报表自动化,那么就需要用到商业智能(BI)工具。
那什么是商业智能(BI)呢?
微软官方给的定义是“使用用于自助服务和企业商业智能 (BI) 的统一、可扩展平台(该平台易于使用,可帮助获取更深入的数据见解),连接到任何数据并对数据进行可视化。 ”
毫无悬念,看这种官方定义就是看不懂。简单来说就是把数据导入商业智能(BI)工具中,就可以快速对数据可视化。例如下图就是把数据导入用商业智能(BI)工具中,通过可视化数据来分析。
IDC《2019 年下半年中国商业智能软件市场数据跟踪报告》显示,在中国商业智能软件子市场中,报表分析仍是目前市场最主要的需求,2019 年全年年市场份额占比为 79.0%。高级分析和预测分析市场份额占比 21.0%(下图)。
常用的商业智能(BI)工具有哪些呢?
目前使用最多的商业智能(BI)工具是 Power BI、Tableau、帆软,选择其中任意一种学习就可以了。
4.业务知识
因为数据分析是用来解决具体行业问题的,需要从业务的角度出发,了解各个指标,以及每个指标之间的关系,还需要联系业务去理解数据。所以,工作中数据分析脱离不了业务,在分析中要找到导致问题发生的根本原因,而不只是单纯的统计数据。
因此需要具备某个行业的业务知识才能去理解这个行业里的术语、业务问题等。
业务知识包括某个行业的常用指标、业务流程。需要注意的是,不同行业的指标、业务流程是不一样的,所以需要学习的时候针对你的目标行业去学习准备。例如,下图分别是金融信贷行业、在线教育行业的业务流程。
金融信贷行业业务流程(来自书《数据分析思维》)
在线教育业务流程(来自书《数据分析思维》)
如果是刚入门,这块内容做到了解即可,等进入工作以后,再慢慢深入业务,积累业务经验。具体某个行业的常用指标、业务流程可以看书《数据分析思维》,这本书里涉及了 10 多个行业的指标、业务流程。
5.数据分析思维
在数据分析相关的职位里经常会写这么一条招聘要求“具备数据分析思维”。在工作或者面试中,会经常听到分析思维、分析思路、分析方法。这三个词语有什么关系呢?其实简单来说,它们都是指分析方法。
数据分析思维需要你掌握 10 种常用的分析方法。
数据分析 10 种常用的分析方法
如果你的分析目的是想将复杂问题变得简单,就可以使用逻辑树分析方法,例如经典的费米问题就可以用这个分析方法。
如果你的分析目的是做行业分析,那么就可以用 PEST 分析方法,例如你想要研究中国少儿编程行业。
如果你想从多个角度去思考问题,那么就可以用多维度拆解分析方法,例如找相亲对象,需要从多个角度去分析是否合适。
如果你想进行对比分析,就要用到对比分析方法,例如你朋友问自己胖吗,就是在对比。
如果你想找到问题发生的原因,那么就要用到假设检验分析方法,其实破案剧里警察就是用这个方法来破案的。
如果你想知道 A 和 B 有什么关系,就要用到相关分析方法,例如豆瓣在我们喜欢的电影下面推荐和这部分电影相关的电影。
如果你想对用户留存和流失分析,就要用到群组分析方法,例如微博用户留存分析。
如果你想对用户按价值分类,那么就要用到 RFM 分析方法,例如信用卡的会员服务,就是对用户按价值分类,对不同用户使用不同的营销策略,从而做到精细化运营。
如果你想分析用户的行为或者做产品运营,就要用到 AARRR 模型分析方法,例如对拼多多的用户进行分析。
如果你想分析用户的转化,就要用到漏斗分析方法,例如店铺本周销量下降,想知道是中间哪个业务环节出了问题。
6.通用能力
通用能力包括 PPT 制作分析报告、沟通能力。
在工作中,要经常做分析结果做成数据分析报告,然后展示给业务部门、上级领导、客户等,而这种展示数据分析报告的场景常用的工具就是 PPT,所以就要求你会用 PPT 制作数据分析报告,有较好的的文字、书面总结能力。
职业社交网站领英发布的《2018 新兴工作岗位报告》报告里说,最大的技能缺口是软技能,比如口头交流、领导力和时间管理等。这份报告中建议,职场人士需要在快速变化的工作环境中,学习并保持软技能,因为拥有这些技能的人才具备更大的职场优势。
其实,任何职位都需要沟通能力,但是,数据分析师对沟通能力的要求更高。因为,数据分析师解决的是实际的问题,需要跨部门沟通业务,做好的数据分析报告也要展示给各个部门、领导、客户,只有好的沟通能力,才能让你的分析结果得到用户的认可。 那么这些通用能力如何提升呢?最直接的方式,就是通过写文章来提升。
通过写作可以同时提升你下面 3 个能力:
1)逻辑能力
写作的本质其实是把一件事情讲清楚,而逻辑能力强的人写出来的内容,读起来更顺畅。
2)文字表达能力
数据分析师要经常做数据分析报告,和通过邮件汇报分析结果。这体现的其实就是文字表达能力,提高这个能力的办法就是不断去写作。
3)沟通能力
写作其实就是把想说的话通过文字和你的用户去沟通。另外,经常在社群里提问和解答他人的问题,也可以提高你的沟通能力。你会看到不同人提问的水平是不一样的,有的人可以完整的把一个问题描述清楚,有的人说完,其他人也不明白他的问题是什么。这其实就是体现了沟通能力。
二、不同职位的数据分析能力要求有什么不一样?
经过前面的分析,我们从整体上知道了数据分析师需要掌握的能力。但并不是说,这些能力全都掌握了你才能找到一份数据分析师的工作。因为不同的职位的要求不一样的。在《职业发展前景:数据分析师的晋升通道》章节我们知道了数据分析相关职位的分类。
我把胜任力模型中的这些能力对应到不同的职位,就可以清楚的看到对应职位的能力要求(下图)。
有一个误区,很多人以为只要掌握了分析工具,就掌握了数据分析,其实不是的。从图中,我们可以看出。各个数据分析职位都需要的能力是:业务知识、分析思维、PPT、沟通能力。这些能力才可以让你从一个只会舞弄工具的普通职场人变成真正解决业务问题的职场高手。
很多人以为数据分析师需要掌握很高大的工具,其实不是的。例如腾讯里有一个岗位叫“商业数据分析师”,这听起来很高大上。其实这个职位对应的就是上图初级数据分析师的能力要求,也就是理论基础(描述统计分析),分析工具(Excel),可视化工具(Excel)。
上图中黄色标出的是相对于前一职位多出来的能力。中级数据分析师在初级数据分析师要求的能力上增加了分析工具(SQL),可视化工具(商业智能 BI)。高级数据分析师在中级数据分析师要求的能力上增加了理论基础(推论统计分析),分析工具(Python)。
Excel、SQL、Python 要掌握到什么程度?
我们知道了数据分析师最常用的分析工具是 Excel、SQL、Python。那么问题就来了,这些分析工具具体掌握哪些内容呢?
② 数据分析需要掌握哪些知识
数学知识
对于初级数据分析师来说,则需要了解统计相关的基础性内容,公式计算,统计模型等。当你获得一份数据集时,需要先进行了解数据集的质量,进行描述统计。
而对于高级数据分析师,必须具备统计模型的能力,线性代数也要有一定的了解。分析工具
对于分析工具,SQL 是必须会的,还有要熟悉Excel数据透视表和公式的使用,另外,还要学会一个统计分析工具,SAS作为入门是比较好的,VBA 基本必备,SPSS/SAS/R 至少要熟练使用其中之一,其他分析工具(如 Matlab)可以视情况而定。编程语言
数据分析领域最热门的两大语言是 R 和 Python。涉及各类统计函数和工具的调用,R无疑有优势。但是大数据量的处理力不足,学习曲线比较陡峭。Python 适用性强,可以将分析的过程脚本化。所以,如果你想在这一领域有所发展,学习 Python 也是相当有必要的。
当然其他编程语言也是需要掌握的。要有独立把数据化为己用的能力, 这其中SQL 是最基本的,你必须会用 SQL 查询数据、会快速写程序分析数据。当然,编程技术不需要达到软件工程师的水平。要想更深入的分析问题你可能还会用到:Exploratory analysis skills、Optimization、Simulation、Machine Learning、Data Mining、Modeling 等。业务理解
对业务的理解是数据分析师工作的基础,数据的获取方案、指标的选取、还有最终结论的洞察,都依赖于数据分析师对业务本身的理解。
对于初级数据分析师,主要工作是提取数据和做一些简单图表,以及少量的洞察结论,拥有对业务的基本了解就可以。对于高级数据分析师,需要对业务有较为深入的了解,能够基于数据,提炼出有效观点,对实际业务能有所帮助。对于数据挖掘工程师,对业务有基本了解就可以,重点还是需要放在发挥自己的技术能力上。逻辑思维
对于初级数据分析师,逻辑思维主要体现在数据分析过程中每一步都有目的性,知道自己需要用什么样的手段,达到什么样的目标。对于高级数据分析师,逻辑思维主要体现在搭建完整有效的分析框架,了解分析对象之间的关联关系,清楚每一个指标变化的前因后果,会给业务带来的影响。对于数据挖掘工程师,罗辑思维除了体现在和业务相关的分析工作上,还包括算法逻辑,程序逻辑等,所以对逻辑思维的要求也是最高的。数据可视化数据可视化主要借助于图形化手段,清晰有效地传达与沟通信息。听起来很高大上,其实包括的范围很广,做个 PPT 里边放上数据图表也可以算是数据可视化。
对于初级数据分析师,能用 Excel 和 PPT 做出基本的图表和报告,能清楚地展示数据,就达到目标了。对于稍高级的数据分析师,需要使用更有效的数据分析工具,根据实际需求做出或简单或复杂,但适合受众观看的数据可视化内容。协调沟通
数据分析师不仅需要具备破译数据的能力,也经常被要求向项目经理和部门主管提供有关某些数据点的建议,所以,你需要有较强的交流能力。
③ 我想转行做数据分析师,怎么入门
需要一定的知识储备和对业务的基本了解及运用。对于希望转行数据分析的零基础小白们,在对于进入数据分析行业需要学什么、数据分析行业薪酬待遇如何、如何更好地掌握数据分析领域的技能,都是一脸茫然。因此本文给出一些建议,针对想要转行数据分析行列且是零基础转行的小伙伴们。
注意事项:
1、互联网本身具有数字化和互动性的特征,这种属性特征给数据搜集、整理、研究带来了革命性的突破。以往“原子世界”中数据分析师要花较高的成本(资金、资源和时间)获取支撑研究、分析的数据,数据的丰富性、全面性、连续性和及时性都比互联网时代差很多。
2、与传统的数据分析师相比,互联网时代的数据分析师面临的不是数据匮乏,而是数据过剩。因此,互联网时代的数据分析师必须学会借助技术手段进行高效的数据处理。更为重要的是,互联网时代的数据分析师要不断在数据研究的方法论方面进行创新和突破。
3、就行业而言,数据分析师的价值与此类似。就新闻出版行业而言,无论在任何时代,媒体运营者能否准确、详细和及时地了解受众状况和变化趋势,都是媒体成败的关键。
4、此外,对于新闻出版等内容产业来说,更为关键的是,数据分析师可以发挥内容消费者数据分析的职能,这是支撑新闻出版机构改善客户服务的关键职能。
④ 如何提高数据分析师的业务知识
很多数据分析师都认为学好数据分析的技能就足够了,于是就把所有的精力放在了数据分析的知识上,从而忽略了数据分析师的业务知识。说真的,一个优秀的数据分析师不会忽略业务知识,这是因为数据分析师针对业务而进行工作的,如果脱离了业务,那么数据分析工作就没有了灵魂,或者数据分析的准确性就容易遭受质疑,那么如何提高数据分析师的业务知识呢?下面就由小编为大家解答一下这个问题。
其实数据分析知识中的业务知识有很多,不过确实很简单的,一般有很多种方式,需要大家随时随地的进行业务学习,我们可以多多的向业务部门的同事去请教,通过沟通的方式和业务部门汲取经验,有的人会担心业务部门怕自己的知识储备泄露不会传授知识,也就是怕业务部门怕自己教会徒弟饿死师傅而拒绝自己,其实这种想法是多余的,首先业务部门和数据分析部门并没有什么利益冲突,只要有一颗虚心请教的心,就可以学到知识。
我们还可以通过网络进行搜集知识,在一些行业的网站上搜索一些关键字,并且关心行业发生了什么以及竞争对手都发展了什么,当然,不能只是看,需要和公司的业务数据结合起来,这样才能够学到一点业务的知识。当然,我们还要多多带来观察各种数据分析的案例,通过里面的内容汲取经验和知识,这样我们才能够不断的提高自己。
如果有条件的话,我们可以多多的往一线跑,如果多多的向一线的客户沟通,这是提升业务知识的最好方法。这些就是实践性的学习知识,一般来说,实践出真知,我们还要经常走出办公室,多多去交流,去实践。数据分析做为数据分析师们单独的技能,但是并不能体现其作用,需要同实际业务相结合,才能发挥出最大的价值。
由此可见,业务知识是一个非常重要的技能。通过上面的描述想必大家看了这篇文章以后已经知道了如何提高业务知识了吧,大家在进行学习数据分析知识的时候一定不能忘了或者忽视了业务知识的学习,只有重视业务知识,才能够做好每一次的数据分析工作。希望这篇文章能够给大家带来帮助。
⑤ 数据分析需要掌握些什么知识
要想成为一名专业的数据分析师,就需要满足数据分析师的职业要求。数据分析师的职业要求可以总结为以下几个方面。
(1)掌握统计相关的数学知识
和统计相关的数学知识是数据分析师需要具备的基础知识,数据分析师可以根据自己的能力和水平学习相关的统计学知识,初级数据分析师和高级数据分析师需要对统计学知识掌握的程度是不一样的。
如果你是初级数据分析师,了解一些描述统计相关的基础内容,有一定的公式计算能力就可以,如果了解常用的统计模型算法那会是你的加分项。
对高级数据分析师来说,只了解基础的统计学知识是不够的。统计模型的相关知识是高级数据分析师必备的能力,最好对线性代数(主要是矩阵计算相关知识)也有一些了解。
“工欲善其事,必先利其器”,要成为一名合格的数据分析师,会使用数据分析工具非常重要。这里所说的工具也就是数据分析软件,例如Excel、SPSS、SAS等。由于Excel通用性强、使用门槛低、功能强大,所以深受数据分析人员的喜爱,也是数据分析师必须掌握的一个数据分析工具,本书所涉及的数据分析内容均使用Excel进行讲解。当然,数据分析师也可以根据自己的能力选择性的掌握SPSS和SAS等进行高级数据分析的工具。
对于初级数据分析师来说,掌握Excel是硬性要求,必须能熟练使用数据透视表和公式,会使用VBA(一种宏语言)的话则是你的加分项。
对于高级数据分析师来说,使用数据分析工具是核心能力。VBA是必备技能,至少熟练使用SPSS/SAS/R其中的一种,可以根据具体情况选择掌握其他分析工具(MATLAB)。
不过,电商数据分析人员除了掌握Excel、SPSS和SAS等本地软件外,还需要掌握像生意参谋、京东商智等专门的电商数据获取和分析工具。
(3)理解业务
对业务的理解是数据分析师所有工作的基础,无论是数据获取方案、指标的选取还是得出最终结论,都依赖于数据分析师对业务本身的理解。
但是要学习和掌握业务知识需要长时间的积累,成为业务专家非常不易,数据分析师则是在业务专家之上的更深层次的思考和总结,否则在数据分析工作中谁指导谁都是个问题。
学习业务知识的方法有很多,以前的分析报告和取数案例都可以拿来研究,当然这也是一个循序渐进的过程。
(4)掌握数据分析方法
做数据分析一定要了解数据分析的方法、应用场景、使用过程以及优缺点,能够根据具体情况在实际工作中灵活应用,确保数据分析工作能够有效开展。
基本的数据分析方法有:平均分析法、分组分析法、对比分析法、交叉分析法、结构分析法、综合评价分析法、矩阵关联分析法等。
高级的数据分析方法包括:聚类分析法、回归分析法、类别分析法、因子分析法、对应分析法等。在做数据分析时,应该在明确目的的前提下选择适合的分析方法。
(5)了解基本设计原则
数据分析师需要通过图表把自己的分析结论和观点展现出来,根据相关的设计原则对图表进行调整,可以使数据分析结果一目了然。