Ⅰ 什么是大数据及大数据技术
别再忽视大数据了，努力固然重要，但是把握住时代发展潮流，选择好方向也必不可少，甚至更重要。
目前企业提供的大数据岗位按照工作内容要求，可以分为以下几类：
①初级分析类，包括业务数据分析师、商务数据分析师等。②挖掘算法类，包括数据挖掘工程师、机器学习工程师、深度学习工程师、算法工程师、AI工程师、数据科学家等。③开发运维类，包括大数据开发工程师、大数据架构工程师、大数据运维工程师、数据可视化工程师、数据采集工程师、数据库管理员等。④产品运营类，包括数据运营经理、数据产品经理、数据项目经理、大数据销售等。
大数据本身是一个抽象的概念。从一般意义上讲，大数据是指无法在有限时间内用常规软件工具对其进行获取、存储、管理和处理的数据集合。
目前，业界对大数据还没有一个统一的定义，但是大家普遍认为，大数据具备 Volume、Velocity、Variety 和 Value 四个特征，简称“4V”，即数据体量巨大、数据速度快、数据类型繁多和数据价值密度低，如图 1 所示。下面分别对每个特征作简要描述。
1）Volume：表示大数据的数据体量巨大。
数据集合的规模不断扩大，已经从 GB 级增加到 TB 级再增加到 PB 级，近年来，数据量甚至开始以 EB 和 ZB 来计数。
例如，一个中型城市的视频监控信息一天就能达到几十 TB 的数据量。网络首页导航每天需要提供的数据超过 1-5PB，如果将这些数据打印出来，会超过 5000 亿张 A4 纸。图 2 展示了每分钟互联网产生的各类数据的量。
2）Velocity：表示大数据的数据产生、处理和分析的速度在持续加快。
加速的原因是数据创建的实时性特点，以及将流数据结合到业务流程和决策过程中的需求。数据处理速度快，处理模式已经开始从批处理转向流处理。
业界对大数据的处理能力有一个称谓——“ 1 秒定律”，也就是说，可以从各种类型的数据中快速获得高价值的信息。大数据的快速处理能力充分体现出它与传统的数据处理技术的本质区别。
3）Variety：表示大数据的数据类型繁多。
传统 IT 产业产生和处理的数据类型较为单一，大部分是结构化数据。随着传感器、智能设备、社交网络、物联网、移动计算、在线广告等新的渠道和技术不断涌现，产生的数据类型无以计数。
现在的数据类型不再只是格式化数据，更多的是半结构化或者非结构化数据，如 XML、邮件、博客、即时消息、视频、照片、点击流、 日志文件等。企业需要整合、存储和分析来自复杂的传统和非传统信息源的数据，包括企业内部和外部的数据。
4）Value：表示大数据的数据价值密度低。
大数据由于体量不断加大，单位数据的价值密 度在不断降低，然而数据的整体价值在提高。以监控视频为例，在一小时的视频中，有用的数据可能仅仅只有一两秒，但是却会非常重要。现在许多专家已经将大数据等同于黄金和石油，这表示大数据当中蕴含了无限的商业价值。
通过对大数据进行处理，找出其中潜在的商业价值，将会产生巨大的商业利润。
Ⅱ 数据分析需要掌握些什么知识
我们先从整体上了解数据分析师要掌握的技能有哪些，然后再从具体职位类别来看，不同的职位具体要掌握的技能有哪些。
这样你就能根据自己的实际情况，有针对性的准备和学习。
一、数据分析的胜任力模型是什么？
从整体上来看，数据分析师需要掌握的能力有很多，从总体上可以分为以下几类，这些能力构成了数据分析师的能力模型。
1）理论基础，包括统计学
2）数据分析工具，常用的分析工具有 Excel，SQL，Python 等
3）可视化工具，常用的有 Excel，商业智能(Business Intelligence,BI)
4）业务知识，包括常用的指标、某行业的业务流程
5）数据分析思维，包括常用的分析方法
6）通用能力，包括 PPT、沟通能力
下面我们来详细看下每一种能力的要求。
理论基础：统计学
数据分析背后的理论基础是统计学。所以，掌握了统计学以后我们才能去看懂数据表达的意义是什么。举个例子，给你一家公司员工的工资，是平均值能代表这家公司的工资水平，还是中位数能代表？
如果没学过统计学，那么可能只认识这里的平均值，而不知道中位数这个知识。但是，如果你学过了统计学就会知道，中位数比平均值更能反映出数据的集中表现。
统计学的内容比较多，详细又可以分为两类内容：描述统计分析、推论统计分析。
什么是描述统计分析？
对大量信息进行归纳是处理数据时最基本的任务。中国约有 14 亿人，一张记录每位中国人的姓名和收入的电子表格包含了我们衡量这个国家经济健康状况所需的所有信息，通常我们也将多个数据集合在一起的东东叫“简称数据集”。但这张信息过量的表格其实相当于什么都没有告诉我们。这就是让人觉得讽刺的地方：经常是数据越多，事实越模糊。
因此，我们需要简化，将一系列复杂的数据减少为几个能够起到描述作用的数字，正如奥运会体操比赛中，我们将一套多难度组合的复杂动作浓缩为一个得分：9.8 分。
描述统计分析就是将一系列复杂的数据减少为几个能够起到描述作用的数字，用这些有代表性的数字来代表所有的数据。这样在面对一大堆数据时，你可在不知道所有数据的情况下就能知道数据的整体情况。
这就好比，我们通常一说起美女，能想到的是这样几个指标：长腿，大眼睛，脸蛋好看。虽然全国有那么多美女，你也没有见过全部的美女，但是你却能通过这样几个代表美女的指标就可以大概知道什么是美女。
同样的，描述统计学的关键点在于，找到几个关键的数字来描述数据的整体情况。那么，问题就来了，能担当起这样重要责任的数字有哪些呢？描述数据的整体情况，我们可以用 4 个指标来做，分别是：平均值、四分位数、标准差和标准分。例如，前面我们在拿到工资数据，就可以用“中位数”这样的数字来描述工资的整体情况。
所以，描述统计分析就是掌握 4 个指标：平均值，四分位数，标准差和标准分。
什么是推论统计分析？
推论统计分析就是通过样本来推断出总体。需要掌握的知识包括概率分布、中心极限定、如何用样本估计总体、置信区间、假设检验。例如，互联网常用的 AB 测试背后的原理就是假设检验，如果不掌握推论统计分析，那么连 AB 测试的结果也看不懂，更不用说完成一个 AB 测试实验。
2.数据分析工具
很多人看到现在 Python 很火，就不管自己的能力水平如何，就一头扎进学习 Python 的大潮，最后发现其实自己学不会，或者学完用不上。
这其实是不对的，真正工作里最常用的数据分析工具其实是 Excel，SQL。所以，如果你的零基础，不建议一上来就学 Python，而是先学会 Excel 分析数据，然后学会 SQL。
这样你学会了常用的分析工具，然后再学 Python 才是加分项。同时，这样学习的顺序还有一个好处，如果你是零基础没学过编程，一上来学 Python，大概率是学不会的。但是如果你学过用 Excel、SQL 处理数据，那么就具备了一定的基础，再学 Python，很多概念就会理解起来比较容易。
这就好比，一个婴儿不是一上来就学习跑步（Python），而是先把走路学会，具备了走路（Excel、SQL）的基础，再跑步就容易多了。
需要注意的是，除非是工作必须要求的，其他少部分公司用的工具其实不需要学习。比如有些公司要求其他编程语言，例如 R、SPSS、SAS 这些工具。
现在 Pyhon 已经是人工智能排名第一的编程语言了，大部分公司要求 Python，很少部分的公司要求其他的编程语言，所以学习市场要求最多的那个技能才能找到更多机会。如果你学习了少部分公司才要求的工具，那么意味着你找工作或者跳槽只能选择这些公司，而会错失其他大部分公司的求职机会，对你整个职业生涯不利。
TIOBE 编程语言排行榜是全球编程语言流行趋势的一个指标，每月更新，官网地址（https://www.tiobe.com/tiobe-index）。下图是 2021 年 2 月份排名前 10 的编程语言的变化图，其中橙色曲线是 Python，我们会发现 Python 的流行趋势越来越高。
3.可视化工具
常用的可视化工具包括 Excel、商业智能（BI）。
一般的可视化图表用 Excel 里的图表功能就可以实现，而且使用起来也方便。如果是要经常做报表，并且要求实现报表自动化，那么就需要用到商业智能（BI）工具。
那什么是商业智能(BI)呢？
微软官方给的定义是“使用用于自助服务和企业商业智能 (BI) 的统一、可扩展平台（该平台易于使用，可帮助获取更深入的数据见解），连接到任何数据并对数据进行可视化。 ”
毫无悬念，看这种官方定义就是看不懂。简单来说就是把数据导入商业智能(BI)工具中，就可以快速对数据可视化。例如下图就是把数据导入用商业智能(BI)工具中，通过可视化数据来分析。
IDC《2019 年下半年中国商业智能软件市场数据跟踪报告》显示，在中国商业智能软件子市场中，报表分析仍是目前市场最主要的需求，2019 年全年年市场份额占比为 79.0%。高级分析和预测分析市场份额占比 21.0%（下图）。
常用的商业智能（BI）工具有哪些呢？
目前使用最多的商业智能（BI）工具是 Power BI、Tableau、帆软，选择其中任意一种学习就可以了。
4.业务知识
因为数据分析是用来解决具体行业问题的，需要从业务的角度出发，了解各个指标，以及每个指标之间的关系，还需要联系业务去理解数据。所以，工作中数据分析脱离不了业务，在分析中要找到导致问题发生的根本原因，而不只是单纯的统计数据。
因此需要具备某个行业的业务知识才能去理解这个行业里的术语、业务问题等。
业务知识包括某个行业的常用指标、业务流程。需要注意的是，不同行业的指标、业务流程是不一样的，所以需要学习的时候针对你的目标行业去学习准备。例如，下图分别是金融信贷行业、在线教育行业的业务流程。
金融信贷行业业务流程（来自书《数据分析思维》）
在线教育业务流程（来自书《数据分析思维》）
如果是刚入门，这块内容做到了解即可，等进入工作以后，再慢慢深入业务，积累业务经验。具体某个行业的常用指标、业务流程可以看书《数据分析思维》，这本书里涉及了 10 多个行业的指标、业务流程。
5.数据分析思维
在数据分析相关的职位里经常会写这么一条招聘要求“具备数据分析思维”。在工作或者面试中，会经常听到分析思维、分析思路、分析方法。这三个词语有什么关系呢？其实简单来说，它们都是指分析方法。
数据分析思维需要你掌握 10 种常用的分析方法。
数据分析 10 种常用的分析方法
如果你的分析目的是想将复杂问题变得简单，就可以使用逻辑树分析方法，例如经典的费米问题就可以用这个分析方法。
如果你的分析目的是做行业分析，那么就可以用 PEST 分析方法，例如你想要研究中国少儿编程行业。
如果你想从多个角度去思考问题，那么就可以用多维度拆解分析方法，例如找相亲对象，需要从多个角度去分析是否合适。
如果你想进行对比分析，就要用到对比分析方法，例如你朋友问自己胖吗，就是在对比。
如果你想找到问题发生的原因，那么就要用到假设检验分析方法，其实破案剧里警察就是用这个方法来破案的。
如果你想知道 A 和 B 有什么关系，就要用到相关分析方法，例如豆瓣在我们喜欢的电影下面推荐和这部分电影相关的电影。
如果你想对用户留存和流失分析，就要用到群组分析方法，例如微博用户留存分析。
如果你想对用户按价值分类，那么就要用到 RFM 分析方法，例如信用卡的会员服务，就是对用户按价值分类，对不同用户使用不同的营销策略，从而做到精细化运营。
如果你想分析用户的行为或者做产品运营，就要用到 AARRR 模型分析方法，例如对拼多多的用户进行分析。
如果你想分析用户的转化，就要用到漏斗分析方法，例如店铺本周销量下降，想知道是中间哪个业务环节出了问题。
6.通用能力
通用能力包括 PPT 制作分析报告、沟通能力。
在工作中，要经常做分析结果做成数据分析报告，然后展示给业务部门、上级领导、客户等，而这种展示数据分析报告的场景常用的工具就是 PPT，所以就要求你会用 PPT 制作数据分析报告，有较好的的文字、书面总结能力。
职业社交网站领英发布的《2018 新兴工作岗位报告》报告里说，最大的技能缺口是软技能，比如口头交流、领导力和时间管理等。这份报告中建议，职场人士需要在快速变化的工作环境中，学习并保持软技能，因为拥有这些技能的人才具备更大的职场优势。
其实，任何职位都需要沟通能力，但是，数据分析师对沟通能力的要求更高。因为，数据分析师解决的是实际的问题，需要跨部门沟通业务，做好的数据分析报告也要展示给各个部门、领导、客户，只有好的沟通能力，才能让你的分析结果得到用户的认可。 那么这些通用能力如何提升呢？最直接的方式，就是通过写文章来提升。
通过写作可以同时提升你下面 3 个能力：
1）逻辑能力
写作的本质其实是把一件事情讲清楚，而逻辑能力强的人写出来的内容，读起来更顺畅。
2）文字表达能力
数据分析师要经常做数据分析报告，和通过邮件汇报分析结果。这体现的其实就是文字表达能力，提高这个能力的办法就是不断去写作。
3）沟通能力
写作其实就是把想说的话通过文字和你的用户去沟通。另外，经常在社群里提问和解答他人的问题，也可以提高你的沟通能力。你会看到不同人提问的水平是不一样的，有的人可以完整的把一个问题描述清楚，有的人说完，其他人也不明白他的问题是什么。这其实就是体现了沟通能力。
二、不同职位的数据分析能力要求有什么不一样？
经过前面的分析，我们从整体上知道了数据分析师需要掌握的能力。但并不是说，这些能力全都掌握了你才能找到一份数据分析师的工作。因为不同的职位的要求不一样的。在《职业发展前景：数据分析师的晋升通道》章节我们知道了数据分析相关职位的分类。
我把胜任力模型中的这些能力对应到不同的职位，就可以清楚的看到对应职位的能力要求（下图）。
有一个误区，很多人以为只要掌握了分析工具，就掌握了数据分析，其实不是的。从图中，我们可以看出。各个数据分析职位都需要的能力是：业务知识、分析思维、PPT、沟通能力。这些能力才可以让你从一个只会舞弄工具的普通职场人变成真正解决业务问题的职场高手。
很多人以为数据分析师需要掌握很高大的工具，其实不是的。例如腾讯里有一个岗位叫“商业数据分析师”，这听起来很高大上。其实这个职位对应的就是上图初级数据分析师的能力要求，也就是理论基础（描述统计分析），分析工具（Excel），可视化工具（Excel）。
上图中黄色标出的是相对于前一职位多出来的能力。中级数据分析师在初级数据分析师要求的能力上增加了分析工具（SQL），可视化工具（商业智能 BI）。高级数据分析师在中级数据分析师要求的能力上增加了理论基础（推论统计分析），分析工具（Python）。
Excel、SQL、Python 要掌握到什么程度？
我们知道了数据分析师最常用的分析工具是 Excel、SQL、Python。那么问题就来了，这些分析工具具体掌握哪些内容呢？
Ⅲ excel里的数据分析相关性，方差分析的各个指标是什么含义
我想你的第一个表里面的东西什么含义不用我说了吧？下面我来说说第二个表--方差分析
SS代表离均差平方和，组间SS反映各组数据的差异性，其值等于两列各自和的平方除以各自列内数据个数的和，再减去两列的总和的平方除以总个数，比如你上面930*930/18+897*897/18-(930+897)*(930+897)/36=29.866；组内SS反映组内数据的变异情况，其值等于总SS-组间SS;总SS的算法是两列中每个数据的平方和减去两列数据的总和的平方除以两列数据的总个数；
df叫做自由度，组间df=列数-1，组内df=数据个数-列数
MS代表均方，这可以代替离均差平方和以消除各组内数据个数不同产生的影响，其值=SS/df
F值是组间均方除以组内均方得到，F值与1比较若接近1，说明组间的差异不具有统计学意义，若F远大于1，说明组间差异具备统计学意义（F值越大代表两组数据越不相关）
F crit是一个特定值，这个值可以通过查阅F界值表得到，一旦你的组数和组内数据个数确定，F crit值也就一定了（所谓特定值就这个意思）
P-VALUE检验假设成立条件下F值大于F crit的概率，不懂可以去学统计学的F检验