㈠ 怎么培养数据分析的能力
数据分析需要哪些思维/能力/知识呢?
比如,数据分析思维、结构化思维、公式化思维、学法体系的思维.......这些思维帮助你,即使碰到自己不熟悉的问题,也能从一定的角度切入分析并保持清晰的逻辑;
一定的业务理解能力,能理解业务背后的商业思路。只有理解问题,才能转换成数据分析的问题,才知道如何设定分析目标并进行分析;
基础理论知识:数理统计、模型原理、近期市场的调研等;
常规分析工具的使用:常用办公软件(Excel、PPT、思维导图)、数据库、统计分析工具、数据挖掘等;
数据报告和数据可视化的能力。数据分析得再好,如果不能以简洁易懂的方式“表达”,成效也会大打折扣。
等等等,诸如此类的基本知识能力贮备......
那么想要提升这些能力该做点什么呢?下面具体来说说怎么做能把这些基础实力打好。
从分析理论和工具实践着手
1、分析理论
分析理论包括:明确业务场景、确定分析目标、构建分析体系和梳理核心指标。
我们要做的就是,首先明确是什么样的业务场景,不同的业务,分析体系也随之不同;然后,结合业务问题确定分析的目标,列出核心指标,再搜集整理所需要的数据。
推荐书籍:《数据化管理》、《决战大数据 》
数据分析的几个步骤:
(1)数据获取
数据获取往往看似简单,但是它需要分析者对问题进行商业理解,即转化成数据问题来解决,如,需要哪些数据,从哪些角度来分析等,在界定了这些问题后,再进行数据采集。
此环节,需要数据分析师具备结构化的逻辑思维。
推荐书籍:《金字塔原理》、麦肯锡三部曲:麦肯锡意识、工具、方法
推荐工具:思维导图工具(Xmind网络脑图等)
(2)数据处理
数据的处理需要掌握有效率的工具:
Excel及高端技能:
基本操作、函数公式、数据透视表、VBA程序开发。
我一般会先过一遍基础,知道什么是什么,然后找几个case练习。多逛逛excelhome论坛,平常多思考如何用excel来解决问题,善用插件,还有记得保存。
专业的报表工具:
(成规模的企业会用)日常做报表可以设计一个通用模板,只要会写SQL就可上手。
相比excel做报表,这种工具开发的技术要求较低,能很快地开发常规报表、动态报表。
数据库的使用:
熟练掌握SQL语言(很重要!!!),常见的有Oracle、SQL sever、My SQL等。
学习流行的hadoop之类的分布式数据库来提升个人能力,对求职等都会有所帮助。
(3)分析数据
分析数据往往需要各类统计分析模型,如关联规则、聚类、分类、预测模型等等。
因此,熟练掌握一些统计分析工具不可免:
lPSS系列:老牌的统计分析软件,SPSS Statistics(偏统计功能、市场研究)、SPSS Modeler(偏数据挖掘),不用编程,易学。
SAS:经典挖掘软件,需要编程。
R:开源软件,新流行,对非结构化数据处理效率上更高,需编程。
各类BI工具:Tableau、PowerBI、FineBI,对于处理好的数据可作自由的可视化分析,图表效果惊人。
推荐书籍:
《说菜鸟不会数据分析》系列,入门级书,初学者最适。
《数据挖掘与数据化运营实战,思路、方法、技巧与应用》,内容很系统很全面。
《市场研究定量分析方法与应用》,简明等编着,中国人民大学出版社。
(4)数据可视化呈现
很多数据分析工具已经涵盖了数据可视化部分,这时就只需要把数据结果进行有效的呈现和演讲汇报即可,可用word\PPT\H5等方式展现。
2、工具实践
(1)对于入门小白,建议从Excel工具入手,这里以Excel为例:
学习Excel是一个循序渐进的过程:
基础的:简单的表格数据处理、打印、查询、筛选、排序
函数和公式:常用函数、高级数据计算、数组公式、多维引用、function
可视化图表:图形图示展示、高级图表、图表插件
数据透视表、VBA程序开发......
多逛逛excelhome论坛,平常多思考如何用excel来解决问题,学习用各种插件,对能够熟练使用Excel都有帮助。
其中,函数和数据透视表是两个重点。
函数
制作数据模板必须掌握的excel函数:
日期函数:day,month,year,date,today,weekday,weeknum 日期函数是做分析模板的必备,可以用日期函数来控制数据的展示,查询指定时间段的数据。
数学函数:proct,rand,randbetween,round,sum,sumif,sumifs,sumproct
统计函数:large,small,max,min,median,mode,rank,count,countif,countifs,average,averageif,averageifs 统计函数在数据分析中具有举足轻重的作用,求平均值,最大值,中位数,众位数都用得到。
查找和引用函数:choose,match,index,indirect,column,row,vlookup,hlookup,lookup,offset,getpivotdata 这几个函数的作用不用多说,特别是vlookup,不会这个函数基本上复杂报表寸步难行。
文本函数:find,search,text,value,concatenate,left,right,mid,len 这几个函数多半用在数据整理阶段使用。
逻辑函数:and,or,false,true,if,iferror
(以上学会,基本能秒杀90%的办公室白领!)
数据透视表
数据透视表的作用是把大量数据生成可交互的报表,它具有这样一些重要功能:分类汇总、取平均、最大最小值、自动排序、自动筛选、自动分组;可分析占比、同比、环比、定比、自定义公式等
现实中,取数或报表+EXCEL+PPT似乎还是主流形式。
工具上,无论是业务人员还是分析人员,都可以通过自动取数工具或者BI工具来制作报表,减少重复操作的时间。
其次,增加与业务人员的沟通,充分了解业务需求,当你的业务水平和他们差不多甚至更高时,自然而然知道他们一言两语背后真实的需求是什么了。
最后,站在更高角度上,报表的基本粒度就是指标,可梳理出企业的基本指标体系,从经营分析的角度去做报表,把报表的工作标准化,降低报表的冗余,避免动不动就做一张报表。标准化包括指标分类,指标命名,业务口径,技术口径,实现方式等等。其实,最终目的是实现报表数据一致性,减少重复报表开发,降低系统开销的战略性举措。
在业余时间,可以多补充数理统计知识,学习R、Python语言,学习常用的挖掘模型,往高级分析师路上发展!
一起加油鸭!
以上,就是今天的分享,数据分析能力听起来很大很抽象,虽是软实力但却是行业的硬要求!量变引起质变,一步步来,才能做到触类旁通,做起项目才会越来越顺手。
㈡ 数据分析师做成了提数工程师,该如何破局
最近收到了不少数据分析朋友的吐槽和抱怨:
Title 是数据分析,结果天天做着提数的工作,没有技术含量分析结论都是运营和产品向老板汇报,没自己什么事别人家的数据分析都是各种算法和模型,为什么到了自己就是提数和提数
上面这些情形不管是在大公司还是小公司都是很常遇见的,如果你经常处于类似的工作状态下,那么一定时间后,你将失去两项核心竞争力:技术深度和业务深度。
本文聊一下三个内容:
为什么数据分析会变成提数工程师
数据分析该如何改变提数工程师的命运,充分发挥数据分析的作用
聊一下其它岗位的类似情况
一、为什么成了提数工程师?
为什么做数据分析会变成提数工程师?我们来看一下数据分析的大致工作流程:
1. 问题提出;
2. 数据获取;
3. 数据处理;
4. 数据分析与建模;
5. 数据结论输出。
由于现在大部分互联网公司的产品和运营相对更靠近业务,因此这两个角色更容易发现和提出问题,如果数据分析师的主动性比较弱,那就会变成了如下这样的工作分工:
【产品或运营】问题提出【数据分析】数据获取【数据分析】数据处理【数据分析】数据分析与建模【产品或运营】数据结论输出
也就是说,问题提出 这个重要的环节不属于数据分析师负责,按照上面的模型运行的时间一长,数据分析基本就变成了帮助产品或运营验证想法的工具。
因此我们可以得到第一个原因:问题提出权不在数据分析师,数据分析只能去实现产品和运营的想法!
如果问题不是由数据分析师提出,再加上数据分析师的主动性差一些,那就会变成这种情况:产品或运营提一个需求,分析师就按需求实现一下,不需要思考太多,按需求做就好。这样的结果是,很多分析问题都会很简单,因为产品和运营并不太了解数据分析师能提供的能力。
我们得到第二个原因:产品和运营可能会提出相对简单的问题,数据分析机械去执行即可,不需要过多的技术深度。
在上述两种原因的影响下,数据分析也会逐渐失去主动性,最终沦为提数工具。
二、如何优雅地进行数据分析工作
前面抛出了问题和可能的原因,那么我们该如何去改进呢?毕竟没有谁愿意只做个机械的提数工具的。总的来讲,主观能动性是解决问题的最重要的因素。细分来讲,可以从下面几个角度来改变:
积极主动地发现和提出问题,如果产品或运营已经抛出了问题,那就去深入详细的了解问题的背景提供更多的分析思路和自己的见解,帮助产品和运营同学打开思路,让对方知道数据分析可以提供的能力持续跟进分析结论的效果和反馈,不断改进和优化优化数据分析的流程,加入数据分析师可以更多参与的环节
举个栗子
上面说的太虚,我们举个例子来说明:
需求:
假设运营同学提出了这样一个数据分析需求:最近我们网站的DAU降低了,麻烦你提个数据,看一下近30天我们各个模块的DAU是什么样子的。
解决方案一:
假设我只是想简单地完成这个需求,那么很简单,我只需要做这三件事即可:2. 数据获取;3. 数据处理;4. 数据分析与建模。到这个场景里面,可能就是从数据里面捞一下我们网站数据里面各个模块的DAU情况,提供给运营就行了,不需要多复杂的处理,甚至如果有现成的报表,简单导出来一个excel即可。
那么当运营拿到数据后,就可以看出哪一个模块的DAU降低,简单看一下原因后写在报告里面即可。
解决方案二:
我们当然不希望是上面这种解决方案这么低的参与感。那么,该如何做呢?
首先,我们可以改进我们的分析流程:
问题提出:通过监控或者主观的数据敏感度,提前来发现相应的数据问题,比如DAU下降,是可以通过监控平台来提前发现DAU的下降确定分析目标和产品诉求:需求中只是要看各模块的DAU趋势,但运营同学更想要的是找到为什么整体DAU会下降,找到原因并优化该问题。我们需要和运营童鞋沟通并get相应的点收集假设:运营同学提出要看各模块的DAU,这只是运营提出的一种猜测,让我们提相应的数据去验证该猜测。我们既然知道了运营童鞋的诉求,在盲目地直接捞数据之前,可以提出一些假设,比如说:是不是某种浏览器的兼容出现了问题,是不是某种类型的用户对我们的网站感兴趣度降低了,是不是某个模块出现了问题,等等。设计指标:有了假设,我们就可以根据相应的假设设计一些统计指标或者相应的分析方法,比如看不同用户画像的用户近期的访问情况、不同浏览器用户的访问情况、不同模块的访问情况。设计验证方法和建模:有了假设,有了指标,我们就可以设计相应的方案来验证我们的假设是否正确,这时就可以用到相应统计学和机器学习的方法,当然用户画像也是很重要的一环。确定分析结论和运营策略:最终,根据前面的步骤,我们再提供相应的分析结论给到运营侧,此时,我们提供的就不是简单的一个数据,而是一整套的数据分析报告。效果验证和改进:一定要关注数据分析的效果,比如你的报告中提出了DAU降低是由于18-25岁年龄的用户大量流失,相应的运营策略是增加年轻化的内容,那你就要关注该策略上线前后的数据变化,数据是否按照你们假象的方向来发展,如果不符合预期就要相应的做调整。
如此,这才是相对优雅的数据分析流程。
在改进分析流程之外,我们可以提供更多的自助分析工具,比如BI工具。让产品和运营能够更多地自助验证自己的想法,将数据分析师的工作从提数中解脱。这一块,我之前写过不少用BI工具来做分析的方案,就不再展开细讲。
三、思考
其实,除了数据分析师之外,数据仓库和数据开发同学都会面临类似的困境,在很多分工不明确的公司中,这种提数需求是可以落在任意的数据同学身上,不同的是各个角色解决该问题的角度是不同的。简单来讲:
数据分析师:更多地要去深入到业务的需求中去,帮助产品、运营或者老板思考,通过更多的思考来帮助需求方设计更好的分析思路数据仓库工程师:数仓同学的侧重点更多地在数据模型的设计,设计出更灵活的数据模型来支持多样性的分析提取需求数据开发工程师:开发同学呢,则可以更多地侧重于工具的建设,比如OLAP系统的建设,自助分析工具的建设等等。总结
总结一下本文的内容:本文通过【数据分析师做成了提数工程师,该如何改变这种现状?】 这一个问题,引出了造成这种现象的两大原因:
问题提出权不在数据分析师,数据分析只能去实现产品和运营的想法!产品和运营可能会提出相对简单的问题,数据分析机械去执行即可,不需要过多的技术深度。
针对这两个原因,我们提出了两个解决方法:改进分析流程提供更多的自助分析工具
㈢ 如何做数据分析
数据分析行业应用,一般数据来源:智能手机 感知装置 物联网 社群媒体等 云计算存储.cda官网有很多行业案例,比如
风能发电业务场景
风力发电机有一个叶片,时间长了就要换,否则不安全,过去这个叶片一般10年换一次,因为没办法知道具体产品的使用情况,只能根据以往叶片老化的情况来估算。但这家公司在叶片上装了传感器,就能检测每个叶片的具体使用情况了,风大的地方,叶片老化快,可能8年就要换,风力均匀的地方,有些叶片可能用15年,这样就能节省资本更新的成本了。
而且,过去这家公司只生产设备,这些设备被卖到国外,具体安装到什么地方,他是不知道的,有了传感器,公司就能知道这些发电机被安装到哪里,这些地方的风力是大是小,一年四季哪天有风哪天有雨,这些数据都可以获取。根据这些数据,就能知道哪些地区风力资源丰富,有重点地规划未来市场。传统的行业利用大数据,就能更好地实现市场预判和销售提升,分分钟实现逆袭。
㈣ 数据分析师要学什么来提升自己
想了解数据分析师的职业规划或学习计划,由此来提升自己的技能和专业知识,我觉得最准确最有针对性一个方法就是查阅招聘岗位的工作要求,这样我们就可以有的放矢地好好专研自己的学习。我们看一下以下这条招聘要求:
1.负责大数据平台的规划、分析、设计工作,把握整体架构,进行相关技术方案文档的撰写;
2.负责大数据平台的部署、开发、维护工作;
3.与BI分析人员协作,完成面向业务目标的数据分析模型定义和算法实施工作;
4.承担相关技术领域的探索与储备。
任职要求:
1.大学本科以上学历,熟练掌握C/C++或者JAVA;
2.熟悉各种常用数据结构及算法,对linux下的网络数据库开发有足够经验;
3.有2年以上C++实战经验者优先;
4.有大数据挖据方面经验和技能者优先;如hadoop、hbase、hive等;
5.善于与其他部门的成员沟通、协作。
还有一个招聘要求是:
岗位职责:
1、理解并挖掘用户需求,进行数据建模;
2、利用专业统计、分析工具从海量数据中总结规律、挖掘潜在价值,提供决策依据。
任职要求:
1、数学类、统计类、计算机类、人工智能类相关专业本科及以上学历,2年左右专职数据分析、挖掘经验,优秀的应届硕士也可;
2、良好的数据敏感性,善于从海量数据中提取有效信息进行分析挖掘和建模;
3、熟练掌握任一种分析工具,例SPSS、SAS、R语言、MatLab;
4、熟悉数据库技术,如oracle、SQL、MongoDB;
5、对于数学建模、数据挖掘、Hadoop大数据有经验者优先。
我想,你看到这,应该是对数据分析工程师有了非常明晰的看法,好好加油ba !
㈤ 数据分析师主要做什么
数据分析是干什么的?
在企业里收集数据、计算数据、提供数据给其他部门使用的。
数据分析有什么用?
从工作流程的角度看,至少有5类分析经常做:
工作开始前策划型分析:要分析一下哪些事情值得的做
工作开始前预测型分析:预测一下目前走势,预计效果
工作中的监控型分析:监控指标走势,发现问题
工作中的原因型分析:分析问题原因,找到对策
工作后的复盘型分析:积累经验,总结教训
㈥ 数据分析师常用的数据分析思路
01 细分分析
细分分析是数据分析的基础,单一维度下的指标数据信息价值很低。
细分分析法可以大致分为两类,一类是逐步分析,如:来北京市的访客可分为朝阳和海淀等区;另一类是维度交叉,如:来自付费SEM的新访客。
02 对比分析
对比分析主要是把两个有关联的数据指标进行相互比较,从数量上说明和展现研究对象的规模大小,水平的高低,速度快慢等方面的相对值,然后通过在一样的维度下的指标数据对比,可以发现,找出业务在不同阶段的问题。
03 漏斗分析
转化漏斗分析是数据分析师进行业务分析的基本模型,我们最经常见的就是把最终的转化设置为某种目的的实现,最典型的就是完成交易。但也可以是其他任何目的的实现,比如一次使用app的时间超过10分钟。
04 同期群分析
同期群(cohort)分析在数据分析运营领域相当重要,尤其是互联网运营,特别需要仔细观察留存的情况。通过对性质完全一样的可对比群体的留存情况的比较,来分析哪些因素影响用户的留存。
05 聚类分析
聚类分析具有简单,直观的特征,网站分析中的聚类主要分为:用户,页面或内容,来源。
用户聚类主要体现为用户分群,用户标签法;页面聚类则主要是相似,相关页面分组法;来源聚类主要包括渠道,关键词等。
06 AB测试
增长黑客的一个主要思想之一,是千万不要做一个大又全的东西,相反是需要不断做出能够快速验证的小而精的东西。快速验证,那如何验证呢?主要方法就是AB测试。
07 埋点分析
只有采集了足够的基础数据,才能通过各种分析方法得到需要的分析结果。
通过分析用户行为,并细分为:浏览行为,轻度交互,重度交互,交易行为,对于浏览行为和轻度交互行为的点击按钮等事件,因其使用频繁,数据简单,采用无埋点技术实现自助埋点,即可以提高数据分析的实效性,需要的数据可立即提取,又大量减少技术人员的工作量,需要采集更丰富信息的行为。
08 来源分析
流量红利消失,我们对获客来源的重视度极高,如何有效的标注用户来源,至关重要。
传统分析工具,渠道分析仅有单一维度,要深入分析不同渠道不同阶段效果,SEM付费搜索等来源渠道和用户所在地区进行交叉分析,得出不同区域的获客详细信息,维度越细,分析结果也越有价值。
09 用户分析
众所周知,用户分析是互联网运营的核心环节,通常用到的分析方法有:活跃分析,留存分析,用户分群,用户画像,用户细查等。可将用户活跃细分为浏览活跃,互动活跃,交易活跃等,通过活跃行为的细分,掌握关键行为指标。
10 表单分析
表单分析中的填写表单,这个环节是每个平台与用户交互的必有环节,一份完美的表单设计,对客户转化率的提升有至关重要的作用。
用户进入表单页面,这时候就已经产生了微漏斗,从进入的总共的人数到最后完成,并且成功提交表单人数,这个过程之中,有多少人开始填写表单,填写表单时,遇到了什么困难导致无法完成表单,都影响最终的转化效果。
有关数据分析师常用的数据分析思路的内容,青藤小编就和您分享到这里了。如果您对互联网大数据有着浓厚的兴趣,希望这篇文章可以为您提供帮助。如果您还想了解更多关于大数据、数据分析师的技巧及素材等内容,可以点击本站的其他文章进行学习。
㈦ 数据分析师每天做什么
数据治理流程涉及到多部门多岗位的分工协作,数据分析师在这个流程中也承担了重要的角色。
数据分析师的职责真的不止是分析,除了分析之外,数据分析师需要参与到数据规划、数据采集过程中,而在数据应用过程中也需要完成指标体系、报表体系的建设以及部分临时的数据查询需求。
数据分析师当然也少不了分析,包括了各类活动效果分析、版本变化分析、用户分析、流失分析等等。
一份好的分析报告能够给业务的发展提供多种思路,也是分析师最重要的价值体现。
数据分析师在数据治理流程中需要撰写数据埋点文档、搭建数据指标体系、报表体系以及分析业务问题
㈧ 数据分析需要做什么呀
收集数据
数据分析师的工作第一步就是收集数据,如果是内部数据,可以用SQL进行取数,如果是要获取外部数据,数据的可靠真实性和全面性其实很难保证。在所有获取外部数据的渠道中,网络采集越来越受到大家的关注。网络采集最常用的方法是通过爬虫获取数据,相比较而言,编写爬虫程序获取到的海量数据更为真实、全面,在信息繁荣的互联网时代更为行之有效。如果是分布式系统的大数据,使用Hadoop和Apache Spark两者进行选取和清理。
数据清洗
是整个数据分析过程中不可缺少的一个环节,其结果质量直接关系到模型效果和最终结论。在实际操作中,数据清洗通常会占据分析过程的50%—80%的时间。国外有些学术机构会专门研究如何做数据清洗,相关的书籍也不少。需要进行处理的数据大概分成以下几种:缺失值、重复值、异常值和数据类型有误的数据。
数据可视化
数据可视化是为了准确且高效、精简而全面地传递出数据带来的信息和知识。可视化能将不可见的数据现象转化为可见的图形符号,能将错综复杂、看起来没法解释和关联的数据,建立起联系和关联,发现规律和特征,获得更有商业价值的洞见和价值。在利用了合适的图表后,直截了当且清晰而直观地表达出来,实现了让数据说话的目的。人类右脑记忆图像的速度比左脑记忆抽象的文字快100万倍,这也就是为什么数据可视化能够加深和强化受众对于数据的理解和记忆。
所处行业的数据方向建设和规划
不同行业和领域的侧重点是不同的,对一个领域有了充分的理解和在该领域深入从事的经验,进而体现在数据分析上时,能够更好地发现并定义出实际的问题,也就可以在数据分析之后更符合行业发展规律地去改进问题。
数据报告展示
最可以体现数据分析师价值的点就在于通过数据给业务带来价值。数据分析师作为业务与IT的桥梁,与业务的需求沟通是其实是数据分析师每日工作的重中之重。在明确了分析方向之后,能够让数据分析师的分析更有针对性。如果没和业务沟通好,数据分析师就开始撸起袖子干活了,往往会是白做了。最后结果的汇总体现也非常重要,不管是PPT、邮件还是监控看板,选择最合适的展示手段,将分析结果展示给业务团队。