❶ 数据分析常见的犯错问题有哪些
1、分析目标不明确
“海量的数据其实并不能产生海量的财富”,许多数据分析人员由于没有制定清晰的分析目标,常常在海量数据中混乱,要么是收集了错误的数据,要么收集的数据不够完整,这会导致数据分析的结果不够准确。
2、收集数据时产生误差
当我们捕获数据的软件或硬件出错时,就会出现一定的误差。例如,使用日志与服务器不同步,则可能丢失移动应用程序上的用户行为信息。同样,如果我们使用像麦克风这样的硬件传感器,我们的录音可能会捕捉到背景噪音或其他电信号的干扰。
3、样本缺乏代表性
在进行数据分析时,一定要有可信的数据样本,这是确保数据分析结果靠不靠谱的关键,如果数据样本不具代表性,终分析的结果也就没有价值。因此,对于数据样本,也要求完整和全面,用单一的、不具代表性的数据来代替全部数据进行分析,这种片面的数据得到的分析结果有可能完全是错误的。
4、相关关系和因果关系混乱
大部分的数据分析人员在处理大数据时假设相关关系直接影响因果关系。使用大数据来理解两个变量之间的相关性通常是一个很好的实践方法,但是,总是使用“因果”类比可能导致虚假的预测和无效的决定。要想实现数据分析的好效果,必须理解相关关系和因果关系两者的根本区别。相关关系往往是指同时观察X和Y的变化,而因果关系意味着X导致Y。在数据分析中,这是两个完全不同的事情,但是许多数据分析人员往往忽视了它们的区别。
5、脱离业务实际
一个专业的数据分析人员,必须非常熟悉所分析项目的行业情况、业务流程以及相关知识,因为数据分析的终结果是解决项目中存在的问题,或者给行业的决策者提供参考意见。如果不能很好地将业务知识和数据分析工作结合起来,脱离业务实际而只关心数据,在这种情况下得到的分析结果将不具有参考价值。
关于数据分析常见的犯错问题有哪些,青藤小编就和您分享到这里了。如果您对大数据工程有浓厚的兴趣,希望这篇文章可以为您提供帮助。如果您还想了解更多关于数据分析师、大数据工程师的技巧及素材等内容,可以点击本站的其他文章进行学习。
❷ 大数据分析要避免常犯的5个错误
大数据分析要避免常犯的5个错误
人们常常自我陶醉于做出了几张漂亮的图标或者PPT。这些总结性的表达看上去很令人振奋,但我们不应该基于这些肤浅的总结来做决策,因为这些漂亮的总结性陈述并不能真正反映问题的实质。
就算了解数据分析,聪明人在进行数据分析时,也会犯错。下面5个错误就是聪明人也常犯的5个错误:
1.走得太快,没空回头看路。
初创公司里的人们仿佛一直在被人念着紧箍咒:“要么快要么死,要么快要么死。”他们是如此着急于产品开发,以至于他们常常没有空想用户对产品的具体使用细节,产品在哪些场景怎么被使用,产品的哪些部分被使用,以及用户回头二次使用产品的原因主要有哪些。而这些问题如果没有数据难以回答。
2.你没有记录足够的数据。
光给你的团队看呈现总结出来的数据是没有用的。如果没有精确到日乃至小时的变化明细,你无法分析出来数据变化背后看不见的手。如果只是粗放的,断续的统计,没有人可以解读出各种细微因素对于销售或者用户使用习惯的影响。
不要害怕量大。对于初创企业来说,大数据其实还是比较少见的事情。如果正处于初创期的你果真(幸运地)有这样的困扰,可以使用Hadoop平台。
3.其实你的团队成员常常感觉自己在盲人摸象。
许多公司以为他们把数据扔给Mixpanel,Kissmetrics,或者GoogleAnalytics就够了,但他们常常忽略了团队的哪些成员能真正解读这些数据的内在含义。你需要经常提醒团队里面每一位成员多去理解这些数据,并更多地基于数据来做决策。要不然,你的产品团队只会盲目地开发产品,并祈祷能踩中热点,不管最终成功还是失败了都是一头雾水。
举个栗子。有天你决定采用市场上常见的病毒营销手段吸引新用户。如你所愿,用户量啪啪啪地上来了。可此时你会遇到新的迷茫:你无法衡量这个营销手段对老用户的影响。人们可能被吸引眼球,注册为新用户,然后厌倦而不再使用。你可能为吸引了一帮没有价值的用户付出了过高的代价。而你的产品团队可能还在沾沾自喜,认为这个损害产品的营销手段是成功的。
4.目光短浅。
任何一个好的数据分析框架在设计之初都必须满足长期使用的需要。诚然,你总是可以调整你的框架。但数据积累越多,做调整的代价越大。而且常常做出调整后,你需要同时记录新旧两套系统来确保数据不会丢失。
因此,我们最好能在第一天就把框架设计好。其中一个简单粗暴有效地方法就是所有能获取的数据放在同一个可延展的平台。不需要浪费时间选择一个最优解决方法,只要确认这个平台可以装得下所有将来可能用到的数据,且跨平台也能跑起来就行了。一般来说这样的原始平台能至少支撑一到两年。
5.过度总结
虽然说这个问题对于拥有大数据分析团队的公司来说更常见,初创公司最好也能注意避免掉。试想一下,有多少公司只是记录平均每分钟多少销售额,而不是具体每一分钟销售了多少金额?在过去由于运算能力有限,我们只能把海量数据总结成几个点来看。但在当下,这些运算量根本不是问题,所有人都可以把运营数据精确到分钟来记录。而这些精确的记录可以告诉你海量的信息,比如为什么转化率在上升或者下降。
人们常常自我陶醉于做出了几张漂亮的图标或者PPT。这些总结性的表达看上去很令人振奋,但我们不应该基于这些肤浅的总结来做决策,因为这些漂亮的总结性陈述并不能真正反映问题的实质。相反,我们更应该关注极端值(Outliers)。
以上是小编为大家分享的关于大数据分析要避免常犯的5个错误的相关内容,更多信息可以关注环球青藤分享更多干货
❸ 大数据时代,容易被数据误导的八个问题
现在做销售、市场的人如果不懂得数据分析,用数据说话那真是落伍了。没见很多企业领导开口就是“拿数据给我看,没有数据我怎么做决策啊?”。可见数据分析在当今的企业管理中占据做非常重要的地位,并且数据分析师也是未来十年最有前途的十大职业之一。
先看一个利用数据忽悠人的案例: 在美国和西班牙交战期间,美国海军的死亡率是千分之九,而同时期纽约居民的死亡率是千分之十六。后来海军征兵人员就用这些数据来证明参军更安全。你认为这个结论正确吗?当然不正确,这两个数字根本就是不匹配的,当兵的都是身强力壮的年轻人,而居民的死亡率是包括老弱病残的数据,这些人相对来说,死亡率是高的。所以正常应该是用同年龄段的海军数据和纽约居民来对比。
其实你发现9‰和16‰根本就不具有可对比性。
企业管理人员对“假”数据是深恶痛疾。原因不言而喻:“假数据”造成资源浪费,决策失误,贻误战机等等。简单总结一下“有问题数据”的几个方面,帮助大家早日练成火眼金睛。需要提醒大家的是“有问题的数据”并不代表一定是“假”的数据,因为有的数据是真的,但是结论确实“假”的。常见的利用数据来
误导大家的情况有以下几种:
一、随意制造“假”的数据来忽悠客户或消费者
请原谅我用了“制造”这个动词。
这种情况随处可见,对于某些人或组织来说,数据的严肃性根本就是一句空话,他们是要什么数据就编什么数据,他们的名字叫”编“委。对于这种情况,我们一定要多问几个为什么,问清楚数据源就可以了。记住“无数据(源)就没有真相”。比如报纸的发行量永远是世界上最难解的谜题,我也不知道答案,我只知道:
1、媒体自己公布的发行量实际上是他们的最高发行记录,一般来讲大家习惯去掉“最高”二字
2、当年某些报纸为了创造最高发行量,直接把报纸从印刷厂拉倒垃圾站,这种情况是公然而无耻的作假,后被禁止
大家看看这句话中的数字是否有错误:公司业务员小强有24个客户,4月不重复客户购买比率为78%(备注:不重复客户购买比例=有订单的客户总数/总客户数)。答案是错误的,因为永远算不出来78%这个数据。
二、定向取值问题
这种一种具有隐蔽性和欺骗性的手段。何为定向取值?就是先假定一个结论,然后选取最利于这个结论的人群进行市场调查或研究,最后号称这个规律或结论具有普遍性。比如平均工资,我要让他高,就去写字楼访问,我要让他低,那就如劳务市场吧!这种方法是一种骗人的伎俩,要不得,可是很多人非常热衷!
把这种方法用到极致的是市场调查公司或某些政府机关。比如某年某地区说要在半年内将房价降价多少以上,半年以后他们真的做到了,可是老百姓并没有感到房价下降的趋势,为什么呢?原来他们玩了个数字游戏,半年前的样本是城区的房价平均,半年后加上了郊区的房价后取平均。
大部分市场调查公司是定向取值的热衷者。很多企业的老板会要求市调公司按照他们的结论来采样调查,然后用这个数据去做广告、公关,欺骗消费者。有些公司的调查数据是真的(即调查的样本数足够多,且没有定向选取调查对象),但结论却是假的。因为企业也可以定向取结论。比如(此事例是为了说明问题,假设的数据,千万不要当真),比如某种牙膏宣传:使用该品牌的牙膏后将使蛀牙减少23%,这个数据是市场调查后的数据。当然这个数据对你一定是有诱惑力的。因为你认为减少的反义词就是没减少!可你是否知道他的背后有可能是这样的:23%的人蛀牙减少,40%的人没有任何反应,37%的人蛀牙反而增多了(只是这种可能性不大)。
看看这幅画你就懂了
三、田忌赛马
田忌赛马的故事大家想必都听说过,利用田忌赛马来误导的情况也是比较多见的。看一个例子,2010年底某知名B2C网站搞了一个“全民疯抢”活动,活动结束后,某人在微博上写道:就成交数据看,在大促四日里的日均交易额已经远远超过了09年度国美、苏宁和百联三家线下大卖场的总和日均销售额。就这句话来说是没有问题的,错在前后数据没有可对比性,用自己促销时的最大值和别人的常规日销售来做对比,这样的对比没有任何意思。这个就好像刘翔参加残奥会比赛得了冠军又能如何?根本就不是一个组别。
再来看一组数据:2010年12月20日到12月26日电影《非诚勿扰2》和《让子弹飞》的周票房分别为2.4亿和2.1亿(备注:非2是12月22日上市,让是12月16日上市)。从这两个数据是否我们可以得出这样的结论:“非2”票房大大超越“让”的票房。从纯数据的角度来说,实际上这两个数据没有可对比性,不匹配。因为12.20-12.26是“非2”上影的第一周,是“让”上影的第二周。正常大片的票房高点都是在第一周。如果我们单看他们第一周的票房数据:让上市第一周4天票房共2.9亿,平均每天0.7亿,非2上影前5天票房2.4亿,平均票房约0.5亿元,“让”票房反而高很多!
田忌赛马实际上就是在选择数据的结论。数据的匹配性是我们时刻都需要提防的,这方面是极易犯错误的,有时候我们看起来非常合理的对比也有可能是非常不合理的。
四、数据分析的系统误差
数据分析有的时候是人为因素影响,有的时候还可能有系统误差出现。举说来说:假设人事部要在一个公司内部调查一下大家对新来的总经理的看法,选项有五个:非常喜欢、喜欢、没感觉、不喜欢、非常不喜欢。要求匿名投票。收回选票后结果如下:非常喜欢25%,喜欢40%,没感觉20%,不喜欢10%,非常不喜欢5%。由于是匿名投票你可能认为这个数据没问题了吧(假设没有拍马屁的现象)。
我的回答是不一定。因为很可能还有很多员工根本就没有投票。他们不投票的原因有可能是不知道该调查或忙没来得及投票等,还有就是这些弃权票很可能都是要投“不喜欢”的人,他们不想表达自己的真实想法,所以他们有“目的”的放弃了投票。想想联合国大会的弃权票吧,有点这个意思的吧。另外如果这个调查的五个选项改成如下排序:非常不喜欢、不喜欢、没感觉、喜欢、非常喜欢。还是刚才投完票的那些人来投,结果可能不一样哦!
强力推荐阅读文章
年薪40+W的大数据开发【教程】,都在这儿!
大数据零基础快速入门教程
Java基础教程
web前端开发基础教程
linux基础入门教程学习
大数据工程师必须了解的七大概念
云计算和大数据未来五大趋势
如何快速建立自己的大数据知识体系