‘壹’ 企业如何应用大数据分析
企业应用大数据分析就要借助一些数据分析工具,比如商业智能软件FineBI,有了工具就等于完成了一半。一般数据分析工作可分为以下三个步骤:
1、明确业务需求
按业务驱动的角度,了解业务部门需要解决什么样的问题,业务范围是什么,所要达成的效果又是怎样,依据这些需求来实施部署商业智能工具。
2、数据结合与关联
由于企业数据海量的特点和多元化的结构形式,需要商业分析工具具有海量的数据探索和分析能力,能够实时有效的与已有数据结合,产生精确的行动方向。
此外,企业数据的价值最终体现在客户的消费上,因此,对于能直接产生价值的数据要和客户关系和交易数据进行结合和关联,从而做出直接导向效益的决策。
3、培养数据分析人才
企业的数据分析,商业智能系统的部署是关键,但业务人员数据分析水平也同样重要。这就要求人员在信息过程管理当中要逐渐培养科学化管理数据的意识,企业上下也要统一共识,从而形成对企业数据的综合管理。
‘贰’ 如何在企业管理中应用大数据分析
大数据作为新一代信息技术的代表,己开始在工业设计、研发、制造、销售、服务等环节取得应用,并成为推动互联网与工业融合创新的重要因素。面对大数据浪潮,传统企业需要主动把握大数据发展方向,深入挖掘大数据价值,持续推进管理创新,从而提升企业管理水平。学会大数据思维。在大数据时代,企业管理者和员工要把大数据思维融入企业决策、管理理念、工作方式以及企业文化之中。首先,要充分信任数据,用数据说话,基于数据去发现问题解决问题。其次,要以用户为导向。在大数据和互联网高度发达的今天,顾客的需求目益多样化和个性化,企业要充分利用大数据,不断完善产品功能和用户体验,以满足用户的新需求。挖掘大数据价值。大数据专家舍恩伯格说:“数据好比一座金山,但是数据在那里放着,这座金山就不会属于你,企业需要做的是了解并挖掘这些‘金山’,最后成为大数据的赢家。”目前我国大数据应用还主要局限于互联网企业,传统企业则缺乏数据深度挖掘所需要的人员和技术支撑。当前,传统企业首先要结合自身实际,从战略高度规划和部署,分层次、有计划、循序渐进推动大数据在企业的应用。其次,要充分利用现有设备技术,加强大数据的收集、管理和利用好大数据。促进企业决策更加科学化,管理更加精细化。提升对大数据的分析能力。在大数据时代,企业必须对海量的数据进行准确、快速的分析,以最快的速度为企业管理者提供有价值的信息,这对企业的数据分析能力提出了更高更严的要求。企业要建立一套完整的数据采集、储存、整理和分析体系,加强对大数据技术的开发利用,以充分利用数据这一战略资源。同时,大数据对从业者,尤其是数据分析师也提出了更高的要求。企业要加快大数据人才培养,不断提升对大数据的获取、分析能力。在大数据时代,数据种类更加多样化。据统计,企业中80%的数据都是非结构化数据。因此,企业不但要重视结构化数据的利用,也要重视非结构化数据的挖掘和利用。加快大数据与工业化的融合。融合是大数据的价值所在,是推动信息化和工业化深度融合的重要体现,也是促进企业转型升级的重要抓手。
‘叁’ 企业如何实现对大数据的处理与分析
企业如何实现对大数据的处理与分析
随着两化深度融合的持续推进,全面实现业务管理和生产过程的数字化、自动化和智能化是企业持续保持市场竞争力的关键。在这一过程中数据必将成为企业的核心资产,对数据的处理、分析和运用将极大的增强企业的核心竞争力。但长期以来,由于数据分析手段和工具的缺乏,大量的业务数据在系统中层层积压而得不到利用,不但增加了系统运行和维护的压力,而且不断的侵蚀有限的企业资金投入。如今,随着大数据技术及应用逐渐发展成熟,如何实现对大量数据的处理和分析已经成为企业关注的焦点。
对企业而言,由于长期以来已经积累的海量的数据,哪些数据有分析价值?哪些数据可以暂时不用处理?这些都是部署和实施大数据分析平台之前必须梳理的问题点。以下就企业实施和部署大数据平台,以及如何实现对大量数据的有效运用提供建议。
第一步:采集数据
对企业而言,不论是新实施的系统还是老旧系统,要实施大数据分析平台,就需要先弄明白自己到底需要采集哪些数据。因为考虑到数据的采集难度和成本,大数据分析平台并不是对企业所有的数据都进行采集,而是相关的、有直接或者间接联系的数据,企业要知道哪些数据是对于战略性的决策或者一些细节决策有帮助的,分析出来的数据结果是有价值的,这也是考验一个数据分析员的时刻。比如企业只是想了解产线设备的运行状态,这时候就只需要对影响产线设备性能的关键参数进行采集。再比如,在产品售后服务环节,企业需要了解产品使用状态、购买群体等信息,这些数据对支撑新产品的研发和市场的预测都有着非常重要的价值。因此,建议企业在进行大数据分析规划的时候针对一个项目的目标进行精确的分析,比较容易满足业务的目标。
大数据的采集过程的难点主是并发数高,因为同时有可能会有成千上万的用户来进行访问和操作,比如火车票售票网站和淘宝,它们并发的访问量在峰值时达到上百万,所以需要在采集端部署大量数据库才能支撑。并且如何在这些数据库之间进行负载均衡和分片也是需要深入的思考问题。
第二步:导入及预处理
数据采集过程只是大数据平台搭建的第一个环节。当确定了哪些数据需要采集之后,下一步就需要对不同来源的数据进行统一处理。比如在智能工厂里面可能会有视频监控数据、设备运行数据、物料消耗数据等,这些数据可能是结构化或者非结构化的。这个时候企业需要利用ETL工具将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成,将这些来自前端的数据导入到一个集中的大型分布式数据库或者分布式存储集群,最后加载到数据仓库或数据集市中,成为联机分析处理、数据挖掘的基础。对于数据源的导入与预处理过程,最大的挑战主要是导入的数据量大,每秒钟的导入量经常会达到百兆,甚至千兆级别。
第三步:统计与分析
统计与分析主要利用分布式数据库,或者分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总等,以满足大多数常见的分析需求,在这方面,一些实时性需求会用到EMC的GreenPlum、Oracle的Exadata,以及基于MySQL的列式存储Infobright等,而一些批处理,或者基于半结构化数据的需求可以使用Hadoop。数据的统计分析方法也很多,如假设检验、显着性检验、差异分析、相关分析、T检验、方差分析、卡方分析、偏相关分析、距离分析、回归分析、简单回归分析、多元回归分析、逐步回归、回归预测与残差分析、岭回归、logistic回归分析、曲线估计、因子分析、聚类分析、主成分分析、因子分析、快速聚类法与聚类法、判别分析、对应分析、多元对应分析(最优尺度分析)、bootstrap技术等等。在统计与分析这部分,主要特点和挑战是分析涉及的数据量大,其对系统资源,特别是I/O会有极大的占用。
第四步:价值挖掘
与前面统计和分析过程不同的是,数据挖掘一般没有什么预先设定好的主题,主要是在现有数据上面进行基于各种算法的计算,从而起到预测的效果,从而实现一些高级别数据分析的需求。比较典型算法有用于聚类的Kmeans、用于统计学习的SVM和用于分类的NaiveBayes,主要使用的工具有Hadoop的Mahout等。该过程的特点和挑战主要是用于挖掘的算法很复杂,并且计算涉及的数据量和计算量都很大,常用数据挖掘算法都以单线程为主。
总结
为了得到更加精确的结果,在大数据分析的过程要求企业相关的业务规则都是已经确定好的,这些业务规则可以帮助数据分析员评估他们的工作复杂性,对了应对这些数据的复杂性,将数据进行分析得出有价值的结果,才能更好的实施。制定好了相关的业务规则之后,数据分析员需要对这些数据进行分析输出,因为很多时候,这些数据结果都是为了更好的进行查询以及用在下一步的决策当中使用,如果项目管理团队的人员和数据分析员以及相关的业务部门没有进行很好的沟通,就会导致许多项目需要不断地重复和重建。最后,由于分析平台会长期使用,但决策层的需求是变化的,随着企业的发展,会有很多的新的问题出现,数据分析员的数据分析也要及时的进行更新,现在的很多数据分析软件创新的主要方面也是关于对数据的需求变化部分,可以保持数据分析结果的持续价值。
‘肆’ 大数据如何在企业落地
大数据如何在企业落地
经常听到很多大数据的概念和趋势,但是落地而务实的介绍相对较少。笔者根据在互联网和数据领域的实际从业经验,总结出数据价值金字塔在企业运营中的应用模型。该模型对应的是企业运营中的不同层面的数据需求,下文讲逐层介绍。
数据基础平台层,金字塔的最底层也是整个金字塔的基础层,如果基础层搭建不好,上面的应用层也很难在企业运营中发挥效果。没有数据或者没有高质量的数据,所有的分析都是误导,所有的数据挖掘都是错误的引导。
这一层的目标是把企业的所有用户(客户)数据用唯一的ID串起来,包括用户(客户)的画像(如性别、年龄等)、行为以及兴趣爱好等,以达到全面的了解用户(客户)的目的。要做好有三个关键:1.企业需要确定打通数据的唯一ID,有的企业是用会员注册号,有的是手机号或者身份证号等等。2.跨部门整合数据的问题。有大数据的企业通常部门都比较多,用户(客户)的各种行为和兴趣爱好数据散落在不同部门,需要企业有意识强有力的去整合;3.通过技术手段和规范手段把数据管理起来,这里解决的问题是存在数据仓库里面的数据具体的含义是什么,以及如何高效的存储和计算,涉及到数据接入系统、元数据管理系统和计算任务调度等系统。
业务运营监控层。这一层首要的是搭建业务运营的关键数据体系,在此基础上通过智能化模型开发出来的数据产品,监控关键数据的异动,并可以快速定位数据异动的原因,辅助运营决策,如果企业构建了实时计算的能力,那么很多业务运营中问题就能过及时的发现。
用户/客户体验优化层。这一层面主要是通过数据来监控和优化用户/客户的体验问题。这里面既运用了结构化的数据来监控,也运用非结构化的数据(如文本)来监控体验的问题。前者更多的是应用各种用户(客户)体验监测的模型或者工具来实现,后者更多的是通过监测微博、论坛和企业内部的客户反馈系统的文本来发现负面的口碑,以及时的优化产品或服务。
业务运营监控层和用户/客户体验优化层最终希望实现企业运营的智能化医生。这两层面做出的工具好比是体温计、血压计、B超、CT等工具,我们用这些工具就能快速透视企业运营中那一模块产生问题。
精细化运营和精细化营销层。这层面有四方面事情:1.构建基于用户的数据提取和运营工具。运营和营销人员通过简单的条件配置(如选择男性、18-24岁以及特定兴趣爱好),便可把数据(用户/客户)提取出来,对数据背后的用户/客户进行营销或运营活动;2.通过数据挖掘的手段提升客户对活动的响应(如点击率),常见的算法有决策树、逻辑回归等等;3.通过数据挖掘的手段进行客户生命周期管理。区别于传统的客户生命周期管理,大数据是可做到实时对不同生命周期的客户进行实时标记和预警,并把有效的活动当成商品一样及时的推送给不同生命周期阶段的客户;4.客户个性化推荐。主要是用个性化推荐算法实现根据用户不同的兴趣和需求推荐不同的商品或者产品,以实现推广资源效率和效果最大化。
数据辅助市场传播。这一层面要做到通过“性感”的数据分析和挖掘来辅助产品进行传播,主要有两种实现方式:一种是好玩的数据信息图谱,相信大家都不喜欢看产品的公关软文,而更喜欢看好玩的内容。尤其是在网络上传播,10-29岁的网民占所有中国网民的一半多(55%,CNNIC 2013年数据),而这些用户偏年轻、偏“屌丝”,所以这些受众更喜欢“性感”的内容。
淘宝曾经通过统计其购买胸罩C-Cup以上的用户地区分布,发现西安的网民相对比例最多,并发布了这个数据,说西安女生胸部最大,引起不少“屌丝”网民传播。而腾讯在今年3月份则基于8亿多活跃用户首次披露“逃离北上广”数据图,发现11%的用户在春节后逃离了北上广。
数据辅助市场传播的另外一种方式是直接做成数据产品对外使用。比如,网络指数或网络过年期间做的迁徙地图。网络东莞8小时迁徙图的数据中可以看到,离开东莞后,去香港的人最多。那我们是不是可以简单地得到一个信息,从香港去东莞的人最多……
业务经营分析和战略分析层。这两个层面在这里就不多说了,因为这两个层面更多的是跟很多传统的战略分析、经营分析层面的方法论相似,最大的差异是数据来自于大数据。但这里面有两方面需要注意:
1.有很多企业错误的把“业务运营监控层”和“用户/客户体验优化层”做的事情放在经营分析或者战略分析层来做。我认为“业务运营监控层”和“用户/客户体验优化层”更多的是通过机器、算法和数据产品来实现的,“战略分析”、“经营分析”更多的是人来实现。很多企业把机器能做的事情交给了人来做,这样导致发现问题的效率较低。我的建议是,能用机器做的事情尽量用机器来做好“业务运营监控层”和“用户/客户体验优化层”,在此基础上让人来做人类更擅长的经验分析和战略判断;
2. 在变化极快的互联网领域,在业务的战略方向选择上,数据很难预测业务的大发展方向,如果有人说微信这个大方向是通过数据挖掘和分析研究出来,估计产品经理们会笑了。从本质上来说,数据在精细化营销和运营中能起到比较好的作用,但在产品策划、广告创意等创意性的事情上,起到的作用较小。但一旦产品创意出来,就可以通过灰度测试,数据验证效果了。
我认为,如果能利用数据通过机器、算法、或者人工的手段,把现状和问题及原因洞悉的特别清楚已经很不错了,这样决策层就可以基于这些情况进行更好的“拍脑袋”决策了。
总之,本文只是提纲挈领的介绍了大数据在企业的落地方案。还有更多的细节和方法论未能展示出来。另外,大数据在不同行业的落地也许有较大的差异。因此,欢迎各行业同仁与我交流探讨。
以上是小编为大家分享的关于大数据如何在企业落地的相关内容,更多信息可以关注环球青藤分享更多干货