大数据技术平台怎么选

⑴ 现在企业里用企业里用的比较多的大数据框架是什么主要是哪些业务场景会用到

主流的大数据框架，Hadoop、Spark普遍，然后Flink也越来越流行。应用在大数据平台的etl辅助过程。

随着汽车市场逐步饱和，竞争加剧，车企希望通过拥抱大数据实现精细化经营，领先一步。但是大数据化的过程并非一蹴而就，也不是简单的大数据技术选择，更应该看成一个企业级系统工程。本文结合大数据项目实践和行业理解。

着重阐述了如何系统看待大数据建设和关键问题解决思路。背景随着汽车普及的不断深入，中国汽车市场逐渐饱和增速放缓，我国车企已迈入了竞争运营的阶段。随着近年大数据的兴起，越来越多的车企也选择投身大数据潮流。

希望通过拥抱大数据，实现更加精细化的业务运营，营销模式变化，乃至企业转型，提高自身运营竞争力。如国际顶级车企大众、宝马、奔驰，还有国内车企长城、吉利等都纷纷开启了自己的大数据之路。

图1车企大数据典型案例然而，在大数据化进程中，车企却发现演变过程并不是那么一帆风顺，在和车企交流中，往往能听到业务部门的抱怨。

1.数据质量怎么这么差，用户姓名一看就是随便输入的，手机号码居然只有9位。

2.销量统计错了，把提车数统计到实销数里了。

3.你做的分析功能我们不需要，对了，我们库存预测到底能不能做。信息化部门却会感觉到困惑。

4.我们已经采用先进的大数据技术平台了，但是该做些什么业务。

5.我们哪里知道业务部门对应计算口径是什么，业务需求不清楚。

6.你这个业务需求，我们心里没数。由此可见，如何构建一个高效大数据平台，不仅仅是简单的IT系统建设，更不是简单购买了大数据平台就能实现大数据分析。企业大数据化更应该是一个系统，要贯穿管理-业务-系统-数据。

逐步规划，逐步建设，而不是一蹴而就。因此，基于大数据思考、实践模式，联想总结出企业大数据建设框架，针对其中关键问题提出思考和分析。

⑵ 进行大数据分析 需选择合适技术

进行大数据分析 需选择合适技术
对于企业而言，大数据不仅是个热门话题，更是真切的需求所在。许多企业开始着手于大数据分析项目，但是现在，越来越多的企业存储的信息量就算不是PB级，起码也有TB量级……
大数据的能量和其为企业带来的竞争力优势已经逐渐显现，现在大数据已经成为商业智能、分析和数据管理市场领域中讨论度最高的话题之一，当然也是最热门的流行语之一。此外，企业已经看到了将大数据与云计算绑定所带来的好处。云计算提供可扩展性，使得其成为大数据分析的实践之车。
对于企业而言，大数据不仅是个热门话题，更是真切的需求所在。许多企业开始着手于大数据分析项目，但是现在，越来越多的企业存储的信息量就算不是PB级，起码也有TB量级。这些企业可能希望每天能分析几次关键数据，甚至是实现实时分析;而传统BI流程对历史数据进行分析的频率是以周或月为单位的。
此外，越来越多复杂查询的处理带来了各种不同的数据集，其中有可能包含来自企业资源计划(ERP)系统和客户关系管理(CRM)系统交易数据、社交媒介和地理空间数据，还有内部文档和其它格式信息等等。
要进行大数据分析，选择合适的技术是规划的第一部分，企业选择了数据库软件、分析工具以及相关的技术架构后，才可以进行下一步并开发一个真正成功的大数据平台。技术供应商处理这些需求的方式是多种多样的。许多数据库和数据仓库供应商都在关注及时处理大量复杂数据的能力。有的用列式数据存储来实现更快速的查询，有的提供内建的查询优化器，有的增加对Hadoop和MapRece这类开源技术的支持功能。
内存分析工具可能对分析处理速度的提升有所帮助，因为它能减少磁盘数据转换的需求;而数据虚拟化软件和其它实时数据集成技术可对运行中不同数据源的信息进行收集。对于垂直市场而言，现成的分析应用程序都是专门为其定制的，因为诸如电信、金融服务和网络游戏这些行业都必须处理大数据。当公司管理人员和业务经理需要查看大数据分析查询结果时，数据可视化工具可以简化其流程。
企业在在制定实施方案、对大数据基础设施进行选型之前，还需要考虑一些问题，比如数据及时性，因为并不是所有数据库都支持实时数据可用性。各种数据源需要与数据关联性和业务规则复杂度进行链接，以获得一个包含企业绩效、销售机会、客户行为、风险因素和其它业务指标的全面视图。由于分析的需要，历史数据的数量也需考虑在内。如果我们需要五年的数据，而一个数据源只包含两年的信息，那么该怎么办呢?然，这些因素并不能从根本上影响需求的规划，但是它们可以帮助企业部署大数据分析系统、选择最为合适的技术。
大数据正在以稳定的步伐渗透到各行各业，未来我们的生活中大数据的应用会越来越多，而对于企业而言，其整个企业的信息质量会变得更好，而且信息能够更高效的得到利用。

⑶ 大数据培训机构该如何选择

一、品牌口碑

现在我们不管干什么首先看的就是口碑，如：去某个饭店吃饭，要不就是朋友推荐这家味道很好去吃，要不就是在美团等平台通过互联网了解它的味道怎样，买衣服也是一样，我们在逛淘宝时，买衣服肯定是要看好评率的，这也相当是口碑，好评率好的我们才会买，所以，选择大数据培训机构也是一样的，看口碑，口碑好的大致方向就会没错。

二、教学质量、环境

机构的教学质量、环境直接关乎学员学习的质量，这里的教学质量不仅是教学管理制度，还包括教师教学质量，因为，学员要想学习的好，不仅要老师教的好，还需要一套完整的教学体系配合老师共同完成。因为浓厚的学习氛围，才会促使参加培训的学员好好学习。

三、课程设置

只要谈到学习，就离不开课程，也就是我们所要学习的知识和技术。课程是否合理直接决定了学生的知识结构和学习成果。一般的课程设置在机构的官网就能够看见，或者可以直接让机构负责人发一份。

四、就业率

培训机构基本都会披露以往学生的就业信息，我们不能排除其有作假的可能性，但我们依然可以作为一个参考对其进行评测，也可以在一些问答平台，如：知乎、网络知道，贴吧等平台进行了解，同时也可以了解该行业的整体薪资水平和就业竞争大小。

五、实训项目

目前一些中小型企业堆大数据人才的需求量特别大，但是这些中小企业一般没有内培大数据人才的时间和精力，并且他们还需要有丰富项目经验的人才进入企业，直接参与开发工作。

关于大数据培训机构该如何选择，青藤小编就和您分享到这里了。如果你对大数据工程有浓厚的兴趣，希望这篇文章能够对你有所帮助。如果您还想了解更多数据分析师、大数据工程师的技巧及素材等内容，可以点击本站的其他文章进行学习。

⑷ 大数据技术平台有哪些

Java：只要了解一些基础即可，做大数据不需要很深的Java 技术，学java SE 就相当于有学习大数据。基础

Linux：因为大数据相关软件都是在Linux上运行的，所以Linux要学习的扎实一些，学好Linux对你快速掌握大数据相关技术会有很大的帮助，能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置，能少踩很多坑，学会shell就能看懂脚本这样能更容易理解和配置大数据集群。还能让你对以后新出的大数据技术学习起来更快。

好说完基础了，再说说还需要学习哪些大数据技术，可以按我写的顺序学下去。

Oozie：既然学会Hive了，我相信你一定需要这个东西，它可以帮你管理你的Hive或者MapRece、Spark脚本，还能检查你的程序是否执行正确，出错了给你发报警并能帮你重试程序，最重要的是还能帮你配置任务的依赖关系。我相信你一定会喜欢上它的，不然你看着那一大堆脚本，和密密麻麻的crond是不是有种想屎的感觉。

Hbase：这是Hadoop生态体系中的NOSQL数据库，他的数据是按照key和value的形式存储的并且key是唯一的，所以它能用来做数据的排重，它与MYSQL相比能存储的数据量大很多。所以他常被用于大数据处理完成之后的存储目的地。

Kafka：这是个比较好用的队列工具，队列是干吗的？排队买票你知道不？数据多了同样也需要排队处理，这样与你协作的其它同学不会叫起来，你干吗给我这么多的数据(比如好几百G的文件)我怎么处理得过来，你别怪他因为他不是搞大数据的，你可以跟他讲我把数据放在队列里你使用的时候一个个拿，这样他就不在抱怨了马上灰溜溜的去优化他的程序去了，因为处理不过来就是他的事情。而不是你给的问题。当然我们也可以利用这个工具来做线上实时数据的入库或入HDFS，这时你可以与一个叫Flume的工具配合使用，它是专门用来提供对数据进行简单处理，并写到各种数据接收方(比如Kafka)的。

Spark：它是用来弥补基于MapRece处理数据速度上的缺点，它的特点是把数据装载到内存中计算而不是去读慢的要死进化还特别慢的硬盘。特别适合做迭代运算，所以算法流们特别稀饭它。它是用scala编写的。Java语言或者Scala都可以操作它，因为它们都是用JVM的。

⑸ 大数据解决方案选择哪一家

随着“大数据时代”的来临，企业越来越重视数据的作用，数据给企业带来的价值也越来越多。本文档将介绍大数据给企业带来的机遇与挑战以及企业的大数据解决方案。

第三、大数据结论的解读和应用。

大数据可以从数据分析的层面上揭示各个变量之间可能的关联，但是数据层面上的关联如何具象到行业实践中？如何制定可执行方案应用大数据的结论？这些问题要求执行者不但能够解读大数据，同时还需深谙行业发展各个要素之间的关联。这一环节基于大数据技术的发展但又涉及到管理和执行等各方面因素。在这一环节中，人的因素成为制胜关键。从技术角度，执行人需要理解大数据技术，能够解读大数据分析的结论；从行业角度，执行人要非常了解行业各个生产环节的流程的关系、各要素之间的可能关联，并且将大数据得到的结论和行业的具体执行环节一一对应起来；从管理的角度，执行人需要制定出可执行的解决问题的方案，并且确保这一方案和管理流程没有冲突，在解决问题的同时，没有制造出新的问题。这些需求，不但要求执行人深谙技术，同时应当是一个卓越的管理者，有系统论的思维，能够从复杂系统的角度关联地看待大数据与行业的关系。此类人才的稀缺性将制约大数据的发展。

⑹ 大数据实时分析平台是未来趋势如何如何选择

PetaBase-V作为Vertica基于亿信分析产品的定制版，提供面向大数据的实时分析服务，采用无共享大规模并行架构（MPP），可线性扩展集群的计算能力和数据处理容量，基于列式数据库技术，使 PetaBase-V 拥有高性能、高扩展性、高压缩率、高健壮性等特点，可完美解决报表计算慢和明细数据查询等性能问题。

当前的大数据技术的研究可以分为几个方向:结构化数据分析、文本数据分析、多媒体数据分析、Web数据分析、网络数据分析和移动数据分析。

未来，大数据10个主要发展趋势:

大数据与人工智能的融合;

跨学科领域交叉的数据分析应用;

数据科学带动多学科融合;

深度学习成为大数据智能分析的核心技术;

利用大数据构建大规模、有序化开放式的知识体系;

大数据的安全持续令人担忧;

开源继续成为大数据技术的主流;大数据与云计算、移动互联网等的综合应用;

大数据提升政府治理能力，数据资源化、私有化、商品化成为持续的趋势;

大数据技术课程体系建设和人才培养快速发展。大数据发展趋势预测总结为“融合、跨界、基础、突破”。

1.结合智能计算的大数据分析成为热点，包括大数据与神经计算、深度学习、语义计算以及人工智能其他相关技术结合。得益于以云计算、大数据为代表的计算技术的快速发展，使得信息处理速度和质量大为提高，能快速、并行处理海量数据。

2.跨学科领域交叉的数据融合分析与应用将成为今后大数据分析应用发展的重大趋势。

由于现有的大数据平台易用性差，而垂直应用行业的数据分析又涉及领域专家知识和领域建模，目前在大数据行业分析应用与通用的大数据技术之间存在很大的鸿沟，缺少相互的交叉融合。

因此，迫切需要进行跨学科和跨领域的大数据技术和应用研究，促进和推动大数据在典型和重大行业中的应用和落地，尤其是与物联网、移动互联、云计算、社会计算等热点技术领域相互交叉融合。

3.大数据安全和隐私。大数据时代，各网站均不同程度地开放其用户所产生的实时数据，一些监测数据的市场分析机构可通过人们在社交网站中写入的信息、智能手机显示的位置信息等多种数据组合进行分析挖掘。

然而，大数据时代的数据分析不能保证个人信息不被其他组织非法使用，用户隐私安全问题的解决迫在眉睫。

安全智能更加强调将过去分散的安全信息进行集成与关联，独立的分析方法和工具进行整合形成交互，最终实现智能化的安全分析与决策。

4.各种可视化技术和工具提升大数据分析。进行分析之前，需要对数据进行探索式地考查。

在此过程中，可视化将发挥很大的作用。对大数据进行分析以后，为了方便用户理解结果，也需要把结果展示出来。尤其是可视化移动数据分析工具，能追踪用户行为，让应用开发者得以从用户角度评估自己的产品，通过观察用户与一款应用的互动方式，开发者将能理解用户为何执行某些特定行为，从而为自己完善和改进应用提供依据。

将来，企业用户会选择更加可靠、安全、易用的一站式大数据处理平台。

大数据一站式平台包括：虚拟化平台、数据融合平台、大数据管理平台、可视化平台。

致力于为客户提供企业及的大数据平台服务，帮助企业轻松构建出独属于自己的数据智能解决方案，从传统应用向大数据应用转型，借力大数据优势深化自身业务价值体系。

⑺ 大数据平台的软件有哪些

一、Phoenix
简介：这是一个Java中间层，可以让开发者在Apache HBase上执行SQL查询。Phoenix完全使用Java编写，代码位于GitHub上，并且提供了一个客户端可嵌入的JDBC驱动。
Phoenix查询引擎会将SQL查询转换为一个或多个HBase scan，并编排执行以生成标准的JDBC结果集。直接使用HBase API、协同处理器与自定义过滤器，对于简单查询来说，其性能量级是毫秒，对于百万级别的行数来说，其性能量级是秒
二、Stinger
简介：原叫Tez，下一代Hive,Hortonworks主导开发，运行在YARN上的DAG计算框架。
某些测试下，Stinger能提升10倍左右的性能，同时会让Hive支持更多的SQL，其主要优点包括：
❶让用户在Hadoop获得更多的查询匹配。其中包括类似OVER的字句分析功能，支持WHERE查询，让Hive的样式系统更符合SQL模型。
❷优化了Hive请求执行计划，优化后请求时间减少90%。改动了Hive执行引擎，增加单Hive任务的被秒处理记录数。
❸在Hive社区中引入了新的列式文件格式（如ORC文件），提供一种更现代、高效和高性能的方式来储存Hive数据。
三、Presto
简介：Facebook开源的数据查询引擎Presto ，可对250PB以上的数据进行快速地交互式分析。该项目始于 2012 年秋季开始开发，目前该项目已经在超过 1000 名 Facebook 雇员中使用，运行超过 30000 个查询，每日数据在 1PB 级别。Facebook 称 Presto 的性能比诸如 Hive 和 Map*Rece 要好上 10 倍有多。
Presto 当前支持 ANSI SQL 的大多数特效，包括联合查询、左右联接、子查询以及一些聚合和计算函数；支持近似截然不同的计数(DISTINCT COUNT)等。

⑻ 数据分析师如何选择合适的数据分析工具

其实题主需要搞清楚以下几个问题，搞清楚了，其实问题的答案也就有了：
1、是从个人学习成长的角度想搭建平台自学？还是现在的公司需要大数据技术进行分析？——如果是从个人学习成长的角度，建议直接按照Hadoop或者Spark的官网教程安装即可，建议看官网（英文），在大数据技术领域，英语的掌握是非常重要的，因为涉及到组件选型、日后的安装、部署、运维，所有的任务运行信息、报错信息都是英文的，包括遇到问题的解答，所以还是非常重要的。如果是公司需要进行大数据分析，那么还要研究以下几个问题：为什么需要搭建大数据分析平台？要解决什么业务问题？需要什么样的分析？数据量有多少？是否有实时分析的需求？是否有BI报表的需求？——这里举一个典型的场景：公司之前采用Oracle或MySQL搭建的业务数据库，而且有简单的数据分析，或者可能采购了BI系统，就是直接用业务系统数据库进行支持的，现在随着数据量越来越大，那么就需要采用大数据技术进行扩容。
搞清楚需求之后，按照以下的步骤进行：
1、整体方案设计；整体方案设计时需要考虑的因素：数据量有多少：几百GB？几十TB？数据存储在哪里：存储在MySQL中？Oracle中？或其他数据库中？数据如何从现在的存储系统进入到大数据平台中？如何将结果数据写出到其他存储系统中？分析主题是什么：只有几个简单指标？还是说有很多统计指标，需要专门的人员去梳理，分组，并进行产品设计；是否需要搭建整体数仓？是否需要BI报表：业务人员有无操作BI的能力，或团队组成比较简单，不需要前后端人员投入，使用BI比较方便；是否需要实时计算？
2、组件选型；架构设计完成后就需要组件选型了，这时候最好是比较资深的架构师参与设计，选型包括：离线计算引擎：Hadoop、Spark、Tez……实时计算引擎：Storm、Flink、Samza、Spark
Streaming……BI软件：Tableau、QlikView、帆软……
3、安装部署；选型完成后，就可以进行安装部署了，这部分其实是最简单的，直接按照每个组件的部署要求安装即可。
4、另一种选择：采用商用软件如果是企业需要搭建大数据平台，那么还有一种选择是直接采用商用的数据平台。市面上有很多成熟的商用大数据平台，Cloudera、星环、华为、亚信等等，都有对应的产品线，像我们袋鼠云就有一款非常优秀的大数据平台产品：数栈。主要有以下几个特点：
1.一站式。一站式数据开发产品体系，满足企业建设数据中台过程中的多样复杂需求。
2.兼容性强。支持对接多种计算引擎，使更多企业“半路上车”。
3.开箱即用。基于Web的图形化操作界面，开箱即用，快速上手。
4.性价比高。满足中小企业数据中台建设需求，降低企业投入成本。
可以了解下。

⑼ 怎么开发大数据平台

开发数据大平台的操作方法具体如下。
1、操作体系的挑选。操作体系一般使用开源版的RedHat、Centos或许Debian作为底层的构建渠道，要根据大数据渠道所要建立的数据剖析东西能够支撑的体系，正确的挑选操作体系的版本。
2、建立Hadoop集群。Hadoop作为一个开发和运行处理大规模数据的软件渠道，实现了在大量的廉价计算机组成的集群中对海量数据进行分布式计算。Hadoop结构中最核心的规划是HDFS和MapRece，HDFS是一个高度容错性的体系，合适布置在廉价的机器上，能够供给高吞吐量的数据访问，适用于那些有着超大数据集的应用程序；MapRece是一套能够从海量的数据中提取数据最终回来成果集的编程模型。在生产实践应用中，Hadoop非常合适应用于大数据存储和大数据的剖析应用，合适服务于几千台到几万台大的服务器的集群运行，支撑PB级别的存储容量。
3、挑选数据接入和预处理东西。面临各种来源的数据，数据接入便是将这些零散的数据整合在一起，归纳起来进行剖析。数据接入首要包括文件日志的接入、数据库日志的接入、关系型数据库的接入和应用程序等的接入，数据接入常用的东西有Flume，Logstash，NDC（网易数据运河体系），sqoop等。
4、数据存储。除了Hadoop中已广泛应用于数据存储的HDFS，常用的还有分布式、面向列的开源数据库Hbase，HBase是一种key、value体系，布置在HDFS上，与Hadoop一样，HBase的目标首要是依靠横向扩展，通过不断的添加廉价的商用服务器，添加计算和存储才能。同时hadoop的资源管理器Yarn，能够为上层应用供给统一的资源管理和调度，为集群在利用率、资源统一等方面带来巨大的优点。
5、挑选数据挖掘东西。Hive能够将结构化的数据映射为一张数据库表，并供给HQL的查询功能，它是建立在Hadoop之上的数据仓库根底架构，是为了削减MapRece编写工作的批处理体系，它的出现能够让那些通晓SQL技术、可是不熟悉MapRece、编程才能较弱和不擅长Java的用户能够在HDFS大规模数据集上很好的利用SQL言语查询、汇总、剖析数据。
6、数据的可视化以及输出API。关于处理得到的数据能够对接主流的BI体系，比如国外的Tableau、Qlikview、PowrerBI等，国内的SmallBI和新兴的网易有数（可免费试用）等，将成果进行可视化，用于决策剖析；或许回流到线上，支撑线上业务的开展。

⑽ 如何创建一个大数据平台

所谓的大数据平台不是独立存在的，比如网络是依赖搜索引擎获得大数据并开展业务的，阿里是通过电子商务交易获得大数据并开展业务的，腾讯是通过社交获得大数据并开始业务的，所以说大数据平台不是独立存在的，重点是如何搜集和沉淀数据，如何分析数据并挖掘数据的价值。

我可能还不够资格回答这个问题，没有经历过一个公司大数据平台从无到有到复杂的过程。不过说说看法吧，也算是梳理一下想法找找喷。
这是个需求驱动的过程。
曾经听过spotify的分享，印象很深的是，他们分享说，他们的hadoop集群第一次故障是因为，机器放在靠窗的地方，太阳晒了当机了（笑）。从简单的没有机房放在自家窗前的集群到一直到现在复杂的数据平台，这是一个不断演进的过程。
对小公司来说，大概自己找一两台机器架个集群算算，也算是大数据平台了。在初创阶段，数据量会很小，不需要多大的规模。这时候组件选择也很随意，Hadoop一套，任务调度用脚本或者轻量的框架比如luigi之类的，数据分析可能hive还不如导入RMDB快。监控和部署也许都没时间整理，用脚本或者轻量的监控，大约是没有ganglia、nagios，puppet什么的。这个阶段也许算是技术积累，用传统手段还是真大数据平台都是两可的事情，但是为了今后的扩展性，这时候上Hadoop也许是不错的选择。
当进入高速发展期，也许扩容会跟不上计划，不少公司可能会迁移平台到云上，比如AWS阿里云什么的。小规模高速发展的平台，这种方式应该是经济实惠的，省了运维和管理的成本，扩容比较省心。要解决的是选择平台本身提供的服务，计算成本，打通数据出入的通道。整个数据平台本身如果走这条路，可能就已经基本成型了。走这条路的比较有名的应该是netflix。
也有一个阶段，你发现云服务的费用太高，虽然省了你很多事，但是花钱嗖嗖的。几个老板一合计，再玩下去下个月工资发布出来了。然后无奈之下公司开始往私有集群迁移。这时候你大概需要一群靠谱的运维，帮你监管机器，之前两三台机器登录上去看看状态换个磁盘什么的也许就不可能了，你面对的是成百上千台主机，有些关键服务必须保证稳定，有些是数据节点，磁盘三天两头损耗，网络可能被压得不堪重负。你需要一个靠谱的人设计网络布局，设计运维规范，架设监控，值班团队走起7*24小时随时准备出台。然后上面再有平台组真的大数据平台走起。
然后是选型，如果有技术实力，可以直接用社区的一整套，自己管起来，监控部署什么的自己走起。这个阶段部署监控和用户管理什么的都不可能像两三个节点那样人肉搞了，配置管理，部署管理都需要专门的平台和组件；定期Review用户的作业和使用情况，决定是否扩容，清理数据等等。否则等机器和业务进一步增加，团队可能会死的很惨，疲于奔命，每天事故不断，进入恶性循环。
当然有金钱实力的大户可以找Cloudera，Hortonworks，国内可以找华为星环，会省不少事，适合非互联网土豪。当然互联网公司也有用这些东西的，比如Ebay。
接下去你可能需要一些重量的组件帮你做一些事情。
比如你的数据接入，之前可能找个定时脚本或者爬log发包找个服务器接收写入HDFS，现在可能不行了，这些大概没有高性能，没有异常保障，你需要更强壮的解决方案，比如Flume之类的。
你的业务不断壮大，老板需要看的报表越来越多，需要训练的数据也需要清洗，你就需要任务调度，比如oozie或者azkaban之类的，这些系统帮你管理关键任务的调度和监控。
数据分析人员的数据大概可能渐渐从RDBMS搬迁到集群了，因为传统数据库已经完全hold不住了，但他们不会写代码，所以你上马了Hive。然后很多用户用了Hive觉得太慢，你就又上马交互分析系统，比如Presto，Impala或者SparkSQL。
你的数据科学家需要写ML代码，他们跟你说你需要Mahout或者Spark MLLib，于是你也部署了这些。
至此可能数据平台已经是工程师的日常工作场所了，大多数业务都会迁移过来。这时候你可能面临很多不同的问题。
比如各个业务线数据各种数据表多的一塌糊涂，不管是你还是写数据的人大概都不知道数据从哪儿来，接下去到哪儿去。你就自己搞了一套元数据管理的系统。
你分析性能，发现你们的数据都是上百Column，各种复杂的Query，裸存的Text格式即便压缩了也还是慢的要死，于是你主推用户都使用列存，Parquet，ORC之类的。
又或者你发现你们的ETL很长，中间生成好多临时数据，于是你下狠心把pipeline改写成Spark了。
再接下来也许你会想到花时间去维护一个门户，把这些零散的组件都整合到一起，提供统一的用户体验，比如一键就能把数据从数据库chua一下拉到HDFS导入Hive，也能一键就chua一下再搞回去；点几下就能设定一个定时任务，每天跑了给老板自动推送报表；或者点一下就能起一个Storm的topology；或者界面上写几个Query就能查询Hbase的数据。这时候你的数据平台算是成型了。
当然，磕磕碰碰免不了。每天你都有新的问题和挑战，否则你就要失业了不是？
你发现社区不断在解决你遇到过的问题，于是你们架构师每天分出很多时间去看社区的进展，有了什么新工具，有什么公司发布了什么项目解决了什么问题，兴许你就能用上。
上了这些乱七八糟的东西，你以为就安生了？Hadoop平台的一个大特点就是坑多。尤其是新做的功能新起的项目。对于平台组的人，老板如果知道这是天然坑多的平台，那他也许会很高兴，因为跟进社区，帮忙修bug，一起互动其实是很提升公司影响力的实情。当然如果老板不理解，你就自求多福吧，招几个老司机，出了问题能马上带路才是正道。当然团队的技术积累不能不跟上，因为数据平台还是乱世，三天不跟进你就不知道世界是什么样了。任何一个新技术，都是坑啊坑啊修啊修啊才完善的。如果是关键业务换技术，那需要小心再小心，技术主管也要有足够的积累，能够驾驭，知道收益和风险。