建大数据中心需要做什么

A. 如何搭建现代化的云计算数据中心

在云计算和大数据遍地开花的今天，很多个人及企业级客户对自己的数据存放环境并没有一个很直观的认识，包括电商从业者（云主机，云空间），私有云、公有云及混合云企业用户等等。

而数据中心内部结构繁多、组成复杂，经过多年行业积累，客户在选择数据中心时主要关注数据中心等级、选址标准、建筑与结构、电力、暖通、消防、监控和网络这几个方面。

?

现代数据中心供电系统的典型架构

有孚网络自建及合作的云计算数据中心已经覆盖北京、上海、广州、深圳等地，并通过这些核心节点辐射各大区域。高等级标准建造，电力系统满足A类机房要求，每个云计算数据中心均引入来自不同变电站的双路市电，拥有双路UPS并行输电，并配置双路柴油发电机，提供不间断电源，保障业务安全、稳定、可持续发展。

对于金融行业数据中心来说，要满足其安全可靠的要求，供电系统需达到A级标准。那么，在A类级别的数据中心中，它的供电系统又是怎么要求的呢？

1、 由来自两个不同的变电站引入两路市电电源，同时工作、互为备用；

2、 机房内设有能够满足UPS电源、机房空调、照明等设备用电的专用柴油发电机，且备用有同样标准的柴油发电机，即柴油发电机系统需达到：(N+X)冗余 (X=1，2，3，4……)的要求；

3、 为了使数据中心的电力持续供应，需使用两套独立的UPS供电系统，来保证数据中心的供电，即UPS系统需达到：2N或M(N+1) 冗余 (M=2，3， 4……)的要求；

4、 其中，市电电源间、市电电源和柴油发电机间均可通过ATS（自动切换开关）进行切换，电源列头柜用来进行电源分配和供电管理，以提高供电系统的易管理性。

金融行业在供电方面除了需要满足以上要求外，还需满足其他相关电力要求：

1、 市电中断，发电机30秒自启动；

2、 市电电源为10KV以上；

3、 空调设备采用双路电源供电；

4、 不间断电源电池单机容量备用时间大于等于15分钟；

5、 要求采用专用配电箱(柜)，专用配电箱(柜)应靠近用电设备安装；

6、 用于电子信息系统机房内的动力设备与电子信息设备的不间断电源系统应由不同回路配电；

7、 自动转换开关检修时，不应影响电源的切换。

云计算与存储是未来商业的发展趋势，无论是互联网界还是传统企业通过搭建数据中心可以更好的掌握用户数据，为用户提供可靠的定制服务。从用户的角度来讲，企业搭建数据中心也是用户的选择。

（注：本文特约上海十佳IDC服务商之一的有孚网络（共承担了6项国家及地市级专项课题），将云计算数据中心的最佳实践与众多相关从业者分享。上海有孚网络股份有限公司创立于2001年，拥有超过15年的IDC运营管理经验，并形成了一套完整的自有云计算数据中心体系，为成千上万家客户提供专业的产品与服务。）

B. 如何搭建大数据分析平台

一般的大数据平台从平台搭建到数据分析大概包括以下几个步骤：

Linux系统安装。分布式计算平台或组件安装。

数据导入。数据分析。一般包括两个阶段：数据预处理和数据建模分析。数据预处理是为后面的建模分析做准备，主要工作时从海量数据中提取可用特征，建立大宽表。

数据建模分析是针对预处理提取的特征或数据建模，得到想要的结果。结果可视化及输出API。可视化一般式对结果或部分原始数据做展示。一般有两种情况，行数据展示，和列查找展示。

搭建大数据分析平台到思迈特软件Smartbi看看，在Excel中对数据进行二次加工，告别依赖于IT人员处理的困境；数据有错误也不怕，能够对缺失、不规范的数据进行二次加工，并能将这些数据入库；不受限制的分析思路，按您的想法加工数据；将本地数据和线上数据结合起来分析。

数据分析平台靠不靠谱，来试试Smartbi,思迈特软件Smartbi经过多年持续自主研发，凝聚大量商业智能最佳实践经验，整合了各行业的数据分析和决策支持的功能需求。满足最终用户在企业级报表、数据可视化分析、自助探索分析、数据挖掘建模、AI智能分析等大数据分析需求。

思迈特软件Smartbi个人用户全功能模块长期免费试用
马上免费体验:Smartbi一站式大数据分析平台

C. 如何创建一个大数据平台

所谓的大数据平台不是独立存在的，比如网络是依赖搜索引擎获得大数据并开展业务的，阿里是通过电子商务交易获得大数据并开展业务的，腾讯是通过社交获得大数据并开始业务的，所以说大数据平台不是独立存在的，重点是如何搜集和沉淀数据，如何分析数据并挖掘数据的价值。

我可能还不够资格回答这个问题，没有经历过一个公司大数据平台从无到有到复杂的过程。不过说说看法吧，也算是梳理一下想法找找喷。
这是个需求驱动的过程。
曾经听过spotify的分享，印象很深的是，他们分享说，他们的hadoop集群第一次故障是因为，机器放在靠窗的地方，太阳晒了当机了（笑）。从简单的没有机房放在自家窗前的集群到一直到现在复杂的数据平台，这是一个不断演进的过程。
对小公司来说，大概自己找一两台机器架个集群算算，也算是大数据平台了。在初创阶段，数据量会很小，不需要多大的规模。这时候组件选择也很随意，Hadoop一套，任务调度用脚本或者轻量的框架比如luigi之类的，数据分析可能hive还不如导入RMDB快。监控和部署也许都没时间整理，用脚本或者轻量的监控，大约是没有ganglia、nagios，puppet什么的。这个阶段也许算是技术积累，用传统手段还是真大数据平台都是两可的事情，但是为了今后的扩展性，这时候上Hadoop也许是不错的选择。
当进入高速发展期，也许扩容会跟不上计划，不少公司可能会迁移平台到云上，比如AWS阿里云什么的。小规模高速发展的平台，这种方式应该是经济实惠的，省了运维和管理的成本，扩容比较省心。要解决的是选择平台本身提供的服务，计算成本，打通数据出入的通道。整个数据平台本身如果走这条路，可能就已经基本成型了。走这条路的比较有名的应该是netflix。
也有一个阶段，你发现云服务的费用太高，虽然省了你很多事，但是花钱嗖嗖的。几个老板一合计，再玩下去下个月工资发布出来了。然后无奈之下公司开始往私有集群迁移。这时候你大概需要一群靠谱的运维，帮你监管机器，之前两三台机器登录上去看看状态换个磁盘什么的也许就不可能了，你面对的是成百上千台主机，有些关键服务必须保证稳定，有些是数据节点，磁盘三天两头损耗，网络可能被压得不堪重负。你需要一个靠谱的人设计网络布局，设计运维规范，架设监控，值班团队走起7*24小时随时准备出台。然后上面再有平台组真的大数据平台走起。
然后是选型，如果有技术实力，可以直接用社区的一整套，自己管起来，监控部署什么的自己走起。这个阶段部署监控和用户管理什么的都不可能像两三个节点那样人肉搞了，配置管理，部署管理都需要专门的平台和组件；定期Review用户的作业和使用情况，决定是否扩容，清理数据等等。否则等机器和业务进一步增加，团队可能会死的很惨，疲于奔命，每天事故不断，进入恶性循环。
当然有金钱实力的大户可以找Cloudera，Hortonworks，国内可以找华为星环，会省不少事，适合非互联网土豪。当然互联网公司也有用这些东西的，比如Ebay。
接下去你可能需要一些重量的组件帮你做一些事情。
比如你的数据接入，之前可能找个定时脚本或者爬log发包找个服务器接收写入HDFS，现在可能不行了，这些大概没有高性能，没有异常保障，你需要更强壮的解决方案，比如Flume之类的。
你的业务不断壮大，老板需要看的报表越来越多，需要训练的数据也需要清洗，你就需要任务调度，比如oozie或者azkaban之类的，这些系统帮你管理关键任务的调度和监控。
数据分析人员的数据大概可能渐渐从RDBMS搬迁到集群了，因为传统数据库已经完全hold不住了，但他们不会写代码，所以你上马了Hive。然后很多用户用了Hive觉得太慢，你就又上马交互分析系统，比如Presto，Impala或者SparkSQL。
你的数据科学家需要写ML代码，他们跟你说你需要Mahout或者Spark MLLib，于是你也部署了这些。
至此可能数据平台已经是工程师的日常工作场所了，大多数业务都会迁移过来。这时候你可能面临很多不同的问题。
比如各个业务线数据各种数据表多的一塌糊涂，不管是你还是写数据的人大概都不知道数据从哪儿来，接下去到哪儿去。你就自己搞了一套元数据管理的系统。
你分析性能，发现你们的数据都是上百Column，各种复杂的Query，裸存的Text格式即便压缩了也还是慢的要死，于是你主推用户都使用列存，Parquet，ORC之类的。
又或者你发现你们的ETL很长，中间生成好多临时数据，于是你下狠心把pipeline改写成Spark了。
再接下来也许你会想到花时间去维护一个门户，把这些零散的组件都整合到一起，提供统一的用户体验，比如一键就能把数据从数据库chua一下拉到HDFS导入Hive，也能一键就chua一下再搞回去；点几下就能设定一个定时任务，每天跑了给老板自动推送报表；或者点一下就能起一个Storm的topology；或者界面上写几个Query就能查询Hbase的数据。这时候你的数据平台算是成型了。
当然，磕磕碰碰免不了。每天你都有新的问题和挑战，否则你就要失业了不是？
你发现社区不断在解决你遇到过的问题，于是你们架构师每天分出很多时间去看社区的进展，有了什么新工具，有什么公司发布了什么项目解决了什么问题，兴许你就能用上。
上了这些乱七八糟的东西，你以为就安生了？Hadoop平台的一个大特点就是坑多。尤其是新做的功能新起的项目。对于平台组的人，老板如果知道这是天然坑多的平台，那他也许会很高兴，因为跟进社区，帮忙修bug，一起互动其实是很提升公司影响力的实情。当然如果老板不理解，你就自求多福吧，招几个老司机，出了问题能马上带路才是正道。当然团队的技术积累不能不跟上，因为数据平台还是乱世，三天不跟进你就不知道世界是什么样了。任何一个新技术，都是坑啊坑啊修啊修啊才完善的。如果是关键业务换技术，那需要小心再小心，技术主管也要有足够的积累，能够驾驭，知道收益和风险。

D. 在大数据中心需要什么样的技术

大数据是对坦丛海量数据进行存储、计算、统计、分析处理的一系列处理手段，处理的数据量通常是TB级，甚至是PB或EB级的数据，这是传统数据手段所无法完成的，其涉及的技术有分布式计算、高并发处理、高可用处理、集群、实时性计算等，汇集了当前IT领域热门流行的IT技术。1. Java编程技术

Java编程技术是大数据学习的基础，Java是一种强类型的语言，拥有极高的跨平台能力，可以编写桌面应用程序、Web应用程序、分布式系统和嵌入式系统应用程序等，是大数据工程师最喜欢的编程工具，因此，想学好大数据，掌握Java基础是必不可少的。

2. Linux命令

对于大数据开发通常是在Linux环境下进行的，相比Linux操作系统，Windows操作系统是封闭的操作系统，开源的大数据软件很受限制，因此，想从事大数据开发相关工作，还需掌握Linux基础操作命令。

3. Hadoop

Hadoop是大数据开发的重要框架，其核心是HDFS和MapRece，HDFS为海量的数据提供了存储，MapRece为海量的数据提供了计算，因此，需要重点掌握，除此之外，还需要掌握Hadoop集群、Hadoop集群管理、YARN以及Hadoop高级管理等相关技耐前术与操作！

4. Hive

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapRece任务运行，十分适合数据仓库的统计分析。对于Hive需掌握其安装、应用及高级操作等。

5. Avro与Protobuf

Avro与Protobuf均是数据序列化系统，可以提供丰富的数据结构类型，十分适合做数据存储，还可进行不同语言之间相互通信的数据交换格式，学习大数据，需掌握其具体用法。

6. ZooKeeper

ZooKeeper是Hadoop和Habase的重要组件，是一个分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组件服务等，在大数据开发中要掌握ZooKeeper的常用命令及功能的实现方法。7. HBase

HBase是一个分布式的、面向列的开源数据库，他不同于一般的关系数据库，更适合于非结构化数据存储的数据库，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，大数据开发需掌握HBase基础知识、应用、架构以及高级用法等。

8.phoenix

Phoenix是用Java编写的基于JDBC API操作HBase的开源SQL引擎，其具有动态列、散列加载、查询服务器、追踪、事务、用户自定义函数、二级索引、命名空间映射、数据收集、行时间戳列、分页查询、跳跃查询、视图以及多租户的特性，大数据开发需掌握其原理和使用方法。

9.Redis

Redis是一个key-value存储系统，其出现很大程度补偿了memcached这类key/value存储的不足，在部分场合可以对关系数据库昌信清起到很好的补充作用，它提供了Java，C/C++，C#，PHP，JavaScript，Perl，Object-C，Python，Ruby，Erlang等客户端，使用很方便，大数据开发需掌握Redis的安装、配置及相关使用方法。

10.Flume

Flume是一款高可用、高可靠、分布式的海量日志采集、聚合和传输系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接收方（可定制）的能力。大数据开发需掌握其安装、配置以及相关使用方法。

11.SSM

SSM框架是由Spring、SpringMVC、MyBatis三个开源框架整合而成，常作为数据源较简单的web项目的框架。大数据开发需分别掌握Spring、SpringMVC、MyBatis三种框架的同时，再使用SSM进行整合操作。

12.Kafka

Kafka是一种高吞吐量的分布式发布订阅消息系统，其在大数据开发应用上的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。大数据开发需掌握Kafka架构原理及各组件的作用和是用方法及相关功能的实现！

13.Scala

Scala是一门多范式的编程语言，大数据开发重要框架Spark是采用Scala语言设计的，想要学好Spark框架，拥有Scala基础是必不可少的，因此，大数据开发需掌握Scala编程基础知识！

14.Spark

Spark是专为大规模数据处理而设计的快速通用的计算引擎，其提供了一个全面、统一的框架用于管理各种不同性质的数据集和数据源的大数据处理的需求，大数据开发需掌握Spark基础、SparkJob、Spark RDD、sparkjob部署与资源分配、SparkshuffleSpark内存管理、Spark广播变量、SparkSQL SparkStreaming以及 Spark ML等相关知识。

15.Azkaban

Azkaban是一个批量工作流任务调度器，可用于在一个工作流内以一个特定的顺序运行一组工作和流程，可以利用Azkaban来完成大数据的任务调度，大数据开发需掌握Azkaban的相关配置及语法规则。

E. 企业如何建立大数据部门

企业如何建立大数据部门

企业如何建立大数据部门，很多公司老板想组建一个大数据团队，我们需要对于未来数据中心的人员安排如何，怎么样工资体系比较合适的？”反过来，有很多刚毕业的大学同学也在问我，“我这个专业需要撑握那些技术才能被企业看上。”当然也有，工作三年以上的小伙伴问我，未来自己的职业规化是怎么样的，这个我以后再跟大家一起来探讨。
现在大数据很热，很多大型互联网公司对于数据部门配制都可以跟财务系统的人员相当了，也有很多初创企业拿到融资的移动互联网企业，在运营稳定的情况下，已经开始对于大数据分析团队开始进行配置，市场上能称的上数据分析师的人才差不多在10万左右，未来预计在1000万左右规模会跟数据分析相关人员需求，而大学对于大数据分析这块专业的缺失，根本来说没有办法能承担一个数据分析师的角色，所以这块数据分析师的需求会强烈，待遇会高。有同学担心数据分析师是否未来人工智能的发展起来，会出现失业的情况，这个相信担心是多的，因为商业的决策，从来都是人的事，即使未来技术的进步，也不可能会让机器来代替人的决定。
数据分析师是企业不仅是数据分析工人其实也是数据分析体系的设计师，开始时企业会有很多一些临时的需求，比如市场部需要数据分析提一些数据做一些表格，这样很容易会产生很多的表哥表妹的问题，觉得自已的意义不是很大,但是在我看来一个好的数据分析师，他应该是半个市场运行人员有着很好的沟通能力，80%的工作量是业务与市场部门提出的需求，在精通企业业务逻辑运作前提下再结合数据中出现的问题给于业务提出合理的建议，当然现在可能更多的是事后评估与监控的作用。
对于初级数据分析师，如果这个小伙子对于基本的统计模型与数据提供，特别SQL与EXCEL能过关，这个人差不多能用了，但是关键点就是这个侯选人是否有着很好的逻辑能力与沟通能力，如果是内向型的，其实未来做起来会很难，因为数据分析师的技术的门槛不高，但是否能对于业务敏感，对于数据敏感，及是否能把分析出来的东西在业务方进行落地，这就是数据分析师的价值。中级数据分析师需要三年以上，就需要他能对于业务进行建模那么就需要他对于一些基本模型熟悉及对于统计软件熟悉，当然如果能走的更远的小伙伴需要能对于自已设计模型能力，怎么进入数据指导业务的阶段。
对于数据部门人员的设计时，最好是把数据分析人员分别跟各个业务线进行对接，最忌讳数据仓库人员与业务部门对接，这样很容易使数据部门流于形式，主要的原因数据仓库人员没有对于业务方提供需求进行分析，因为有时业务部门在需要数据分析都不知道自已要什么，所以很容易对于数据团队产生很负面的影响。因为数据中心说开了，毕竟是一个服务部门很难直接产生价值，所以需要跟业务与市场人员进行密切的协作才能产生价值，最怕就是数据中心自已在做产品，结果很辛苦却没有产出。那么数据中心的团队的负责人，是数据分析人员还是数据仓库人员出身的，从我这边长期的观察来看，如果是中小型的企业，最好是商务智能出身的比较好一些，主要的原因能满足初级对于数据分析系统，未来也会对于数据分析有一个不错的了解，如果企业技术开发能力不错，最好是数据分析出身，对于实现数据产生价值，有着很深远的影响。

F. 建设全国一体化大数据中心对数字经济发展至关重要,你认为具体应该怎么做

建设全国一体化大数据中心对数字经济发展至关重要,认为具体应该筑牢数字经济健康发展底座。
构建国家一体化大数据中心体系有四个方面的重要作用：
一是有利于推动数字经济健康发展。大数据中心体系不仅是数字设备的托管空间体，更是大数据、云计算等数字技术的科技承载体，是数字技术自主创新所必需的算力底座。据中国信通院测算，2016年~2020年，我国算力规模平均每增长一个百分点，带动数字经济增长0.4个百分点、GDP增长0.2个百分点。可以说，算力“地基”夯实与否，关系到数字经济这座“大厦”能否巍然屹立。
二是有利于加快数据要素市场化改革。一体化大数据中心体系建设能够推动构建国家数据资源体系，提升信息资源国家控制力，打造我国在全球数字经贸中数据资源配置的能力优势；能够健全数据治理和流通体系，深化数据要素市场化配置改革，推动数据融合开放，加快释放数据价值。
三是有利于推动“双碳”战略实施。一体化大数据中心体系不仅明确提出PUE和绿电占比等碳减排指标演进要求，更借助数据中心集群化、“东数西算”等建设路径，重点推动算力基础设施能效优化以及与绿色能源的融合发展，构建低碳绿色的高质量算力服务体系，并进一步释放体系建设给全社会经济转型带来的绿色价值。
四是有利于加快数据中心产业的转型发展。一体化大数据中心体系一方面能够驱动数据中心集约化、绿色化、均衡化发展，另一方面构建了含数据中心、网络、云、AI、安全等多个要素的基础设施体系，是传统数据中心的升级版，是新基建的发展典范。

G. 大数据中心建设需要具备哪些条件

您好！大数据中心是近几年才发展起来的，仅2011年到2013年上半年全国共规划建设数据中心255个，已投入使用173个，总用地约713.2万平方米，总机房面积约400万平方米。数据中心建设条件主要包括以下方面：
一、能源供应：数据中心三分之一以上的预算将是环境成本。数据中心约60%的资产支出和50%的运营成本都与能源有关。在确保高性能的同时，将冷却散热降至最低是云数据中心实现“绿色”所必须要做的，这就要求更科学、更合理的供电方式和制冷系统的配置。
二、气候因素：虽然气温、台风、洪水、干旱等自然气候因素都是云数据中心布局的影响因素，但温度条件是需要重点考虑的气候因素。所在地的常年平均气温是影响云数据中心能耗的决定性因素之一，甚至是决定PUE高低的重要因素。
三、地质条件：地壳稳定，发生地质灾害的可能性小，为数据中心的阶段内的稳定运营提供保证。
目前我国数据中心产业虽然已经开始呈现出向规模化、集中化、绿色化、布局合理化发展的趋势，也涌现出一些成功的案例。比如鄂尔多斯大数据中心，该数据中心机房严格按照国际领先的行业设计标准，集IDC设计理念和绿色节能技术于一体，与世界一流IDC保持同步，能够为全社会提供同等级服务的数据中心。

H. 大数据平台是什么什么时候需要大数据平台如何建立大数据平台

首先我们要了解Java语言和Linux操作系统，这两个是学习大数据的基础，学习的顺序不分前后。

Java ：只要了解一些基础即可，做大数据不需要很深的Java 技术，学java SE 就相当于有学习大数据基础。

Linux：因为大数据相关软件都是在Linux上运行的，所以Linux要学习的扎实一些，学好Linux对你快速掌握大数据相关技术会有很大的帮助，能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置，能少踩很多坑，学会shell就能看懂脚本这样能更容易理解和配置大数据集群。还能让你对以后新出的大数据技术学习起来更快。

Hadoop：这是现在流行的大数据处理平台几乎已经成为大数据的代名词，所以这个是必学的。Hadoop里面包括几个组件HDFS、MapRece和YARN，HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面，MapRece是对数据进行处理计算的，它有个特点就是不管多大的数据只要给它时间它就能把数据跑完，但是时间可能不是很快所以它叫数据的批处理。

Zookeeper：这是个万金油，安装Hadoop的HA的时候就会用到它，以后的Hbase也会用到它。它一般用来存放一些相互协作的信息，这些信息比较小一般不会超过1M，都是使用它的软件对它有依赖，对于我们个人来讲只需要把它安装正确，让它正常的run起来就可以了。

Mysql：我们学习完大数据的处理了，接下来学习学习小数据的处理工具mysql数据库，因为一会装hive的时候要用到，mysql需要掌握到什么层度那?你能在Linux上把它安装好，运行起来，会配置简单的权限，修改root的密码，创建数据库。这里主要的是学习SQL的语法，因为hive的语法和这个非常相似。

Sqoop：这个是用于把Mysql里的数据导入到Hadoop里的。当然你也可以不用这个，直接把Mysql数据表导出成文件再放到HDFS上也是一样的，当然生产环境中使用要注意Mysql的压力。

Hive：这个东西对于会SQL语法的来说就是神器，它能让你处理大数据变的很简单，不会再费劲的编写MapRece程序。有的人说Pig那?它和Pig差不多掌握一个就可以了。

Oozie：既然学会Hive了，我相信你一定需要这个东西，它可以帮你管理你的Hive或者MapRece、Spark脚本，还能检查你的程序是否执行正确，出错了给你发报警并能帮你重试程序，最重要的是还能帮你配置任务的依赖关系。我相信你一定会喜欢上它的，不然你看着那一大堆脚本，和密密麻麻的crond是不是有种想屎的感觉。

Hbase：这是Hadoop生态体系中的NOSQL数据库，他的数据是按照key和value的形式存储的并且key是唯一的，所以它能用来做数据的排重，它与MYSQL相比能存储的数据量大很多。所以他常被用于大数据处理完成之后的存储目的地。

Kafka：这是个比较好用的队列工具，队列是干吗的?排队买票你知道不?数据多了同样也需要排队处理，这样与你协作的其它同学不会叫起来，你干吗给我这么多的数据(比如好几百G的文件)我怎么处理得过来，你别怪他因为他不是搞大数据的，你可以跟他讲我把数据放在队列里你使用的时候一个个拿，这样他就不在抱怨了马上灰流流的去优化他的程序去了，因为处理不过来就是他的事情。而不是你给的问题。当然我们也可以利用这个工具来做线上实时数据的入库或入HDFS，这时你可以与一个叫Flume的工具配合使用，它是专门用来提供对数据进行简单处理，并写到各种数据接受方(比如Kafka)的。

Spark：它是用来弥补基于MapRece处理数据速度上的缺点，它的特点是把数据装载到内存中计算而不是去读慢的要死进化还特别慢的硬盘。特别适合做迭代运算，所以算法流们特别稀饭它。它是用scala编写的。Java语言或者Scala都可以操作它，因为它们都是用JVM的。