大数据平台是什么

㈠ 什么是大数据，有什么好的大数据平台

大数据技术是指从各种各样类型的数据中，快速获得有价值信息的能力。适用于大数据的技术，包括大规模并行处理（MPP）数据库，数据挖掘电网，分布式文件系统，分布式数据库，云计算平台，互联网，和可扩展的存储系统。

大数据平台是为了计算，现今社会所产生的越来越大的数据量。以存储、运算、展现作为目的的平台。

㈡ 大数据平台是什么什么时候需要大数据平台如何建立大数据平台

首先我们要了解Java语言和Linux操作系统，这两个是学习大数据的基础，学习的顺序不分前后。

Java ：只要了解一些基础即可，做大数据不需要很深的Java 技术，学java SE 就相当于有学习大数据基础。

Linux：因为大数据相关软件都是在Linux上运行的，所以Linux要学习的扎实一些，学好Linux对你快速掌握大数据相关技术会有很大的帮助，能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置，能少踩很多坑，学会shell就能看懂脚本这样能更容易理解和配置大数据集群。还能让你对以后新出的大数据技术学习起来更快。

Hadoop：这是现在流行的大数据处理平台几乎已经成为大数据的代名词，所以这个是必学的。Hadoop里面包括几个组件HDFS、MapRece和YARN，HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面，MapRece是对数据进行处理计算的，它有个特点就是不管多大的数据只要给它时间它就能把数据跑完，但是时间可能不是很快所以它叫数据的批处理。

Zookeeper：这是个万金油，安装Hadoop的HA的时候就会用到它，以后的Hbase也会用到它。它一般用来存放一些相互协作的信息，这些信息比较小一般不会超过1M，都是使用它的软件对它有依赖，对于我们个人来讲只需要把它安装正确，让它正常的run起来就可以了。

Mysql：我们学习完大数据的处理了，接下来学习学习小数据的处理工具mysql数据库，因为一会装hive的时候要用到，mysql需要掌握到什么层度那?你能在Linux上把它安装好，运行起来，会配置简单的权限，修改root的密码，创建数据库。这里主要的是学习SQL的语法，因为hive的语法和这个非常相似。

Sqoop：这个是用于把Mysql里的数据导入到Hadoop里的。当然你也可以不用这个，直接把Mysql数据表导出成文件再放到HDFS上也是一样的，当然生产环境中使用要注意Mysql的压力。

Hive：这个东西对于会SQL语法的来说就是神器，它能让你处理大数据变的很简单，不会再费劲的编写MapRece程序。有的人说Pig那?它和Pig差不多掌握一个就可以了。

Oozie：既然学会Hive了，我相信你一定需要这个东西，它可以帮你管理你的Hive或者MapRece、Spark脚本，还能检查你的程序是否执行正确，出错了给你发报警并能帮你重试程序，最重要的是还能帮你配置任务的依赖关系。我相信你一定会喜欢上它的，不然你看着那一大堆脚本，和密密麻麻的crond是不是有种想屎的感觉。

Hbase：这是Hadoop生态体系中的NOSQL数据库，他的数据是按照key和value的形式存储的并且key是唯一的，所以它能用来做数据的排重，它与MYSQL相比能存储的数据量大很多。所以他常被用于大数据处理完成之后的存储目的地。

Kafka：这是个比较好用的队列工具，队列是干吗的?排队买票你知道不?数据多了同样也需要排队处理，这样与你协作的其它同学不会叫起来，你干吗给我这么多的数据(比如好几百G的文件)我怎么处理得过来，你别怪他因为他不是搞大数据的，你可以跟他讲我把数据放在队列里你使用的时候一个个拿，这样他就不在抱怨了马上灰流流的去优化他的程序去了，因为处理不过来就是他的事情。而不是你给的问题。当然我们也可以利用这个工具来做线上实时数据的入库或入HDFS，这时你可以与一个叫Flume的工具配合使用，它是专门用来提供对数据进行简单处理，并写到各种数据接受方(比如Kafka)的。

Spark：它是用来弥补基于MapRece处理数据速度上的缺点，它的特点是把数据装载到内存中计算而不是去读慢的要死进化还特别慢的硬盘。特别适合做迭代运算，所以算法流们特别稀饭它。它是用scala编写的。Java语言或者Scala都可以操作它，因为它们都是用JVM的。

㈢ 什么是大数据和大数据平台

大数据其实是很多的额知识进行累加，然后从里面选取一些有用有价值的信息

㈣ 大数据管理平台是什么是如何应用的

大数据体现在方方面面，例如纽约有家公司就以大数据思维融入了管理制度，成立了一种预测模式，来根据过去和现在的数据精确地预测员工在未来一段时间内的工作情况。

㈤ 什么是大数据采集平台

大数据平台与数据采集

任何完整的大数据平台，一般包括以下的几个过程：

数据采集–>数据存储–>数据处理–>数据展现(可视化，报表和监控)

大数据采集：就是对数据进行ETL操作，通过对数据进行提取、转换、加载，最终挖掘数据的潜在价值。然后提供给用户解决方案或者决策参考。ETL，是英文 Extract-Transform-Load 的缩写，数据从数据来源端经过抽取（extract）、转换（transform）、加载（load）到目的端，然后进行处理分析的过程。

㈥ 大数据服务平台是什么有什么用

现今社会每时每刻都在产生数据，企业内部的经营交易信息、物联网世界中的商品物流信息，互联网世界中的人与人交互信息、位置信息等，我们身边处处都有大数据。而大数据服务平台则是一个集数据接入、数据处理、数据存储、查询检索、分析挖掘等、应用接口等为一体的平台，然后通过在线的方式来提供数据资源、数据能力等来驱动业务发展的服务，国外如Amazon ，Oracle，IBM，Microsoft...国内如华为，商理事等公司都是该服务的践行者。

㈦ 大数据是什么

你好，大数据是指巨量的数据，指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。

当下，大数据技术作为新兴技术被许多互联网大厂所需，以华为为例。

1、华为云推出大数据稽核方案解决偷逃费

很多朋友可能发现,部分省界收费站变少而ETC通道在增加,高速公路的出行体验比以前更加顺畅。然而,在公众体验节省费用、便捷通行等利好的同时,高速公路的管理运营单位却饱受新情况的困扰。

部分车主偷逃费方式多样化,包括换卡逃费、车头挂车分离逃费、倒换电子标签、ETC车道跟车逃费等。同时偷逃费行为向专业化、团伙化演变,给高速运营单位带来大量经济损失和严峻挑战。

以华为为例，华为给1-3年经验的大数据开发工程师开到了高达4万的月薪，在其他大厂的招聘中30k-60k的大数据开发工程师，也只要1-3年工作经验，可以说大数据、云计算仍是当下的红利岗位。

希望我的回答对你有所帮助！

㈧ 大数据平台特点是什么

1. 高效分布式

有必要是高效的分布式体系。物联网发生的数据量巨大，仅我国而言，就有5亿多台智能电表，每台电表每隔15分钟采集一次数据，一天全国智能电表就会发生500多亿条记载。这么大的数据量，任何一台服务器都无能力处理，因而处理体系有必要是分布式的，水平扩展的。

2. 实时处理

有必要是实时处理的体系。互联网大数据处理，大家所了解的场景是用户画像、推荐体系、舆情分析等等，这些场景并不需求什么实时性，批处理即可。可是关于物联网场景，需求根据采集的数据做实时预警、决议计划，延时要控制在秒级以内。

3. 高牢靠性

需求运营商等级的高牢靠服务。物联网体系对接的往往是生产、经营体系，假如数据处理体系宕机，直接导致停产，发生经济有丢失、导致对终端顾客的服务无法正常供给。比方智能电表，假如体系出问题，直接导致的是千家万户无法正常用电。

4. 高效缓存

需求高效的缓存功用。绝大部分场景，都需求能快速获取设备当前状态或其他信息，用以报警、大屏展示或其他。体系需求供给一高效机制，让用户能够获取全部、或契合过滤条件的部分设备的最新状态。

5. 实时流式核算

需求实时流式核算。各种实时预警或猜测现已不是简单的根据某一个阈值进行，而是需求经过将一个或多个设备发生的数据流进行实时聚合核算，不只是根据一个时间点、而是根据一个时间窗口进行核算。不仅如此，核算的需求也适当杂乱，因场景而异，应容许用户自定义函数进行核算。