数据平台是什么

① 什么是科学数据平台

数据科学平台科赛网（Kesci.com）对外宣布，因公司战略升级，品牌正式更名为“和鲸科技”，专注为企业提供数据化及AI转型解决方案。作为数据分析和人工智能领域的基础服务公司，科赛网的品牌更新，无疑在这个冬天为人工智能和大数据产业注入了新鲜活力。
据数据商业家相关报道了解，2015年成立的科赛网，是国内最早的数据科学平台之一。从对标Kaggle推出中国的数据科学家社区，聚集起最开始涉足该领域的数据科学人才，再到引入Jupyter Notebook范式，并整合了Docker与Kubernetes容器化技术，研发出在线数据科学开发工具KesciLab，迅速填补了国内在数据化及AI转型领域的空白。
2017年7月，科赛网获得了AI领域的专业投资机构线性资本和翊翎资本的联合投资，创始人&CEO范向伟本人也在2018年8月2日荣登福布斯30 Under 30精英榜（30位30岁以下精英）。同时，和鲸旗下“数据科学平台”KesciLab在推出的两年时间里，得到了数据科学工作者和部分高校、科研机构、企业的认可，清华大学软件学院更是将K-Lab作为数据科学领域的专属教学平台使用。由数据商业家整理出的人工智能产业生态图也可以看出，中国在“数据科学平台”领域，已经拥有了众多强势品牌可以参与国际竞争，和鲸便是其中之一。

② 大数据平台是什么

大数据平台是为了计算,现今社会所产生的越来越大的数据量。以存储、运算、展现作为目的的平台。是允许开发者们或是将写好的程序放在“云”里运行，或是使用“云”里提供的服务，或二者皆是。

类似目前很多舆情监测软件大数据分析系统，大数据平台是一个集数据接入、数据处理、数据存储、查询检索、分析挖掘等、应用接口等为一体的平台。

③ 什么是大数据和大数据平台

大数据其实是很多的额知识进行累加，然后从里面选取一些有用有价值的信息

④ 数据中台跟大数据平台是什么关系

数据中台并不是大数据平台。两者的区别可以体现在以下2个方面：
1）数据中台是企业级的逻辑概念，体现企业 D2V（Data to Value）的能力，为业务提供服务的主要方式是数据 API；2）数据平台是在大数据基础上出现的融合了结构化和非结构化数据的数据基础平台，为业务提供服务的方式主要是直接提供数据集。

（大数据平台：网易有数）

⑤ 大数据平台是什么什么时候需要大数据平台如何建立大数据平台

首先我们要了解Java语言和Linux操作系统，这两个是学习大数据的基础，学习的顺序不分前后。

Java ：只要了解一些基础即可，做大数据不需要很深的Java 技术，学java SE 就相当于有学习大数据基础。

Linux：因为大数据相关软件都是在Linux上运行的，所以Linux要学习的扎实一些，学好Linux对你快速掌握大数据相关技术会有很大的帮助，能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置，能少踩很多坑，学会shell就能看懂脚本这样能更容易理解和配置大数据集群。还能让你对以后新出的大数据技术学习起来更快。

Hadoop：这是现在流行的大数据处理平台几乎已经成为大数据的代名词，所以这个是必学的。Hadoop里面包括几个组件HDFS、MapRece和YARN，HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面，MapRece是对数据进行处理计算的，它有个特点就是不管多大的数据只要给它时间它就能把数据跑完，但是时间可能不是很快所以它叫数据的批处理。

Zookeeper：这是个万金油，安装Hadoop的HA的时候就会用到它，以后的Hbase也会用到它。它一般用来存放一些相互协作的信息，这些信息比较小一般不会超过1M，都是使用它的软件对它有依赖，对于我们个人来讲只需要把它安装正确，让它正常的run起来就可以了。

Mysql：我们学习完大数据的处理了，接下来学习学习小数据的处理工具mysql数据库，因为一会装hive的时候要用到，mysql需要掌握到什么层度那?你能在Linux上把它安装好，运行起来，会配置简单的权限，修改root的密码，创建数据库。这里主要的是学习SQL的语法，因为hive的语法和这个非常相似。

Sqoop：这个是用于把Mysql里的数据导入到Hadoop里的。当然你也可以不用这个，直接把Mysql数据表导出成文件再放到HDFS上也是一样的，当然生产环境中使用要注意Mysql的压力。

Hive：这个东西对于会SQL语法的来说就是神器，它能让你处理大数据变的很简单，不会再费劲的编写MapRece程序。有的人说Pig那?它和Pig差不多掌握一个就可以了。

Oozie：既然学会Hive了，我相信你一定需要这个东西，它可以帮你管理你的Hive或者MapRece、Spark脚本，还能检查你的程序是否执行正确，出错了给你发报警并能帮你重试程序，最重要的是还能帮你配置任务的依赖关系。我相信你一定会喜欢上它的，不然你看着那一大堆脚本，和密密麻麻的crond是不是有种想屎的感觉。

Hbase：这是Hadoop生态体系中的NOSQL数据库，他的数据是按照key和value的形式存储的并且key是唯一的，所以它能用来做数据的排重，它与MYSQL相比能存储的数据量大很多。所以他常被用于大数据处理完成之后的存储目的地。

Kafka：这是个比较好用的队列工具，队列是干吗的?排队买票你知道不?数据多了同样也需要排队处理，这样与你协作的其它同学不会叫起来，你干吗给我这么多的数据(比如好几百G的文件)我怎么处理得过来，你别怪他因为他不是搞大数据的，你可以跟他讲我把数据放在队列里你使用的时候一个个拿，这样他就不在抱怨了马上灰流流的去优化他的程序去了，因为处理不过来就是他的事情。而不是你给的问题。当然我们也可以利用这个工具来做线上实时数据的入库或入HDFS，这时你可以与一个叫Flume的工具配合使用，它是专门用来提供对数据进行简单处理，并写到各种数据接受方(比如Kafka)的。

Spark：它是用来弥补基于MapRece处理数据速度上的缺点，它的特点是把数据装载到内存中计算而不是去读慢的要死进化还特别慢的硬盘。特别适合做迭代运算，所以算法流们特别稀饭它。它是用scala编写的。Java语言或者Scala都可以操作它，因为它们都是用JVM的。

⑥ 大数据服务平台是什么有什么用

现今社会每时每刻都在产生数据，企业内部的经营交易信息、物联网世界中的商品物流信息，互联网世界中的人与人交互信息、位置信息等，我们身边处处都有大数据。而大数据服务平台则是一个集数据接入、数据处理、数据存储、查询检索、分析挖掘等、应用接口等为一体的平台，然后通过在线的方式来提供数据资源、数据能力等来驱动业务发展的服务，国外如Amazon ，Oracle，IBM，Microsoft...国内如华为，商理事等公司都是该服务的践行者。

⑦ 大数据平台特点是什么

1. 高效分布式

有必要是高效的分布式体系。物联网发生的数据量巨大，仅我国而言，就有5亿多台智能电表，每台电表每隔15分钟采集一次数据，一天全国智能电表就会发生500多亿条记载。这么大的数据量，任何一台服务器都无能力处理，因而处理体系有必要是分布式的，水平扩展的。

2. 实时处理

有必要是实时处理的体系。互联网大数据处理，大家所了解的场景是用户画像、推荐体系、舆情分析等等，这些场景并不需求什么实时性，批处理即可。可是关于物联网场景，需求根据采集的数据做实时预警、决议计划，延时要控制在秒级以内。

3. 高牢靠性

需求运营商等级的高牢靠服务。物联网体系对接的往往是生产、经营体系，假如数据处理体系宕机，直接导致停产，发生经济有丢失、导致对终端顾客的服务无法正常供给。比方智能电表，假如体系出问题，直接导致的是千家万户无法正常用电。

4. 高效缓存

需求高效的缓存功用。绝大部分场景，都需求能快速获取设备当前状态或其他信息，用以报警、大屏展示或其他。体系需求供给一高效机制，让用户能够获取全部、或契合过滤条件的部分设备的最新状态。

5. 实时流式核算

需求实时流式核算。各种实时预警或猜测现已不是简单的根据某一个阈值进行，而是需求经过将一个或多个设备发生的数据流进行实时聚合核算，不只是根据一个时间点、而是根据一个时间窗口进行核算。不仅如此，核算的需求也适当杂乱，因场景而异，应容许用户自定义函数进行核算。