大量数据软件有哪些

Ⅰ 数据库软件都有那些

企业里常用的数据库软件有Mysql、PostgreSQL、MicrosoftSQLServer、Oracle数据库、MongoDB。

1、Mysql。

MySQL原本是一个开放源码的关系数据库管理系统，原开发者为瑞典的MySQLAB公司，该公司于2008年被升阳微系统（SunMicrosystems）收购。2009年，甲骨文公司（Oracle）收购升阳微系统公司，MySQL成为Oracle旗下产品。

MySQL由于性能高、成本低、可靠性好，已经成为最流行的开源数据库，因此被广泛地应用在Internet上的中小型网站中。随着MySQL的不断成熟，它也逐渐用于更多大规模网站和应用。

2、PostgreSQL。

PostgreSQL可以说是目前功能最强大、特性最丰富和结构最复杂的开源数据库管理系统，其中有些特性甚至连商业数据库都不具备。这个起源于加州大学伯克利分校的数据库，现已成为一项国际开发项目，并且拥有广泛的用户群，尤其是在海外，目前国内使用者也越来越多。

PostgreSQL基本上算是见证了整个数据库理论和技术的发展历程，由UCB计算机教授MichaelStonebraker于1986年创建。在此之前，Stonebraker教授主导了关系数据库Ingres研究项目，88年，提出了Postgres的第一个原型设计。

MySQL号称是使用最广泛的开源数据库，而PG则被称为功能最强大的开源数据库。

3、MicrosoftSQLServer。

SQLServer是Microsoft开发的一个关系数据库管理系统(RDBMS)，现在是世界上最为常用的数据库。SQLServer现在是包括内置的商务智能工具，以及一系列的分析和报告工具，可以创建数据库、备份、复制、安全性更好以及更多。

SQLServer是一个高度可扩展的产品，可以从一个单一的笔记本电脑上运行的任何东西或以高倍云服务器网络，或在两者之间任何东西。虽然说是“任何东西”，但是仍然要满足相关的软件和硬件的要求。

4、Oracle数据库。

Oracle数据库系统是美国Oracle（甲骨文）公司提供的以分布式数据库为核心的一组软件产品，是目前最流行的客户/服务器（Client/Server，C/S）或浏览器/服务器（Browser/Server，B/S）体系结构的数据库之一。

Oracle数据库是目前世界上使用最为广泛的数据库管理系统，作为一个通用的数据库系统，它具有完整的数据管理功能；作为一个关系数据库，它是一个完备关系的产品；作为分布式数据库它实现了分布式处理功能。

5、MongoDB

mongoDB是一个介于关系数据库和非关系数据库之间的开源产品，是最接近于关系型数据库的NoSQL数据库。它在轻量级JSON交换基础之上进行了扩展，即称为BSON的方式来描述其无结构化的数据类型。尽管如此它同样可以存储较为复杂的数据类型。

参考资料来源：网络——Mysql

参考资料来源：网络——PostgreSQL

参考资料来源：网络——MicrosoftSQLServer

参考资料来源：网络——Oracle数据库

参考资料来源：网络——MongoDB

Ⅱ 大数据分析工具有哪些

大数据分析工具有：

1、R-编程

R 编程是对所有人免费的最好的大数据分析工具之一。它是一种领先的统计编程语言，可用于统计分析、科学计算、数据可视化等。R 编程语言还可以扩展自身以执行各种大数据分析操作。

在这个强大的帮助下；语言，数据科学家可以轻松创建统计引擎，根据相关和准确的数据收集提供更好、更精确的数据洞察力。它具有类数据处理和存储。我们还可以在 R 编程中集成其他数据分析工具。

除此之外，您还可以与任何编程语言（例如 Java、C、Python）集成，以提供更快的数据传输和准确的分析。R 提供了大量可用于任何数据集的绘图和图形。

2、Apache Hadoop

Apache Hadoop 是领先的大数据分析工具开源。它是一个软件框架，用于在商品硬件的集群上存储数据和运行应用程序。它是由软件生态系统组成的领先框架。

Hadoop 使用其 Hadoop 分布式文件系统或 HDFS 和 MapRece。它被认为是大数据分析的顶级数据仓库。它具有在数百台廉价服务器上存储和分发大数据集的惊人能力。

这意味着您无需任何额外费用即可执行大数据分析。您还可以根据您的要求向其添加新节点，它永远不会让您失望。

3、MongoDB

MongoDB 是世界领先的数据库软件。它基于 NoSQL 数据库，可用于存储比基于 RDBMS 的数据库软件更多的数据量。MongoDB 功能强大，是最好的大数据分析工具之一。

它使用集合和文档，而不是使用行和列。文档由键值对组成，即MongoDB 中的一个基本数据单元。文档可以包含各种单元。但是大小、内容和字段数量因 MongoDB 中的文档而异。

MongoDB 最好的部分是它允许开发人员更改文档结构。文档结构可以基于程序员在各自的编程语言中定义的类和对象。

MongoDB 有一个内置的数据模型，使程序员能够理想地表示层次关系来存储数组和其他元素。

4、RapidMiner

RapidMiner 是分析师集成数据准备、机器学习、预测模型部署等的领先平台之一。它是最好的免费大数据分析工具，可用于数据分析和文本挖掘。

它是最强大的工具，具有用于分析过程设计的一流图形用户界面。它独立于平台，适用于 Windows、Linux、Unix 和 macOS。它提供各种功能，例如安全控制，在可视化工作流设计器工具的帮助下减少编写冗长代码的需要。

它使用户能够采用大型数据集在 Hadoop 中进行训练。除此之外，它还允许团队协作、集中工作流管理、Hadoop 模拟等。

它还组装请求并重用 Spark 容器以对流程进行智能优化。RapidMiner有五种数据分析产品，即RapidMiner Studio Auto Model、Auto Model、RapidMiner Turbo Prep、RapidMiner Server和RapidMiner Radoop。

5、Apache Spark

Apache Spark 是最好、最强大的开源大数据分析工具之一。借助其数据处理框架，它可以处理大量数据集。通过结合或其他分布式计算工具，在多台计算机上分发数据处理任务非常容易。

它具有用于流式 SQL、机器学习和图形处理支持的内置功能。它还使该站点成为大数据转换的最快速和通用的生成器。我们可以在内存中以快 100 倍的速度处理数据，而在磁盘中则快 10 倍。

除此之外，它还拥有 80 个高级算子，可以更快地构建并行应用程序。它还提供 Java 中的高级 API。该平台还提供了极大的灵活性和多功能性，因为它适用于不同的数据存储，如 HDFS、Openstack 和 Apache Cassandra。

6、Microsoft Azure

Microsoft Azure 是领先的大数据分析工具之一。Microsoft Azure 也称为 Windows Azure。它是 Microsoft 处理的公共云计算平台，是提供包括计算、分析、存储和网络在内的广泛服务的领先平台。

Windows Azure 提供两类标准和高级的大数据云产品。它可以无缝处理大量数据工作负载。

除此之外，Microsoft Azure 还拥有一流的分析能力和行业领先的 SLA 以及企业级安全和监控。它也是开发人员和数据科学家的最佳和高效平台。它提供了在最先进的应用程序中很容易制作的实时数据。

无需 IT 基础架构或虚拟服务器进行处理。它可以轻松嵌入其他编程语言，如 JavaScript 和 C#。

7、Zoho Analytics

Zoho Analytics 是最可靠的大数据分析工具之一。它是一种 BI 工具，可以无缝地用于数据分析，并帮助我们直观地分析数据以更好地理解原始数据。

同样，任何其他分析工具都允许我们集成多个数据源，例如业务应用程序、数据库软件、云存储、CRM 等等。我们还可以在方便时自定义报告，因为它允许我们生成动态且高度自定义的可操作报告。

在 Zoho 分析中上传数据也非常灵活和容易。我们还可以在其中创建自定义仪表板，因为它易于部署和实施。世界各地的用户广泛使用该平台。此外，它还使我们能够在应用程序中生成评论威胁，以促进员工和团队之间的协作。

它是最好的大数据分析工具，与上述任何其他工具相比，它需要的知识和培训更少。因此，它是初创企业和入门级企业的最佳选择。

以上内容参考 网络——大数据分析

Ⅲ 国内比较好的大数据分析软件有哪些

数据分析软件有Excel、R、Python、BI工具，行业内普遍用的多的是Excel和BI，掌握这两个就可以满足大部分业务需求

1、Excel

大家耳熟能详的软件了，数据分析领域入门级的工具，也是日常工作时最常用的工具，常用的功能就是数据透视表，再复杂一点就用VBA。

2、R和Python

上手比较简单，数据导入和导出操作便捷，数据分析场景如下表：

3、BI（商业智能）工具

先科普一下什么是BI，它主要用来解决什么？

在这里引用个场景来形象解释：现在大多数企业都上了OA、ERP、CRM等系统，而这些系统运行一段时间以后，必然帮助企业收集了大量的历史数据。但是，在数据库中分散、独立存在的大量数据对于业务人员来说，只是一些无法看懂的天书。

而业务人员所需要的是信息，是他们能够看懂、理解并从中受益的具体信息。此时，如何把数据转化为易懂的信息，使得业务人员（包括管理者）能够充分掌握、利用这些信息，并且辅助决策，就是商业智能即BI主要解决的问题。

Ⅳ 大数据平台的软件有哪些

这个要分好几块来讲，首先我要说明的是大数据项目也是要有很多依赖的模块的。每个模块的软件不一样，下面分别聊一下。

一、大数据处理

这个是所谓大数据项目中最先想到的模块。主要有spark，hadoop，es，kafka，hbase，hive等。

当然像是flume，sqoop也都很常用。

这些软件主要是为了解决海量数据处理的问题。软件很多，我只列几个经典的，具体可以自行网络。

二、机器学习相关

大部分大数据项目都和机器学习相关。因此会考虑到机器学习的一些软件，比如说sklearn，spark的ml，当然还有自己实现的代码。

三、web相关技术

大部分项目也都跑不了一个web的展示，因此web就很重要的，java的ssh，python的django都可以，这个看具体的项目组习惯了。

四、其它

还有一些很常用的东西，个人感觉不完全算是大数据特定使用范橘埋高围。反正我在做大数据项目的时候也都用到了。

比如说数据存储：redis，mysql。

数据可视化：echart，d3js。

图数据库：neo4j。

再来说说大数据平台的软件或者工具：

1、数据库，大数据平台类，星环，做Hadoop生态系列的大数据平台圆尺公司。Hadoop是开源的，星环主要做的是把Hadoop不稳定的部分优化，功能细化，为企业提供Hadoop大数据引擎及液键数据库工具。

2、大数据存储硬件类，浪潮，很老牌的IT公司，国资委控股，研究大数据方面的存储，在国内比较领先。

3、云计算，云端大数据类，阿里巴巴，明星产品-阿里云，与亚马逊AWS抗衡，做公有云、私有云、混合云。实力不差，符合阿里巴巴的气质，很有野心。

4、数据应用方面这个有很多，比如帆软旗下的FineReport报表系统和FineBI大数据分析平台等。

帆软是商业智能和数据分析平台提供商，从报表工具到商业智能，有十多年的数据应用的底子，在这个领域很成熟，目前处于快速成长期，但是很低调，是一家有技术有实力而且对客户很真诚的公司。

Ⅳ 大数据平台的软件有哪些

一、Phoenix
简介：这是一个Java中间层，可以让开发者在Apache HBase上执行SQL查询。Phoenix完全使用Java编写，代码位于GitHub上，并且提供了一个客户端可嵌入的JDBC驱动。
Phoenix查询引擎会将SQL查询转换为一个或多个HBase scan，并编排执行以生成标准的JDBC结果集。直接使用HBase API、协同处理器与自定义过滤器，对于简单查询来说，其性能量级是毫秒，对于百万级别的行数来说，其性能量级是秒
二、Stinger
简介：原叫Tez，下一代Hive,Hortonworks主导开发，运行在YARN上的DAG计算框架。
某些测试下，Stinger能提升10倍左右的性能，同时会让Hive支持更多的SQL，其主要优点包括：
❶让用户在Hadoop获得更多的查询匹配。其中包括类似OVER的字句分析功能，支持WHERE查询，让Hive的样式系统更符合SQL模型。
❷优化了Hive请求执行计划，优化后请求时间减少90%。改动了Hive执行引擎，增加单Hive任务的被秒处理记录数。
❸在Hive社区中引入了新的列式文件格式（如ORC文件），提供一种更现代、高效和高性能的方式来储存Hive数据。
三、Presto
简介：Facebook开源的数据查询引擎Presto ，可对250PB以上的数据进行快速地交互式分析。该项目始于 2012 年秋季开始开发，目前该项目已经在超过 1000 名 Facebook 雇员中使用，运行超过 30000 个查询，每日数据在 1PB 级别。Facebook 称 Presto 的性能比诸如 Hive 和 Map*Rece 要好上 10 倍有多。
Presto 当前支持 ANSI SQL 的大多数特效，包括联合查询、左右联接、子查询以及一些聚合和计算函数；支持近似截然不同的计数(DISTINCT COUNT)等。

Ⅵ 大数据时代的数据管理可以使用哪些软件(大数据用什么软件)

数据是平台运营商袭简的重要资产，可能提供API接口允许第三方有限度地使用，但是显然是为了增强自身的业务，与此目的抵触的行为都会受到约束。

收集数据主要是通过计算机和网络。凡是经过计算机处理的数据都很容易收集，比如浏览器里的粗中搜索、点击、网上购物、其他数据拍凳裤（比如气温、海水盐度、地震波）可以通过传感器转化成数字信号输入计算机。

收集到的数据一般要先经过整理，常用的软件：Tableau和Impure是功能比较全面的，Refine和Wrangler是比较纯粹的数据整理工具，Weka用于数据挖掘。

Hadoop是一个能够对大量数据进行分布式处理的软件框架。用于统计分析的R语言有个扩展RHadoop，可以在Hadoop集群上运行R代码。更具体的自己搜索吧。

可视化输出的工具很多。建议参考wikipedia的“数据可视化”条目。

Tableau、Impure都有可视化功能。R语言也可以绘图。

还有很多可以用来在网页上实现可视化输出的框架或者控件。

大致基于四种技术：Flash(Flex)或者JS(HTML5)或者Java或者ASP.NET(Silverlight)

Flash的有Degrafa、BirdEye、Axiis、OpenFlashChart

JS的有Ajax.org、SenchaExtJS、Filament、jQchart、Flot、Sparklines、gRaphael、TufteGraph、Exhibit、PlotKit、、MilkChart、GoogleChartAPI、Protovis

Java的有Choosel、google--java、GWTChronoscope、JFreeChart

ASP.NET的有TelerikCharts、Visifire、DundasChart

目前我比较喜欢d3(Data-DrivenDocuments)，图形种类丰富，有交互能力，你可以去d3js.org看看，有很多种图形的demo。

Ⅶ 大数据分析工具有哪些,好用的有吗

大数据分析的前瞻性使得很多公司以及企业都开始使用大数据分析对公司的决策做出帮助，而大数据分析是去分析海量的数据差闷笑，所以就不得不借助一些工具去分析大数据，。一般来说，数据分析工作中都是有很多层次的，这些层次分别是数据存储层、数据报表层、数据分析层、数据展现层。对于不同的层次是有不同的工具进行工作的。下面小编就对大数据分析工具给大家好好介绍一下。

首先我们从数据存储来讲数据分析的工具。我们在分析数据的时候首先需要存储数据，数据的存储是一个非常重要的事情，如果懂得数据库技术，并且能够操作好数据库技术，这就能够提高数据分析的效率。而数据存储的工具主要是以下的工具。

1、MySQL数据库，这个对于部门级或者互联网的数据库应用是必要的，这个时候关键掌握数据库的库结构和SQL语言的数据查询能力。

2、SQLServer的最新版本，对中小企业，一些大型企业也可以采用SQLServer数据库，其实这个时候本身除了数据存储，也包括了数据报表和数据分析了，甚至数据挖掘工具都在其中了。

3、DB2，Oracle数据库都是大型数据库了，主要是企业级，特别是大型企业或者对数据海量存储需求的就是必须的了，一般大型数据库公司都提供非常好的数据整合应用平台;

接着说数据报表层。一般来说，当企业存储了数据后，首先要解决报表的问题。解决报表的问题才能够正确的分析好数据库。关于数据报表所用到的数据分析工具就是以下的工具。

1、CrystalReport水晶报表，Bill报表，这都是全球最流行的报表工具，非常规范的报表设计思想，早期商业智能其实大部分人的理解就是报表系统，不借助IT技术人员就可以获取企业各种信息——报表。

2、Tableau软件，这个软件是近年来非常棒的一个软件，当然它已经不是单纯的数据报表虚含软件了，而是更为可视化的数据分析软件，因为很多人经常用它来从数据库中进行报表和可视化分析。

第三说的是数据分析层。这个层其实有很多分析工具，当然我们最常用的就是Excel，我经常用的就是统计分析和数据挖掘工具;

1、Excel软件，首先版本越高越好用这是肯定的;当然对Excel来讲很多人只是掌握了5%Excel功能，Excel功能非常强大，甚至可以完成所有的统计分析工作!但是我也常说，有能力把Excel玩成统计工具不如专门学会统计软件;

2、SPSS软件：当前版本是18，名字也改成了PASWStatistics;我从3.0开始Dos环境下编程分析，到现在版本的变迁也可以看出SPSS社会科学统计软件包的变化，从重视医学、化学等开始越来越重视商业分析，现在已经成为了预测分析软件。

最后说表现层的软件。一般来说表现层的软件都是很实用的工具。表现层的软件就是下面提到的内容。

1、PowerPoint软件：大部分人都是用PPT写报告。

2、Visio、SmartDraw软件：这些都是非常好用的流程图、营销图表、地图等，而且从这里可以得到罩掘很多零件;

3、SwiffChart软件：制作图表的软件，生成的是Flash。

Ⅷ 大数据分析一般用什么工具分析_大数据的分析工具主要有哪些

在大数据处理分析过程中常用的六大工具：

1、Hadoop

Hadoop是一个能够对大量数据进行分布式处理的软件框架。但是Hadoop是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。Hadoop还是可伸缩的，能够处理PB级数据。此外，Hadoop依赖于社区服务器，因此它的成本比较低，任何人都可以使用。

2、HPCC

HPCC，HighPerformanceComputingand(高性能计算与通信)的缩写。1993年，由美国科学、工程、技术联邦协调理事会向国会提交了“重大挑战项目：高性能计算与通信”的报告，也就是被称为HPCC计划的报告，即美国总统科学战略项目，其目的是通过加强研究与开发解决一批重要的科学与技术挑战问题。HPCC是美国实施信息高速公路而上实施的指槐芦计划，该计划的实施将耗资百亿美元，其主要目标要达到：开发可扩展的计算系统及相关软件，以支持太位级网络传输性能，开发千兆比特网络技术，扩展研究和教育机构及网络连接能力。

3、Storm

Storm是自由的开源软件，一个分布式的、容错的实时计算系统。Storm可以非常可靠的处理庞大的数据流，用于处理Hadoop的批量数据。Storm很简单，支持许多种编程语言，使用起来非常有趣明余。

4、ApacheDrill

为了帮助企业用户寻找更为有效、加快Hadoop数据查询的方法，Apache软件基金会近日发起了一项名为“Drill”的开源项目。ApacheDrill实现了Google'sDremel.

据Hadoop厂商MapR公司产品经理TomerShiran介绍，“Drill”已经作为Apache孵化器项目来运作，将面向全球软件工程师持续推广。

5、RapidMiner

RapidMiner是世界领先的数据挖掘解决方案，在一个非常大的程度上有着先进技术。它数据挖掘任务涉及范围广泛，包括各种数据艺术，能简化数据挖掘过程的设计和评价。

6、PentahoBI

PentahoBI平台不同于传统的BI产品，它是一个以流程为中心的，面向解决方案(Solution)的框架。其目的在于将一系列企业级BI产品、开源软件、API等等组件集成起来，方便商务智能应用的开发。它的出现，使得一系列的面向商务智能的独立产品如Jfree、Quartz等等，能够集成在一起，构成一项项复杂的、完整的商务智能解决方案。

1、大数据是一个含义广泛的术语，是指数据集，如此庞大而复杂的，他们需要专门设计的硬件和软件工具进行处理。该数据集通常是万亿或EB的大小。

2、这些数据集收集自各种各样的来源：

a、传感器、气候信息、公开的信息、如杂志、报纸、文章。

b、大数据产生的其他例子包括购买交易记录、网络日志、病历、事监控、视频和图像档案、及大型电子商务。

c、大数据分析是在研究大量的数据的过程中寻找模式，相关性和其他唯带有用的信息，可以帮助企业更好地适应变化，并做出更明智的决策。

Ⅸ 大数据处理软件用什么比较好

常见的数据处理软件有Apache Hive、SPSS、Excel、Apache Spark、Jaspersoft BI 套件。

1、Apache Hive

Hive是一个建立在Hadoop上的开源数据仓库基础设施，通过Hive可以很容易的进行数据的ETL,对数据进行结构化处理,并对Hadoop上大数据文件进行查询和处理等。 Hive提供了一种简单的类似SQL的查询语言—HiveQL,这为熟悉SQL语言的用户查询数据提供了方便。

数据分析与处理方法：

采集

在大数据的采集过程中，其主要特点和挑战是并发数高，因为同时有可能会有成千上万的用户来进行访问和操作，比如火车票售票网站和淘宝，它们并发的访问量在峰值时达到上百万，所以需要在采集端部署大量数据库才能支撑。

并且如何在这些数据库之间进行负载均衡和分片的确是需要深入的思考和设计。

统计/分析

统计与分析主要利用分布式数据库，或者分布式计算集群来对存储于其内的大量数据进行普通的分析和分类汇总等，以满足大多数常见的分析需求，在这方面，一些实时性需求会用到EMC的GreenPlum、Oracle的Exadata，以及基于MySQL的列式存储Infobright等。

而一些批处理，或者基于半结构化数据的需求可以使用Hadoop。统计与分析这部分的主要特点和挑战是分析涉及的数据量大，其对系统资源，特别是I/O会有极大的占用。

导入/预处理

虽然采集端本身会有很多数据库，但是如果要对这些大量数据进行有效的分析，还是应该将这些来自前端的数据导入到一个集中的大型分布式数据库，或者分布式存储集群，并且可以在导入基础上做一些简单的清洗和预处理工作。

也有一些用户会在导入时使用来自Twitter的Storm来对数据进行流式计算，来满足部分业务的实时计算需求。导入与预处理过程的特点和挑战主要是导入的数据量大，每秒钟的导入量经常会达到百兆，甚至千兆级别。