用于分析大量数据的软件有哪些

① 大数据分析工具有哪些

大数据分析工具有：

1、R-编程

R 编程是对所有人免费的最好的大数据分析工具之一。它是一种领先的统计编程语言，可用于统计分析、科学计算、数据可视化等。R 编程语言还可以扩展自身以执行各种大数据分析操作。

在这个强大的帮助下；语言，数据科学家可以轻松创建统计引擎，根据相关和准确的数据收集提供更好、更精确的数据洞察力。它具有类数据处理和存储。我们还可以在 R 编程中集成其他数据分析工具。

除此之外，您还可以与任何编程语言（例如 Java、C、Python）集成，以提供更快的数据传输和准确的分析。R 提供了大量可用于任何数据集的绘图和图形。

2、Apache Hadoop

Apache Hadoop 是领先的大数据分析工具开源。它是一个软件框架，用于在商品硬件的集群上存储数据和运行应用程序。它是由软件生态系统组成的领先框架。

Hadoop 使用其 Hadoop 分布式文件系统或 HDFS 和 MapRece。它被认为是大数据分析的顶级数据仓库。它具有在数百台廉价服务器上存储和分发大数据集的惊人能力。

这意味着您无需任何额外费用即可执行大数据分析。您还可以根据您的要求向其添加新节点，它永远不会让您失望。

3、MongoDB

MongoDB 是世界领先的数据库软件。它基于 NoSQL 数据库，可用于存储比基于 RDBMS 的数据库软件更多的数据量。MongoDB 功能强大，是最好的大数据分析工具之一。

它使用集合和文档，而不是使用行和列。文档由键值对组成，即MongoDB 中的一个基本数据单元。文档可以包含各种单元。但是大小、内容和字段数量因 MongoDB 中的文档而异。

MongoDB 最好的部分是它允许开发人员更改文档结构。文档结构可以基于程序员在各自的编程语言中定义的类和对象。

MongoDB 有一个内置的数据模型，使程序员能够理想地表示层次关系来存储数组和其他元素。

4、RapidMiner

RapidMiner 是分析师集成数据准备、机器学习、预测模型部署等的领先平台之一。它是最好的免费大数据分析工具，可用于数据分析和文本挖掘。

它是最强大的工具，具有用于分析过程设计的一流图形用户界面。它独立于平台，适用于 Windows、Linux、Unix 和 macOS。它提供各种功能，例如安全控制，在可视化工作流设计器工具的帮助下减少编写冗长代码的需要。

它使用户能够采用大型数据集在 Hadoop 中进行训练。除此之外，它还允许团队协作、集中工作流管理、Hadoop 模拟等。

它还组装请求并重用 Spark 容器以对流程进行智能优化。RapidMiner有五种数据分析产品，即RapidMiner Studio Auto Model、Auto Model、RapidMiner Turbo Prep、RapidMiner Server和RapidMiner Radoop。

5、Apache Spark

Apache Spark 是最好、最强大的开源大数据分析工具之一。借助其数据处理框架，它可以处理大量数据集。通过结合或其他分布式计算工具，在多台计算机上分发数据处理任务非常容易。

它具有用于流式 SQL、机器学习和图形处理支持的内置功能。它还使该站点成为大数据转换的最快速和通用的生成器。我们可以在内存中以快 100 倍的速度处理数据，而在磁盘中则快 10 倍。

除此之外，它还拥有 80 个高级算子，可以更快地构建并行应用程序。它还提供 Java 中的高级 API。该平台还提供了极大的灵活性和多功能性，因为它适用于不同的数据存储，如 HDFS、Openstack 和 Apache Cassandra。

6、Microsoft Azure

Microsoft Azure 是领先的大数据分析工具之一。Microsoft Azure 也称为 Windows Azure。它是 Microsoft 处理的公共云计算平台，是提供包括计算、分析、存储和网络在内的广泛服务的领先平台。

Windows Azure 提供两类标准和高级的大数据云产品。它可以无缝处理大量数据工作负载。

除此之外，Microsoft Azure 还拥有一流的分析能力和行业领先的 SLA 以及企业级安全和监控。它也是开发人员和数据科学家的最佳和高效平台。它提供了在最先进的应用程序中很容易制作的实时数据。

无需 IT 基础架构或虚拟服务器进行处理。它可以轻松嵌入其他编程语言，如 JavaScript 和 C#。

7、Zoho Analytics

Zoho Analytics 是最可靠的大数据分析工具之一。它是一种 BI 工具，可以无缝地用于数据分析，并帮助我们直观地分析数据以更好地理解原始数据。

同样，任何其他分析工具都允许我们集成多个数据源，例如业务应用程序、数据库软件、云存储、CRM 等等。我们还可以在方便时自定义报告，因为它允许我们生成动态且高度自定义的可操作报告。

在 Zoho 分析中上传数据也非常灵活和容易。我们还可以在其中创建自定义仪表板，因为它易于部署和实施。世界各地的用户广泛使用该平台。此外，它还使我们能够在应用程序中生成评论威胁，以促进员工和团队之间的协作。

它是最好的大数据分析工具，与上述任何其他工具相比，它需要的知识和培训更少。因此，它是初创企业和入门级企业的最佳选择。

以上内容参考 网络——大数据分析

② 大数据分析工具有哪些,好用的有吗

大数据分析的前瞻性使得很多公司以及企业都开始使用大数据分析对公司的决策做出帮助，而大数据分析是去分析海量的数据差闷笑，所以就不得不借助一些工具去分析大数据，。一般来说，数据分析工作中都是有很多层次的，这些层次分别是数据存储层、数据报表层、数据分析层、数据展现层。对于不同的层次是有不同的工具进行工作的。下面小编就对大数据分析工具给大家好好介绍一下。

首先我们从数据存储来讲数据分析的工具。我们在分析数据的时候首先需要存储数据，数据的存储是一个非常重要的事情，如果懂得数据库技术，并且能够操作好数据库技术，这就能够提高数据分析的效率。而数据存储的工具主要是以下的工具。

1、MySQL数据库，这个对于部门级或者互联网的数据库应用是必要的，这个时候关键掌握数据库的库结构和SQL语言的数据查询能力。

2、SQLServer的最新版本，对中小企业，一些大型企业也可以采用SQLServer数据库，其实这个时候本身除了数据存储，也包括了数据报表和数据分析了，甚至数据挖掘工具都在其中了。

3、DB2，Oracle数据库都是大型数据库了，主要是企业级，特别是大型企业或者对数据海量存储需求的就是必须的了，一般大型数据库公司都提供非常好的数据整合应用平台;

接着说数据报表层。一般来说，当企业存储了数据后，首先要解决报表的问题。解决报表的问题才能够正确的分析好数据库。关于数据报表所用到的数据分析工具就是以下的工具。

1、CrystalReport水晶报表，Bill报表，这都是全球最流行的报表工具，非常规范的报表设计思想，早期商业智能其实大部分人的理解就是报表系统，不借助IT技术人员就可以获取企业各种信息——报表。

2、Tableau软件，这个软件是近年来非常棒的一个软件，当然它已经不是单纯的数据报表虚含软件了，而是更为可视化的数据分析软件，因为很多人经常用它来从数据库中进行报表和可视化分析。

第三说的是数据分析层。这个层其实有很多分析工具，当然我们最常用的就是Excel，我经常用的就是统计分析和数据挖掘工具;

1、Excel软件，首先版本越高越好用这是肯定的;当然对Excel来讲很多人只是掌握了5%Excel功能，Excel功能非常强大，甚至可以完成所有的统计分析工作!但是我也常说，有能力把Excel玩成统计工具不如专门学会统计软件;

2、SPSS软件：当前版本是18，名字也改成了PASWStatistics;我从3.0开始Dos环境下编程分析，到现在版本的变迁也可以看出SPSS社会科学统计软件包的变化，从重视医学、化学等开始越来越重视商业分析，现在已经成为了预测分析软件。

最后说表现层的软件。一般来说表现层的软件都是很实用的工具。表现层的软件就是下面提到的内容。

1、PowerPoint软件：大部分人都是用PPT写报告。

2、Visio、SmartDraw软件：这些都是非常好用的流程图、营销图表、地图等，而且从这里可以得到罩掘很多零件;

3、SwiffChart软件：制作图表的软件，生成的是Flash。

③ 数据分析软件哪个最好用

数据分析软件最好用的有：

一、大数据分析工具——Hadoop

Hadoop是一个能够对大量数据进行分布式处理的软件框架。但是Hadoop是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。

Hadoop是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。Hadoop还是可伸缩的，能够处理PB级数据。此外，Hadoop依赖于社区服务器，因此它的成本比较低，任何人都可以使用。

④ 大数据分析一般用什么工具分析_大数据的分析工具主要有哪些

在大数据处理分析过程中常用的六大工具：

1、Hadoop

Hadoop是一个能够对大量数据进行分布式处理的软件框架。但是Hadoop是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。Hadoop还是可伸缩的，能够处理PB级数据。此外，Hadoop依赖于社区服务器，因此它的成本比较低，任何人都可以使用。

2、HPCC

HPCC，HighPerformanceComputingand(高性能计算与通信)的缩写。1993年，由美国科学、工程、技术联邦协调理事会向国会提交了“重大挑战项目：高性能计算与通信”的报告，也就是被称为HPCC计划的报告，即美国总统科学战略项目，其目的是通过加强研究与开发解决一批重要的科学与技术挑战问题。HPCC是美国实施信息高速公路而上实施的指槐芦计划，该计划的实施将耗资百亿美元，其主要目标要达到：开发可扩展的计算系统及相关软件，以支持太位级网络传输性能，开发千兆比特网络技术，扩展研究和教育机构及网络连接能力。

3、Storm

Storm是自由的开源软件，一个分布式的、容错的实时计算系统。Storm可以非常可靠的处理庞大的数据流，用于处理Hadoop的批量数据。Storm很简单，支持许多种编程语言，使用起来非常有趣明余。

4、ApacheDrill

为了帮助企业用户寻找更为有效、加快Hadoop数据查询的方法，Apache软件基金会近日发起了一项名为“Drill”的开源项目。ApacheDrill实现了Google'sDremel.

据Hadoop厂商MapR公司产品经理TomerShiran介绍，“Drill”已经作为Apache孵化器项目来运作，将面向全球软件工程师持续推广。

5、RapidMiner

RapidMiner是世界领先的数据挖掘解决方案，在一个非常大的程度上有着先进技术。它数据挖掘任务涉及范围广泛，包括各种数据艺术，能简化数据挖掘过程的设计和评价。

6、PentahoBI

PentahoBI平台不同于传统的BI产品，它是一个以流程为中心的，面向解决方案(Solution)的框架。其目的在于将一系列企业级BI产品、开源软件、API等等组件集成起来，方便商务智能应用的开发。它的出现，使得一系列的面向商务智能的独立产品如Jfree、Quartz等等，能够集成在一起，构成一项项复杂的、完整的商务智能解决方案。

1、大数据是一个含义广泛的术语，是指数据集，如此庞大而复杂的，他们需要专门设计的硬件和软件工具进行处理。该数据集通常是万亿或EB的大小。

2、这些数据集收集自各种各样的来源：

a、传感器、气候信息、公开的信息、如杂志、报纸、文章。

b、大数据产生的其他例子包括购买交易记录、网络日志、病历、事监控、视频和图像档案、及大型电子商务。

c、大数据分析是在研究大量的数据的过程中寻找模式，相关性和其他唯带有用的信息，可以帮助企业更好地适应变化，并做出更明智的决策。

⑤ 数据分析用什么软件

做数据分析，比较好用的软件有哪些？
数据分析软件有很多种，每一种都适合不同类型的人员。

简单说：

Excel：普遍适用，既有基础，又有中高级。中级一般用Excel透视表，高级的用Excel VBA。

hihidata：比较小众的数据分析工具。三分钟就可以学会直接上手。无需下载安装，直接在线就可以使用。

SPSS：专业统计软件，没有统计功底很难用的。同时包含了数据挖掘等高大功能。

SAS：专业统计软件，专业人士用的，不懂编程还是不要碰了。

MARLAB：建立统计与数学模型，但是比较难学，很难上手。

Eview：比较小众，建立一些经济类的模型还是很有用的。计量经济学中经常用到。

各种BI与报表工具：FineBI，FineReport，tableau，QlikView等。
比较好的数据分析软件有哪些？
SPSS是软件里比较简单的 ，学校里使用的比较多一些，可以采用菜单的模式 带少量的命令编辑MATLAB常常在建立统计和数学模型的时候比较好用 但是很难学 反正我学了一个学期楞是就知道个皮毛Finereport 兼顾了基本的数据录入与展现功能，一般的数据源都支持，学习成本比较低，比较适合企业级用户使用，SAS我没用过
网站数据分析工具哪个好用些阿？
推荐吆喝科技的ab测试，软件分析的数据比较全面和精准
学数据分析需要熟悉哪些软件基础
软件只是一个工具 看你要从事的数据分析的方向很深度而定

一般的用excel也可以进行常规简单的数据分析

再深入一点的用spss、stata、sas

如果要搞数据挖掘的话，用spss modeler / sas

不过一般的常规数据分析用excel和spss基本上能够应付
常用的数据分析工具有哪些
数据分析的概念太宽泛了，做需要的是侧重于数据展示、数据挖掘、还是数据存储的？是个人用还是企业、部门用呢？应用的场景是制作简单的个人图表，还是要做销售、财务还是供应链的分析？

那就说说应用最广的BI吧，企业级应用，其实功能上已经涵盖了我上面所述的部分，主要用于数据整合，构建分析，展示数据供决策分析的，譬如FineBI，是能够”智能”分析数据的工具了。
android数据分析工具用什么软件
1. 开源大数据生态圈

Hadoop HDFS、Hadoop MapRece, HBase、Hive 渐次诞生，早期Hadoop生态圈逐步形成。

开源生态圈活跃，并免费，但Hadoop对技术要求高，实时性稍差。

2. 商用大数据分析工具

一体机数据库/数据仓库（费用很高）

IBM PureData(Netezza), Oracle Exadata, SAP Hana等等。

数据仓库（费用较高）

Teradata AsterData, EMC GreenPlum, HP Vertica 等等。

数据集市（费用一般）

QlikView、 Tableau 、国内永洪科技Yonghong Data Mart 等等。

前端展现

用于展现分析的前端开源工具有JasperSoft，Pentaho, Spagobi, Openi, Birt等等。

用于展现分析商用分析工具有Cognos,BO, Microsoft, Oracle,Microstrategy,QlikView、 Tableau 、国内永洪科技Yonghong Z-Suite等等。
数据分析软件有哪些，他们分别的特点是什么
除了EXCEL 数据分析用的多的有以下几个软件，你看看你们公司符合哪个

SPSS（StatisticalProct and Service Solutions），“统计产品与服务解决方案”软件，是数据定量分析的工具，适用于社会科学（如经济分析，市场调研分析）和自然科学等林林总总的统计分析，国内使用的最多，领域也多。

SPSS就如一个傻瓜相机，界面友好，使用简单，但是功能强大，可以编程，能解决绝大部分统计学问题，适合初学者。它有一个可以点击的交互界面，能够使用下拉菜单来选择所需要执行的命令。它也有一个通过拷贝和粘贴的方法来学习其“句法”语言，但是这些句法通常非常复杂而且不是很直观。

SPSS致力于简便易行（其口号是“真正统计，确实简单”），并且取得了成功。但是如果你是高级用户，随着时间推移你会对它丧失兴趣。SPSS是制图方面的强手，由于缺少稳健和调查的方法，处理前沿的统计过程是其弱项。

SAS是全球最大的软件公司之一，是全球商业智能和分析软件与服务领袖。SAS由于其功能强大而且可以编程，很受高级用户的欢迎，也正是基于此，它是最难掌握的软件之一，多用于企业工作之中。

SAS就如一台单反相机，你需要编写SAS程序来处理数据，进行分析。如果在一个程序中出现一个错误，找到并改正这个错误将是困难的。在所有的统计软件中，SAS有最强大的绘图工具，由SAS/Graph模块提供。然而，SAS/Graph模块的学习也是非常专业而复杂，图形的制作主要使用程序语言。SAS适合高级用户使用。它的学习过程是艰苦的，正所谓“五年入门，十年精通”，最初的阶段会使人灰心丧气。然而它还是以强大的数据管理和同时处理大批数据文件的功能，得到高级用户的青睐。

R 是用于统计分析、绘图的语言和操作环境，属于GUN系统的一个自由、免费、源代码开放的软件，它是一个用于统计计算和统计制图的优秀工具，多用于论文，科研领域。

R的思想是：它可以提供一些集成的统计工具，但更大量的是它提供各种数学计算、统计计算的函数，从而使使用者能灵活机动的进行数据分析，甚至创造出符合需要的新的统计计算方法。因此R有很多最新的模型和检验方法，但是非常难自学，对英语的要求很高。R与SAS的区别在于，R是开放免费的，处理更灵活，同时对编程要求较高。
大数据是什么意思？哪些软件适合大数据分析？
大数据定义什么的网络很多。个人理解：现有的互联网数据量越来越大，面对这么大的数据量，如何利用好这些数据是极具挑战性的。一方面数据量提升，数据处理的方法必须改变，才能提高数据处理速度，比如大规模，高并发的网站访问，12306，淘宝天猫什么的；另一方面从这些海量数据中挖掘出有用的信息，比如根据淘宝根据用户点击访问，反馈出用户的喜好，给用户推荐相关商品。

推荐Hadoop，适合大数据处理的。

网上学习资料很多，自己搜去！

当然你也可以自己使用数据库MYSQL等去做大数据处理，这样很多Hadoop做好的东西都需要你自己去做。要是熟悉某个数据库，并且应用明确就用数据库自己去做吧！

加油！
数据分析软件哪个好
最常用的是spss,属于非专业统计学的! sas是专业的统计分析软件,需要编程用,都是专业人士用的 数据分析中的数据挖掘,可以使用spss公司的clementine
大数据分析一般用什么工具分析
在大数据处理分析过程中常用的六大工具：

Hadoop

Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop 是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。Hadoop 还是可伸缩的，能够处理 PB 级数据。此外，Hadoop 依赖于社区服务器，因此它的成本比较低，任何人都可以使用。

HPCC

HPCC，High Performance puting and munications(高性能计算与通信)的缩写。1993年，由美国科学、工程、技术联邦协调理事会向国会提交了“重大挑战项目：高性能计算与 通信”的报告，也就是被称为HPCC计划的报告，即美国总统科学战略项目，其目的是通过加强研究与开发解决一批重要的科学与技术挑战问题。HPCC是美国 实施信息高速公路而上实施的计划，该计划的实施将耗资百亿美元，其主要目标要达到：开发可扩展的计算系统及相关软件，以支持太位级网络传输性能，开发千兆 比特网络技术，扩展研究和教育机构及网络连接能力。

Storm

Storm是自由的开源软件，一个分布式的、容错的实时计算系统。Storm可以非常可靠的处理庞大的数据流，用于处理Hadoop的批量数据。Storm很简单，支持许多种编程语言，使用起来非常有趣。

Apache Drill

为了帮助企业用户寻找更为有效、加快Hadoop数据查询的方法，Apache软件基金会近日发起了一项名为“Drill”的开源项目。Apache Drill 实现了 Google's Dremel.

据Hadoop厂商MapR Technologies公司产品经理Tomer Shiran介绍，“Drill”已经作为Apache孵化器项目来运作，将面向全球软件工程师持续推广。

RapidMiner

RapidMiner是世界领先的数据挖掘解决方案，在一个非常大的程度上有着先进技术。它数据挖掘任务涉及范围广泛，包括各种数据艺术，能简化数据挖掘过程的设计和评价。

Pentaho BI

Pentaho BI 平台不同于传统的BI 产品，它是一个以流程为中心的，面向解决方案(Solution)的框架。其目的在于将一系列企业级BI产品、开源软件、API等等组件集成起来，方便商务智能应用的开发。它的出现，使得一系列的面向商务智能的独立产品如Jfree、Quartz等等，能够集成在一起，构成一项项复杂的、完整的商务智能解决方案。

⑥ 常见的数据分析软件有哪些

好的数据分析工具可以让数据分析事半功倍，更容易处理数据。分析一下市面上流行的四款大数据分析软件:
一、Excel
Excel使用人群众多是新手入门级数据分析工具，也是最基本的数据分析工具之一。Excel主要学习使用常用函数、快捷键操作、基本图表制作、数据透视表等。Excel具有多种强大的功能，可以满足大多数数据分析工作的需要。而且Excel提供了相当友好的操作界面，对于有基本统计理论的用户来说更容易上手。
二、SQL软件
SQL是一种数据库语言，它具有数据操作和数据定义功能，交互性强，能给用户带来很大方便。SQL专注于Select、聚合函数和条件查询。关联库是目前应用较广的数据库管理系统，技术较为成熟。这类数据库包括mysql.SQLServer.Oracle.Sybase.DB2等等。
SQL作为一种操作命令集，以其丰富的功能受到业界的广泛欢迎，成为提高数据库运行效率的保证。SQLServer数据库的应用可以有效提高数据请求和返回速度，有效处理复杂任务，是提高工作效率的关键。
三、Python软件
Python提供了能够简单有效地对对象进行编程的高级数据结构。Python语法和动态类型，以及解释性语言的本质，使它成为大多数平台上写脚本和快速开发应用的编程语言，并可用于可定制软件中的扩展程序语言。丰富的Python标准库提供了源代码或机器代码，适用于各种主要系统平台。Python有极其简单的解释文档，所以更容易上手。
四、BI工具
BI工具是商业智能(Busines Inteligence)分析工具的英文缩写。它是一个完整的大数据分析解决方案，可以有效地整合企业中现有的数据，快速准确地提供报表和帮助领导作出决策的数据依据，帮助企业做出明智的业务决策。BI工具是根据数据分析过程设计的。首先是数据处理，数据清理，然后是数据建模，最后是数据可视化，用图表识别问题，影响决策。
在思迈特软件Smartbi的例子中，Smartbi以工作流的形式为库表提取数据模型的语义，通过可视化工具来处理数据，使其成为具有语义一致性和完整性的数据模型；它也增强了自助式数据集建立数据模型的能力。该系统支持的数据预处理方法有：采样、分解、过滤与映射、列选择、空值处理、合并列、合并行、元数据编辑、线选择、重复值清除、排序等等。
它能通过表格填写实现数据采集和补录，并能对数据源进行预先整合和处理，通过简单的拖放产生各种可视图。同时，提供了丰富的图标组件，可实时显示相关信息，便于利益相关者对整个企业进行评估。
目前市场上的大数据分析软件很多，如何选择取决于企业自身的需求。因此，企业在购买数据分析软件之前，首先要了解企业数据分析的目的是什么。假如你是数据分析的新手，对需求了解不多，不妨多试试BI工具，BI工具在新手数据分析方面还是比较有优势的。

⑦ 大数据处理软件用什么比较好

常见的数据处理软件有Apache Hive、SPSS、Excel、Apache Spark、Jaspersoft BI 套件。

1、Apache Hive

Hive是一个建立在Hadoop上的开源数据仓库基础设施，通过Hive可以很容易的进行数据的ETL,对数据进行结构化处理,并对Hadoop上大数据文件进行查询和处理等。 Hive提供了一种简单的类似SQL的查询语言—HiveQL,这为熟悉SQL语言的用户查询数据提供了方便。

数据分析与处理方法：

采集

在大数据的采集过程中，其主要特点和挑战是并发数高，因为同时有可能会有成千上万的用户来进行访问和操作，比如火车票售票网站和淘宝，它们并发的访问量在峰值时达到上百万，所以需要在采集端部署大量数据库才能支撑。

并且如何在这些数据库之间进行负载均衡和分片的确是需要深入的思考和设计。

统计/分析

统计与分析主要利用分布式数据库，或者分布式计算集群来对存储于其内的大量数据进行普通的分析和分类汇总等，以满足大多数常见的分析需求，在这方面，一些实时性需求会用到EMC的GreenPlum、Oracle的Exadata，以及基于MySQL的列式存储Infobright等。

而一些批处理，或者基于半结构化数据的需求可以使用Hadoop。统计与分析这部分的主要特点和挑战是分析涉及的数据量大，其对系统资源，特别是I/O会有极大的占用。

导入/预处理

虽然采集端本身会有很多数据库，但是如果要对这些大量数据进行有效的分析，还是应该将这些来自前端的数据导入到一个集中的大型分布式数据库，或者分布式存储集群，并且可以在导入基础上做一些简单的清洗和预处理工作。

也有一些用户会在导入时使用来自Twitter的Storm来对数据进行流式计算，来满足部分业务的实时计算需求。导入与预处理过程的特点和挑战主要是导入的数据量大，每秒钟的导入量经常会达到百兆，甚至千兆级别。