数据仓库的工具有哪些

① 大数据分析工具有哪些

大数据分析工具有：

1、R-编程

R 编程是对所有人免费的最好的大数据分析工具之一。它是一种领先的统计编程语言，可用于统计分析、科学计算、数据可视化等。R 编程语言还可以扩展自身以执行各种大数据分析操作。

在这个强大的帮助下；语言，数据科学家可以轻松创建统计引擎，根据相关和准确的数据收集提供更好、更精确的数据洞察力。它具有类数据处理和存储。我们还可以在 R 编程中集成其他数据分析工具。

除此之外，您还可以与任何编程语言（例如 Java、C、Python）集成，以提供更快的数据传输和准确的分析。R 提供了大量可用于任何数据集的绘图和图形。

2、Apache Hadoop

Apache Hadoop 是领先的大数据分析工具开源。它是一个软件框架，用于在商品硬件的集群上存储数据和运行应用程序。它是由软件生态系统组成的领先框架。

Hadoop 使用其 Hadoop 分布式文件系统或 HDFS 和 MapRece。它被认为是大数据分析的顶级数据仓库。它具有在数百台廉价服务器上存储和分发大数据集的惊人能力。

这意味着您无需任何额外费用即可执行大数据分析。您还可以根据您的要求向其添加新节点，它永远不会让您失望。

3、MongoDB

MongoDB 是世界领先的数据库软件。它基于 NoSQL 数据库，可用于存储比基于 RDBMS 的数据库软件更多的数据量。MongoDB 功能强大，是最好的大数据分析工具之一。

它使用集合和文档，而不是使用行和列。文档由键值对组成，即MongoDB 中的一个基本数据单元。文档可以包含各种单元。但是大小、内容和字段数量因 MongoDB 中的文档而异。

MongoDB 最好的部分是它允许开发人员更改文档结构。文档结构可以基于程序员在各自的编程语言中定义的类和对象。

MongoDB 有一个内置的数据模型，使程序员能够理想地表示层次关系来存储数组和其他元素。

4、RapidMiner

RapidMiner 是分析师集成数据准备、机器学习、预测模型部署等的领先平台之一。它是最好的免费大数据分析工具，可用于数据分析和文本挖掘。

它是最强大的工具，具有用于分析过程设计的一流图形用户界面。它独立于平台，适用于 Windows、Linux、Unix 和 macOS。它提供各种功能，例如安全控制，在可视化工作流设计器工具的帮助下减少编写冗长代码的需要。

它使用户能够采用大型数据集在 Hadoop 中进行训练。除此之外，它还允许团队协作、集中工作流管理、Hadoop 模拟等。

它还组装请求并重用 Spark 容器以对流程进行智能优化。RapidMiner有五种数据分析产品，即RapidMiner Studio Auto Model、Auto Model、RapidMiner Turbo Prep、RapidMiner Server和RapidMiner Radoop。

5、Apache Spark

Apache Spark 是最好、最强大的开源大数据分析工具之一。借助其数据处理框架，它可以处理大量数据集。通过结合或其他分布式计算工具，在多台计算机上分发数据处理任务非常容易。

它具有用于流式 SQL、机器学习和图形处理支持的内置功能。它还使该站点成为大数据转换的最快速和通用的生成器。我们可以在内存中以快 100 倍的速度处理数据，而在磁盘中则快 10 倍。

除此之外，它还拥有 80 个高级算子，可以更快地构建并行应用程序。它还提供 Java 中的高级 API。该平台还提供了极大的灵活性和多功能性，因为它适用于不同的数据存储，如 HDFS、Openstack 和 Apache Cassandra。

6、Microsoft Azure

Microsoft Azure 是领先的大数据分析工具之一。Microsoft Azure 也称为 Windows Azure。它是 Microsoft 处理的公共云计算平台，是提供包括计算、分析、存储和网络在内的广泛服务的领先平台。

Windows Azure 提供两类标准和高级的大数据云产品。它可以无缝处理大量数据工作负载。

除此之外，Microsoft Azure 还拥有一流的分析能力和行业领先的 SLA 以及企业级安全和监控。它也是开发人员和数据科学家的最佳和高效平台。它提供了在最先进的应用程序中很容易制作的实时数据。

无需 IT 基础架构或虚拟服务器进行处理。它可以轻松嵌入其他编程语言，如 JavaScript 和 C#。

7、Zoho Analytics

Zoho Analytics 是最可靠的大数据分析工具之一。它是一种 BI 工具，可以无缝地用于数据分析，并帮助我们直观地分析数据以更好地理解原始数据。

同样，任何其他分析工具都允许我们集成多个数据源，例如业务应用程序、数据库软件、云存储、CRM 等等。我们还可以在方便时自定义报告，因为它允许我们生成动态且高度自定义的可操作报告。

在 Zoho 分析中上传数据也非常灵活和容易。我们还可以在其中创建自定义仪表板，因为它易于部署和实施。世界各地的用户广泛使用该平台。此外，它还使我们能够在应用程序中生成评论威胁，以促进员工和团队之间的协作。

它是最好的大数据分析工具，与上述任何其他工具相比，它需要的知识和培训更少。因此，它是初创企业和入门级企业的最佳选择。

以上内容参考 网络——大数据分析

② 大数据处理必备的十大工具！

大数据的日益增长,给企业管理大量的数据带来了挑战的同时也带来了一些机遇。下面是用于信息化管理的大数据工具列表：

1.ApacheHive

Hive是一个建立在hadoop上的开源数据仓库基础设施，通过Hive可以很容易的进行数据的ETL,对数据进行结构化处理,并对Hadoop上大数据文件进行查询和处理等。Hive提供了一种简单的类似SQL的查询语言—HiveQL,这为熟悉SQL语言的用户查询数据提供了方便。

2JaspersoftBI套件

Jaspersoft包是一个通过数据库列生成报表的开源软件。行业领导者发现Jaspersoft软件是一流的,许多企业已经使用它来将SQL表转化为pdf,，这使每个人都可以在会议上对其进行审议。另外，JasperReports提供了一个连接配置单元来替代HBase。

3.1010data

1010data创立于2000年，是一个总部设在纽约的分析型云服务，旨在为华尔街的客户提供服务，甚至包括NYSEEuronext、 游戏 和电信的客户。它在设计上支持可伸缩性的大规模并行处理。它也有它自己的查询语言,支持SQL函数和广泛的查询类型，包括图和时间序列分析。这个私有云的方法减少了客户在基础设施管理和扩展方面的压力。

4.Actian

Actian之前的名字叫做IngresCorp，它拥有超过一万客户而且正在扩增。它通过Vectorwise以及对ParAccel实现了扩展。这些发展分别导致了ActianVector和ActianMatrix的创建。它有Apache，Cloudera，Hortonworks以及其他发行版本可供选择。

5.PentahoBusinessAnalytics

从某种意义上说,Pentaho与Jaspersoft相比起来,尽管Pentaho开始于报告生成引擎，但它目前通过简化新来源中获取信息的过程来支持大数据处理。Pentaho的工具可以连接到NoSQL数据库，例如MongoDB和Cassandra。PeterWayner指出,PentahoData(一个更有趣的图形编程界面工具)有很多内置模块，你可以把它们拖放到一个图片上,然后将它们连接起来。

6.KarmasphereStudioandAnalyst

KarsmasphereStudio是一组构建在Eclipse上的插件,它是一个更易于创建和运行Hadoop任务的专用IDE。在配置一个Hadoop工作时，Karmasphere工具将引导您完成每个步骤并显示部分结果。当出现所有数据处于同一个Hadoop集群的情况时，KarmaspehereAnalyst旨在简化筛选的过程,。

7.Cloudera

Cloudera正在努力为开源Hadoop,提供支持，同时将数据处理框架延伸到一个全面的“企业数据中心”范畴,这个数据中心可以作为首选目标和管理企业所有数据的中心点。Hadoop可以作为目标数据仓库，高效的数据平台，或现有数据仓库的ETL来源。企业规模可以用作集成Hadoop与传统数据仓库的基础。Cloudera致力于成为数据管理的“重心”。

8.

HP提供了用于加载Hadoop软件发行版所需的参考硬件配置,因为它本身并没有自己的Hadoop版本。计算机行业领袖将其大数据平台架构命名为HAVEn(意为Hadoop,Autonomy,Vertica,EnterpriseSecurityand“n”applications)。惠普在Vertica7版本中增加了一个“FlexZone”，允许用户在定义数据库方案以及相关分析、报告之前 探索 大型数据集中的数据。这个版本通过使用HCatalog作为元数据存储，与Hadoop集成后为用户提供了一种 探索 HDFS数据表格视图的方法。

9.TalendOpenStudio

Talend’s工具用于协助进行数据质量、数据集成和数据管理等方面工作。Talend是一个统一的平台，它通过提供一个统一的，跨企业边界生命周期管理的环境，使数据管理和应用更简单便捷。这种设计可以帮助企业构建灵活、高性能的企业架构,在次架构下，集成并启用百分之百开源服务的分布式应用程序变为可能。

10.ApacheSpark

ApacheSpark是Hadoop开源生态系统的新成员。它提供了一个比Hive更快的查询引擎，因为它依赖于自己的数据处理框架而不是依靠Hadoop的HDFS服务。同时，它还用于事件流处理、实时查询和机器学习等方面。

③ 请问数据仓库都用什么建立

1、首先你得搞清楚建设数仓的目的是什么

是偏向于整合各系统数据，为数据分析决策服务，还是偏向于快速的完成分析决策需求？

如果是前者，那么在数据仓库建模的时候一般会选择ER建模方法；

如果是后者，一般会选择维度建模方法。

• ER建模：即实体关系建模，由数据仓库之父BIll Inmon提出，核心思想是从全企业的高度去设计三范式模型，用实体关系描述企业服务。主张的是自上而下的架构，将不同的OLTP数据集中到面向主题的数据仓库中。

• 维度建模：由Kimball提出，核心思想是从分析决策的需求出发构建模型。这种模型由事实表和维表组成，即星闷丛型模型和雪花模型。Kimball倡导自下而上的架构，可以针对独立部门建立数据集市，再递增的构建，汇总成数据仓库。

2、败罩携其次你得进行深入的业务调研和数据调研

• 业务调研：深入的业务调研能使你更加明确数仓建设的目的；同时也利于后续的建模设计，随着调研的开展，如何将实体业务抽象为数仓模型会更加明朗。
  

• 数据调研：各部门或各科室的数据现状了解，包括数据分类、数据存储方式、数据量、具体的数据内容等等。这对后续的主数据串联或者维度一致性处理等等都是必须的基础。

3、然后是数据仓库工具选型

• 传统型数据仓库：一般会选择第三方厂家的数据库和配套ETL工具。因为有第三方支持，相对有保障；但缺点也很明显，受约束以及成本较高。
  

• NoSQL型数据仓库：一般是基于hadoop生态的数据仓库。hadoop生态已经非常强大，可以找到各种开源组件去支持数据仓库。缺点是需要招聘专门人士去摸索，并且相对会存在一些未知隐患。

4、最后是设计与实施

• 设计：包括数据架构中的数据层次划分以及具体的模型设计；也包括程序架构中的数据质量管理、元数据管理、调度管理等；
  

• 实施：规范化的项目管理实施，但同时也需记住一点，数据仓库不察伏是一个项目，它是一个过程。

④ 数据分析过程中有哪些实用工具

以前大数据分析会用到多种工具，比如数仓工具、数据建模工具、BI工具等等。现在的大数据分析平台，都是全能型数据分析平台，一个平台搞定所有。比如亿信一站式数据分析平台，ABI融合了数据源适配、ETL数据处理、数据建模、数据分析、数据填报、工作流、门户、移动应用等核心功能而打造的一站式数据处理分析平台。提供的数据分析工具丰富：除了中国式复杂报表、dashboard、大屏报表外，ABI还支持自助式分析，包括拖拽式多维分析、看板和看板集，业务用户通过简单拖拽即可随心所欲的进行探索式自助分析。

⑤ 大数据分析需要哪些工具

说到大数据，肯定少不了分析软件，这应该是大数据工作的根基，但市面上很多各种分析软件，如果不是过来人，真的很难找到适合自己或符合企业要求的。小编通过各大企业对大数据相关行业的岗位要求，总结了以下几点：
（1）SQL数据库的基本操作，会基本的数据管理
（2）会用Excel/SQL做基本的数据分析和展示
（3）会用脚本语言进行数据分析，Python or R
（4）有获取外部数据的能力，如爬虫
（5）会基本的数据可视化技能，能撰写数据报告
（6）熟悉常用的数据挖掘算法：回归分析、决策树、随机森林、支持向量机等
对于学习大数据，总体来说，先学基础，再学理论，最后是工具。基本上，每一门语言的学习都是要按照这个顺序来的。
1、学习数据分析基础知识，包括概率论、数理统计。基础这种东西还是要掌握好的啊，基础都还没扎实，知识大厦是很容易倒的哈。
2、你的目标行业的相关理论知识。比如金融类的，要学习证券、银行、财务等各种知识，不然到了公司就一脸懵逼啦。
3、学习数据分析工具，软件结合案列的实际应用，关于数据分析主流软件有(从上手度从易到难)：Excel，SPSS，stata，R，Python，SAS等。
4、学会怎样操作这些软件，然后是利用软件从数据的清洗开始一步步进行处理，分析，最后输出结果，检验及解读数据。

⑥ 常见的大数据采集工具有哪些

1、离线搜集工具：ETL

在数据仓库的语境下，ETL基本上便是数据搜集的代表，包括数据的提取(Extract)、转换(Transform)和加载(Load)。在转换的过程中，需求针对具体的事务场景对数据进行治理，例如进行不合法数据监测与过滤、格式转换与数据规范化、数据替换、确保数据完整性等。

2、实时搜集工具：Flume/Kafka

实时搜集首要用在考虑流处理的事务场景，比方，用于记录数据源的履行的各种操作活动，比方网络监控的流量办理、金融运用的股票记账和 web 服务器记录的用户访问行为。在流处理场景，数据搜集会成为Kafka的顾客，就像一个水坝一般将上游源源不断的数据拦截住，然后依据事务场景做对应的处理(例如去重、去噪、中心核算等)，之后再写入到对应的数据存储中。

3、互联网搜集工具：Crawler, DPI等

Scribe是Facebook开发的数据(日志)搜集体系。又被称为网页蜘蛛，网络机器人，是一种按照一定的规矩，自动地抓取万维网信息的程序或者脚本，它支持图片、音频、视频等文件或附件的搜集。

除了网络中包含的内容之外，关于网络流量的搜集能够运用DPI或DFI等带宽办理技术进行处理。