一千万行数据用什么软件处理

㈠ 大数据分析一般用什么工具分析

1、专业的大数据分析工具
2、各种Python数据可视化第三方库
3、其它语言的数据可视化框架
一、专业的大数据分析工具
1、FineReport
FineReport是一款纯Java编写的、集数据展示(报表)和数据录入(表单)功能于一身的企业级web报表工具，只需要简单的拖拽操作便可以设计复杂的中国式报表，搭建数据决策分析系统。
2、FineBI
FineBI是新一代自助大数据分析的商业智能产品，提供了从数据准备、自助数据处理、数据分析与挖掘、数据可视化于一体的完整解决方案，也是我比较推崇的可视化工具之一。
FineBI的使用感同Tableau类似，都主张可视化的探索性分析，有点像加强版的数据透视表。上手简单，可视化库丰富。可以充当数据报表的门户，也可以充当各业务分析的平台。
二、Python的数据可视化第三方库
Python正慢慢地成为数据分析、数据挖掘领域的主流语言之一。在Python的生态里，很多开发者们提供了非常丰富的、用于各种场景的数据可视化第三方库。这些第三方库可以让我们结合Python语言绘制出漂亮的图表。
1、pyecharts
Echarts(下面会提到)是一个开源免费的javascript数据可视化库，它让我们可以轻松地绘制专业的商业数据图表。当Python遇上了Echarts，pyecharts便诞生了，它是由chenjiandongx等一群开发者维护的Echarts Python接口，让我们可以通过Python语言绘制出各种Echarts图表。
2、Bokeh
Bokeh是一款基于Python的交互式数据可视化工具，它提供了优雅简洁的方法来绘制各种各样的图形，可以高性能地可视化大型数据集以及流数据，帮助我们制作交互式图表、可视化仪表板等。
三、其他数据可视化工具
1、Echarts
前面说过了，Echarts是一个开源免费的javascript数据可视化库，它让我们可以轻松地绘制专业的商业数据图表。
大家都知道去年春节以及近期央视大规划报道的网络大数据产品，如网络迁徙、网络司南、网络大数据预测等等，这些产品的数据可视化均是通过ECharts来实现的。
2、D3
D3（Data Driven Documents）是支持SVG渲染的另一种JavaScript库。但是D3能够提供大量线性图和条形图之外的复杂图表样式，例如Voronoi图、树形图、圆形集群和单词云等。

㈡ 大数据处理软件用什么比较好

常见的数据处理软件有Apache Hive、SPSS、Excel、Apache Spark、Jaspersoft BI 套件。

1、Apache Hive

Hive是一个建立在Hadoop上的开源数据仓库基础设施，通过Hive可以很容易的进行数据的ETL,对数据进行结构化处理,并对Hadoop上大数据文件进行查询和处理等。 Hive提供了一种简单的类似SQL的查询语言—HiveQL,这为熟悉SQL语言的用户查询数据提供了方便。

数据分析与处理方法：

采集

在大数据的采集过程中，其主要特点和挑战是并发数高，因为同时有可能会有成千上万的用户来进行访问和操作，比如火车票售票网站和淘宝，它们并发的访问量在峰值时达到上百万，所以需要在采集端部署大量数据库才能支撑。

并且如何在这些数据库之间进行负载均衡和分片的确是需要深入的思考和设计。

统计/分析

统计与分析主要利用分布式数据库，或者分布式计算集群来对存储于其内的大量数据进行普通的分析和分类汇总等，以满足大多数常见的分析需求，在这方面，一些实时性需求会用到EMC的GreenPlum、Oracle的Exadata，以及基于MySQL的列式存储Infobright等。

而一些批处理，或者基于半结构化数据的需求可以使用Hadoop。统计与分析这部分的主要特点和挑战是分析涉及的数据量大，其对系统资源，特别是I/O会有极大的占用。

导入/预处理

虽然采集端本身会有很多数据库，但是如果要对这些大量数据进行有效的分析，还是应该将这些来自前端的数据导入到一个集中的大型分布式数据库，或者分布式存储集群，并且可以在导入基础上做一些简单的清洗和预处理工作。

也有一些用户会在导入时使用来自Twitter的Storm来对数据进行流式计算，来满足部分业务的实时计算需求。导入与预处理过程的特点和挑战主要是导入的数据量大，每秒钟的导入量经常会达到百兆，甚至千兆级别。

㈢ 新手处理大量的数据用什么数据分析工具

新手处理大量的数据推荐你用思迈特软件Smartbi用数据分析工具简单易上手。思迈特软件Smartbi Eagle围绕业务人员提供企业级数据分析工具和服务满足不同类型的业务用户，在Excel或者浏览器中都可实现全自助的数据提取、数据处理、数据分析和数据共享，具有无以伦比的适用性。

产品优势:

一、简单易用上手快

融合分析(Excel界面自助取数完成自助分析，无需学习)、自然语言分析、自助仪表盘(所见即所得)

二、亿级数据，秒级响应

支持滚动加载，大大提升报表的加载速度；采用负载均衡，内置查询引擎能进行线性扩充；支持MPP高速缓存库抽取数据，真正实现亿级数据，秒级响应！

三、强大的计算能力

提供分布式计算，支持表计算、跨库计算、OLAP多维计算、时间智能计算、SQL扩展、Python扩展，所有的表现层使用统一的数据模型，具备非常强大的计算能力！

四、保障系统稳定性

平台支持分布式session共享、扩展包热加载，持续扩展产品补丁包更新机制，还能可视化地进行系统检查和监控，安全有效地保障系统的稳定性。

思迈特软件Smartbi公司在北京、上海、深圳、郑州、天津、武汉、成都、西安、厦门、济南、乌鲁木齐等地设有分支机构，对本地用户进行支持服务！此外，在线开放提供的文档服务日均访问量超过万次；在线开放提供的技术交流社群日均在线超过千人。

数据分析工具靠不靠谱，来试试Smartbi,思迈特软件Smartbi经过多年持续自主研发，凝聚大量商业智能最佳实践经验，整合了各行业的数据分析和决策支持的功能需求。满足最终用户在企业级报表、数据可视化分析、自助探索分析、数据挖掘建模、AI智能分析等大数据分析需求。

思迈特软件Smartbi个人用户全功能模块长期免费试用
马上免费体验:Smartbi一站式大数据分析平台

㈣ 数据分析用什么软件

做数据分析，比较好用的软件有哪些？
数据分析软件有很多种，每一种都适合不同类型的人员。

简单说：

Excel：普遍适用，既有基础，又有中高级。中级一般用Excel透视表，高级的用Excel VBA。

hihidata：比较小众的数据分析工具。三分钟就可以学会直接上手。无需下载安装，直接在线就可以使用。

SPSS：专业统计软件，没有统计功底很难用的。同时包含了数据挖掘等高大功能。

SAS：专业统计软件，专业人士用的，不懂编程还是不要碰了。

MARLAB：建立统计与数学模型，但是比较难学，很难上手。

Eview：比较小众，建立一些经济类的模型还是很有用的。计量经济学中经常用到。

各种BI与报表工具：FineBI，FineReport，tableau，QlikView等。
比较好的数据分析软件有哪些？
SPSS是软件里比较简单的 ，学校里使用的比较多一些，可以采用菜单的模式 带少量的命令编辑MATLAB常常在建立统计和数学模型的时候比较好用 但是很难学 反正我学了一个学期楞是就知道个皮毛Finereport 兼顾了基本的数据录入与展现功能，一般的数据源都支持，学习成本比较低，比较适合企业级用户使用，SAS我没用过
网站数据分析工具哪个好用些阿？
推荐吆喝科技的ab测试，软件分析的数据比较全面和精准
学数据分析需要熟悉哪些软件基础
软件只是一个工具 看你要从事的数据分析的方向很深度而定

一般的用excel也可以进行常规简单的数据分析

再深入一点的用spss、stata、sas

如果要搞数据挖掘的话，用spss modeler / sas

不过一般的常规数据分析用excel和spss基本上能够应付
常用的数据分析工具有哪些
数据分析的概念太宽泛了，做需要的是侧重于数据展示、数据挖掘、还是数据存储的？是个人用还是企业、部门用呢？应用的场景是制作简单的个人图表，还是要做销售、财务还是供应链的分析？

那就说说应用最广的BI吧，企业级应用，其实功能上已经涵盖了我上面所述的部分，主要用于数据整合，构建分析，展示数据供决策分析的，譬如FineBI，是能够”智能”分析数据的工具了。
android数据分析工具用什么软件
1. 开源大数据生态圈

Hadoop HDFS、Hadoop MapRece, HBase、Hive 渐次诞生，早期Hadoop生态圈逐步形成。

开源生态圈活跃，并免费，但Hadoop对技术要求高，实时性稍差。

2. 商用大数据分析工具

一体机数据库/数据仓库（费用很高）

IBM PureData(Netezza), Oracle Exadata, SAP Hana等等。

数据仓库（费用较高）

Teradata AsterData, EMC GreenPlum, HP Vertica 等等。

数据集市（费用一般）

QlikView、 Tableau 、国内永洪科技Yonghong Data Mart 等等。

前端展现

用于展现分析的前端开源工具有JasperSoft，Pentaho, Spagobi, Openi, Birt等等。

用于展现分析商用分析工具有Cognos,BO, Microsoft, Oracle,Microstrategy,QlikView、 Tableau 、国内永洪科技Yonghong Z-Suite等等。
数据分析软件有哪些，他们分别的特点是什么
除了EXCEL 数据分析用的多的有以下几个软件，你看看你们公司符合哪个

SPSS（StatisticalProct and Service Solutions），“统计产品与服务解决方案”软件，是数据定量分析的工具，适用于社会科学（如经济分析，市场调研分析）和自然科学等林林总总的统计分析，国内使用的最多，领域也多。

SPSS就如一个傻瓜相机，界面友好，使用简单，但是功能强大，可以编程，能解决绝大部分统计学问题，适合初学者。它有一个可以点击的交互界面，能够使用下拉菜单来选择所需要执行的命令。它也有一个通过拷贝和粘贴的方法来学习其“句法”语言，但是这些句法通常非常复杂而且不是很直观。

SPSS致力于简便易行（其口号是“真正统计，确实简单”），并且取得了成功。但是如果你是高级用户，随着时间推移你会对它丧失兴趣。SPSS是制图方面的强手，由于缺少稳健和调查的方法，处理前沿的统计过程是其弱项。

SAS是全球最大的软件公司之一，是全球商业智能和分析软件与服务领袖。SAS由于其功能强大而且可以编程，很受高级用户的欢迎，也正是基于此，它是最难掌握的软件之一，多用于企业工作之中。

SAS就如一台单反相机，你需要编写SAS程序来处理数据，进行分析。如果在一个程序中出现一个错误，找到并改正这个错误将是困难的。在所有的统计软件中，SAS有最强大的绘图工具，由SAS/Graph模块提供。然而，SAS/Graph模块的学习也是非常专业而复杂，图形的制作主要使用程序语言。SAS适合高级用户使用。它的学习过程是艰苦的，正所谓“五年入门，十年精通”，最初的阶段会使人灰心丧气。然而它还是以强大的数据管理和同时处理大批数据文件的功能，得到高级用户的青睐。

R 是用于统计分析、绘图的语言和操作环境，属于GUN系统的一个自由、免费、源代码开放的软件，它是一个用于统计计算和统计制图的优秀工具，多用于论文，科研领域。

R的思想是：它可以提供一些集成的统计工具，但更大量的是它提供各种数学计算、统计计算的函数，从而使使用者能灵活机动的进行数据分析，甚至创造出符合需要的新的统计计算方法。因此R有很多最新的模型和检验方法，但是非常难自学，对英语的要求很高。R与SAS的区别在于，R是开放免费的，处理更灵活，同时对编程要求较高。
大数据是什么意思？哪些软件适合大数据分析？
大数据定义什么的网络很多。个人理解：现有的互联网数据量越来越大，面对这么大的数据量，如何利用好这些数据是极具挑战性的。一方面数据量提升，数据处理的方法必须改变，才能提高数据处理速度，比如大规模，高并发的网站访问，12306，淘宝天猫什么的；另一方面从这些海量数据中挖掘出有用的信息，比如根据淘宝根据用户点击访问，反馈出用户的喜好，给用户推荐相关商品。

推荐Hadoop，适合大数据处理的。

网上学习资料很多，自己搜去！

当然你也可以自己使用数据库MYSQL等去做大数据处理，这样很多Hadoop做好的东西都需要你自己去做。要是熟悉某个数据库，并且应用明确就用数据库自己去做吧！

加油！
数据分析软件哪个好
最常用的是spss,属于非专业统计学的! sas是专业的统计分析软件,需要编程用,都是专业人士用的 数据分析中的数据挖掘,可以使用spss公司的clementine
大数据分析一般用什么工具分析
在大数据处理分析过程中常用的六大工具：

Hadoop

Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop 是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。Hadoop 还是可伸缩的，能够处理 PB 级数据。此外，Hadoop 依赖于社区服务器，因此它的成本比较低，任何人都可以使用。

HPCC

HPCC，High Performance puting and munications(高性能计算与通信)的缩写。1993年，由美国科学、工程、技术联邦协调理事会向国会提交了“重大挑战项目：高性能计算与 通信”的报告，也就是被称为HPCC计划的报告，即美国总统科学战略项目，其目的是通过加强研究与开发解决一批重要的科学与技术挑战问题。HPCC是美国 实施信息高速公路而上实施的计划，该计划的实施将耗资百亿美元，其主要目标要达到：开发可扩展的计算系统及相关软件，以支持太位级网络传输性能，开发千兆 比特网络技术，扩展研究和教育机构及网络连接能力。

Storm

Storm是自由的开源软件，一个分布式的、容错的实时计算系统。Storm可以非常可靠的处理庞大的数据流，用于处理Hadoop的批量数据。Storm很简单，支持许多种编程语言，使用起来非常有趣。

Apache Drill

为了帮助企业用户寻找更为有效、加快Hadoop数据查询的方法，Apache软件基金会近日发起了一项名为“Drill”的开源项目。Apache Drill 实现了 Google's Dremel.

据Hadoop厂商MapR Technologies公司产品经理Tomer Shiran介绍，“Drill”已经作为Apache孵化器项目来运作，将面向全球软件工程师持续推广。

RapidMiner

RapidMiner是世界领先的数据挖掘解决方案，在一个非常大的程度上有着先进技术。它数据挖掘任务涉及范围广泛，包括各种数据艺术，能简化数据挖掘过程的设计和评价。

Pentaho BI

Pentaho BI 平台不同于传统的BI 产品，它是一个以流程为中心的，面向解决方案(Solution)的框架。其目的在于将一系列企业级BI产品、开源软件、API等等组件集成起来，方便商务智能应用的开发。它的出现，使得一系列的面向商务智能的独立产品如Jfree、Quartz等等，能够集成在一起，构成一项项复杂的、完整的商务智能解决方案。

㈤ 超过千万条数据分析用那个软件比较好

数据可视化分析软件（OurwayBI）

OurwayBI采用Node.js。

Node.js是一个Javascript运行环境(runtime)，它实际上是对Google V8引擎进行了封装。V8引擎执行Javascript的速度非常快，性能非常好。

强大的计算能力

独创的内存OLAP仅需要创建一个动态视图即可以完成分析模型的创建，而所有OLAP强大的计算能力，则通过内存计算来完成。

效果图

㈥ 大量数据计数用什么软件，有比EXCEL表格好的吗

EXCEL可以管理100万以内的数据，20万完全没问题。
使用COUNTIF去统计数据效率很低，一般上万的数据建议使用VBA的字典编程，20万的数据完全可以秒出结果。
比EXCEL删除大数据管理的软件非常多，例如SPSS，以及SQL SERVER、ORACLE等各种数据库，还有R、PYTHON等语言自己编程统计也不错。根据自己的特长，选择合适自己的工具。