处理大量数据用什么

⑴ 如何进行大数据分析及处理

提取有用信息和形成结论。

用适当的统计、分析方法对收集来的大量数据进行分析，将它们加以汇总和理解并消化，以求最大化地开发数据的功能，发挥数据的作用。数据分析为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。

要求在标题栏中注明各个量的名称、符号、数量级和单位等：根据需要还可以列出除原始数据以外的计算栏目和统计栏目等。从图线上可以简便求出实验需要的某些结果，还可以把某些复杂的函数关系，通过一定的变换用图形表示出来。

(1)处理大量数据用什么扩展阅读：

大数据分析及处理的相关要求规定：

1、以数据流引领技术流、物质流、资金流、人才流，将深刻影响社会分工协作的组织模式，促进生产组织方式的集约和创新。

2、大数据推动社会生产要素的网络化共享、集约化整合、协作化开发和高效化利用，改变了传统的生产方式和经济运行机制，可显着提升经济运行水平和效率。

3、大数据持续激发商业模式创新，不断催生新业态，已成为互联网等新兴领域促进业务创新增值、提升企业核心价值的重要驱动力。大数据产业正在成为新的经济增长点，将对未来信息产业格局产生重要影响。

⑵ 如何进行大数据分析及处理

1.可视化分析

大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者对于大数据分析最基本的要求就是可视化分析，因为可视化分析能够直观的呈现大数据特点，同时能够非常容易被读者所接受，就如同看图说话一样简单明了。

2. 数据挖掘算法

大数据分析的理论核心就是数据挖掘算法，各种数据挖掘的算法基于不同的数据类型和格式才能更加科学的呈现出数据本身具备的特点，也正是因为这些被全世界统计 学家所公认的各种统计方法（可以称之为真理）才能深入数据内部，挖掘出公认的价值。

另外一个方面也是因为有这些数据挖掘的算法才能更快速的处理大数据，如 果一个算法得花上好几年才能得出结论，那大数据的价值也就无从说起了。

3. 预测性分析

大数据分析最终要的应用领域之一就是预测性分析，从大数据中挖掘出特点，通过科学的建立模型，之后便可以通过模型带入新的数据，从而预测未来的数据。

4. 语义引擎

非结构化数据的多元化给数据分析带来新的挑战，我们需要一套工具系统的去分析，提炼数据。

语义引擎需要设计到有足够的人工智能以足以从数据中主动地提取信息。

5.数据质量和数据管理。

大数据分析离不开数据质量和数据管理，高质量的数据和有效的数据管理，无论是在学术研究还是在商业应用领域，都能够保证分析结果的真实和有价值。

大数据分析的基础就是以上五个方面，当然更加深入大数据分析的话，还有很多很多更加有特点的、更加深入的、更加专业的大数据分析方法。

大数据的技术

数据采集： ETL工具负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。

数据存取： 关系数据库、NOSQL、SQL等。

基础架构： 云存储、分布式文件存储等。

数据处理： 自然语言处理(NLP，Natural Language Processing)是研究人与计算机交互的语言问题的一门学科。

处理自然语言的关键是要让计算机”理解”自然语言，所以自然语言处理又叫做自然语言理解也称为计算语言学。

一方面它是语言信息处理的一个分支，另一方面它是人工智能的核心课题之一。

统计分析： 假设检验、显着性检验、差异分析、相关分析、T检验、 方差分析 、 卡方分析、偏相关分析、距离分析、回归分析、简单回归分析、多元回归分析、逐步回归、回归预测与残差分析、岭回归、logistic回归分析、曲线估计、 因子分析、聚类分析、主成分分析、因子分析、快速聚类法与聚类法、判别分析、对应分析、多元对应分析（最优尺度分析）、bootstrap技术等等。

数据挖掘： 分类 （Classification）、估计（Estimation）、预测（Prediction）、相关性分组或关联规则（Affinity grouping or association rules）、聚类（Clustering）、描述和可视化、Description and Visualization）、复杂数据类型挖掘(Text, Web ,图形图像，视频，音频等)

模型预测 ：预测模型、机器学习、建模仿真。

结果呈现： 云计算、标签云、关系图等。

大数据的处理

1. 大数据处理之一：采集

大数据的采集是指利用多个数据库来接收发自客户端（Web、App或者传感器形式等）的 数据，并且用户可以通过这些数据库来进行简单的查询和处理工作。

比如，电商会使用传统的关系型数据库MySQL和Oracle等来存储每一笔事务数据，除 此之外，Redis和MongoDB这样的NoSQL数据库也常用于数据的采集。

在大数据的采集过程中，其主要特点和挑战是并发数高，因为同时有可能会有成千上万的用户 来进行访问和操作，比如火车票售票网站和淘宝，它们并发的访问量在峰值时达到上百万，所以需要在采集端部署大量数据库才能支撑。

并且如何在这些数据库之间 进行负载均衡和分片的确是需要深入的思考和设计。

2. 大数据处理之二：导入/预处理

虽然采集端本身会有很多数据库，但是如果要对这些海量数据进行有效的分析，还是应该将这 些来自前端的数据导入到一个集中的大型分布式数据库，或者分布式存储集群，并且可以在导入基础上做一些简单的清洗和预处理工作。

也有一些用户会在导入时使 用来自Twitter的Storm来对数据进行流式计算，来满足部分业务的实时计算需求。

导入与预处理过程的特点和挑战主要是导入的数据量大，每秒钟的导入量经常会达到百兆，甚至千兆级别。

3. 大数据处理之三：统计/分析

统计与分析主要利用分布式数据库，或者分布式计算集群来对存储于其内的海量数据进行普通 的分析和分类汇总等，以满足大多数常见的分析需求，在这方面，一些实时性需求会用到EMC的GreenPlum、Oracle的Exadata，以及基于 MySQL的列式存储Infobright等，而一些批处理，或者基于半结构化数据的需求可以使用Hadoop。

统计与分析这部分的主要特点和挑战是分析涉及的数据量大，其对系统资源，特别是I/O会有极大的占用。

4. 大数据处理之四：挖掘

与前面统计和分析过程不同的是，数据挖掘一般没有什么预先设定好的主题，主要是在现有数 据上面进行基于各种算法的计算，从而起到预测（Predict）的效果，从而实现一些高级别数据分析的需求。

比较典型算法有用于聚类的Kmeans、用于 统计学习的SVM和用于分类的NaiveBayes，主要使用的工具有Hadoop的Mahout等。

该过程的特点和挑战主要是用于挖掘的算法很复杂，并 且计算涉及的数据量和计算量都很大，常用数据挖掘算法都以单线程为主。

整个大数据处理的普遍流程至少应该满足这四个方面的步骤，才能算得上是一个比较完整的大数据处理。

⑶ 数据分析用什么软件

做数据分析，比较好用的软件有哪些？
数据分析软件有很多种，每一种都适合不同类型的人员。

简单说：

Excel：普遍适用，既有基础，又有中高级。中级一般用Excel透视表，高级的用Excel VBA。

hihidata：比较小众的数据分析工具。三分钟就可以学会直接上手。无需下载安装，直接在线就可以使用。

SPSS：专业统计软件，没有统计功底很难用的。同时包含了数据挖掘等高大功能。

SAS：专业统计软件，专业人士用的，不懂编程还是不要碰了。

MARLAB：建立统计与数学模型，但是比较难学，很难上手。

Eview：比较小众，建立一些经济类的模型还是很有用的。计量经济学中经常用到。

各种BI与报表工具：FineBI，FineReport，tableau，QlikView等。
比较好的数据分析软件有哪些？
SPSS是软件里比较简单的 ，学校里使用的比较多一些，可以采用菜单的模式 带少量的命令编辑MATLAB常常在建立统计和数学模型的时候比较好用 但是很难学 反正我学了一个学期楞是就知道个皮毛Finereport 兼顾了基本的数据录入与展现功能，一般的数据源都支持，学习成本比较低，比较适合企业级用户使用，SAS我没用过
网站数据分析工具哪个好用些阿？
推荐吆喝科技的ab测试，软件分析的数据比较全面和精准
学数据分析需要熟悉哪些软件基础
软件只是一个工具 看你要从事的数据分析的方向很深度而定

一般的用excel也可以进行常规简单的数据分析

再深入一点的用spss、stata、sas

如果要搞数据挖掘的话，用spss modeler / sas

不过一般的常规数据分析用excel和spss基本上能够应付
常用的数据分析工具有哪些
数据分析的概念太宽泛了，做需要的是侧重于数据展示、数据挖掘、还是数据存储的？是个人用还是企业、部门用呢？应用的场景是制作简单的个人图表，还是要做销售、财务还是供应链的分析？

那就说说应用最广的BI吧，企业级应用，其实功能上已经涵盖了我上面所述的部分，主要用于数据整合，构建分析，展示数据供决策分析的，譬如FineBI，是能够”智能”分析数据的工具了。
android数据分析工具用什么软件
1. 开源大数据生态圈

Hadoop HDFS、Hadoop MapRece, HBase、Hive 渐次诞生，早期Hadoop生态圈逐步形成。

开源生态圈活跃，并免费，但Hadoop对技术要求高，实时性稍差。

2. 商用大数据分析工具

一体机数据库/数据仓库（费用很高）

IBM PureData(Netezza), Oracle Exadata, SAP Hana等等。

数据仓库（费用较高）

Teradata AsterData, EMC GreenPlum, HP Vertica 等等。

数据集市（费用一般）

QlikView、 Tableau 、国内永洪科技Yonghong Data Mart 等等。

前端展现

用于展现分析的前端开源工具有JasperSoft，Pentaho, Spagobi, Openi, Birt等等。

用于展现分析商用分析工具有Cognos,BO, Microsoft, Oracle,Microstrategy,QlikView、 Tableau 、国内永洪科技Yonghong Z-Suite等等。
数据分析软件有哪些，他们分别的特点是什么
除了EXCEL 数据分析用的多的有以下几个软件，你看看你们公司符合哪个

SPSS（StatisticalProct and Service Solutions），“统计产品与服务解决方案”软件，是数据定量分析的工具，适用于社会科学（如经济分析，市场调研分析）和自然科学等林林总总的统计分析，国内使用的最多，领域也多。

SPSS就如一个傻瓜相机，界面友好，使用简单，但是功能强大，可以编程，能解决绝大部分统计学问题，适合初学者。它有一个可以点击的交互界面，能够使用下拉菜单来选择所需要执行的命令。它也有一个通过拷贝和粘贴的方法来学习其“句法”语言，但是这些句法通常非常复杂而且不是很直观。

SPSS致力于简便易行（其口号是“真正统计，确实简单”），并且取得了成功。但是如果你是高级用户，随着时间推移你会对它丧失兴趣。SPSS是制图方面的强手，由于缺少稳健和调查的方法，处理前沿的统计过程是其弱项。

SAS是全球最大的软件公司之一，是全球商业智能和分析软件与服务领袖。SAS由于其功能强大而且可以编程，很受高级用户的欢迎，也正是基于此，它是最难掌握的软件之一，多用于企业工作之中。

SAS就如一台单反相机，你需要编写SAS程序来处理数据，进行分析。如果在一个程序中出现一个错误，找到并改正这个错误将是困难的。在所有的统计软件中，SAS有最强大的绘图工具，由SAS/Graph模块提供。然而，SAS/Graph模块的学习也是非常专业而复杂，图形的制作主要使用程序语言。SAS适合高级用户使用。它的学习过程是艰苦的，正所谓“五年入门，十年精通”，最初的阶段会使人灰心丧气。然而它还是以强大的数据管理和同时处理大批数据文件的功能，得到高级用户的青睐。

R 是用于统计分析、绘图的语言和操作环境，属于GUN系统的一个自由、免费、源代码开放的软件，它是一个用于统计计算和统计制图的优秀工具，多用于论文，科研领域。

R的思想是：它可以提供一些集成的统计工具，但更大量的是它提供各种数学计算、统计计算的函数，从而使使用者能灵活机动的进行数据分析，甚至创造出符合需要的新的统计计算方法。因此R有很多最新的模型和检验方法，但是非常难自学，对英语的要求很高。R与SAS的区别在于，R是开放免费的，处理更灵活，同时对编程要求较高。
大数据是什么意思？哪些软件适合大数据分析？
大数据定义什么的网络很多。个人理解：现有的互联网数据量越来越大，面对这么大的数据量，如何利用好这些数据是极具挑战性的。一方面数据量提升，数据处理的方法必须改变，才能提高数据处理速度，比如大规模，高并发的网站访问，12306，淘宝天猫什么的；另一方面从这些海量数据中挖掘出有用的信息，比如根据淘宝根据用户点击访问，反馈出用户的喜好，给用户推荐相关商品。

推荐Hadoop，适合大数据处理的。

网上学习资料很多，自己搜去！

当然你也可以自己使用数据库MYSQL等去做大数据处理，这样很多Hadoop做好的东西都需要你自己去做。要是熟悉某个数据库，并且应用明确就用数据库自己去做吧！

加油！
数据分析软件哪个好
最常用的是spss,属于非专业统计学的! sas是专业的统计分析软件,需要编程用,都是专业人士用的 数据分析中的数据挖掘,可以使用spss公司的clementine
大数据分析一般用什么工具分析
在大数据处理分析过程中常用的六大工具：

Hadoop

Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop 是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。Hadoop 还是可伸缩的，能够处理 PB 级数据。此外，Hadoop 依赖于社区服务器，因此它的成本比较低，任何人都可以使用。

HPCC

HPCC，High Performance puting and munications(高性能计算与通信)的缩写。1993年，由美国科学、工程、技术联邦协调理事会向国会提交了“重大挑战项目：高性能计算与 通信”的报告，也就是被称为HPCC计划的报告，即美国总统科学战略项目，其目的是通过加强研究与开发解决一批重要的科学与技术挑战问题。HPCC是美国 实施信息高速公路而上实施的计划，该计划的实施将耗资百亿美元，其主要目标要达到：开发可扩展的计算系统及相关软件，以支持太位级网络传输性能，开发千兆 比特网络技术，扩展研究和教育机构及网络连接能力。

Storm

Storm是自由的开源软件，一个分布式的、容错的实时计算系统。Storm可以非常可靠的处理庞大的数据流，用于处理Hadoop的批量数据。Storm很简单，支持许多种编程语言，使用起来非常有趣。

Apache Drill

为了帮助企业用户寻找更为有效、加快Hadoop数据查询的方法，Apache软件基金会近日发起了一项名为“Drill”的开源项目。Apache Drill 实现了 Google's Dremel.

据Hadoop厂商MapR Technologies公司产品经理Tomer Shiran介绍，“Drill”已经作为Apache孵化器项目来运作，将面向全球软件工程师持续推广。

RapidMiner

RapidMiner是世界领先的数据挖掘解决方案，在一个非常大的程度上有着先进技术。它数据挖掘任务涉及范围广泛，包括各种数据艺术，能简化数据挖掘过程的设计和评价。

Pentaho BI

Pentaho BI 平台不同于传统的BI 产品，它是一个以流程为中心的，面向解决方案(Solution)的框架。其目的在于将一系列企业级BI产品、开源软件、API等等组件集成起来，方便商务智能应用的开发。它的出现，使得一系列的面向商务智能的独立产品如Jfree、Quartz等等，能够集成在一起，构成一项项复杂的、完整的商务智能解决方案。

⑷ 处理大量excel 数据用什么笔记本电脑

可以选联想、华硕、惠普、戴尔、宏基。

笔记本电脑（Laptop），简称笔记本，又称“便携式电脑，手提电脑、掌上电脑或膝上型电脑”，特点是机身小巧。比台式机携带方便，是一种小型、便于携带的个人电脑。通常重1-3公斤。

当前发展趋势是体积越来越小，重量越来越轻，功能越来越强。

为了缩小体积，笔记本电脑采用液晶显示器（液晶LCD屏）。除键盘外，还装有触控板Touchpad或触控点（Pointing stick）作为定位设备（Pointing device）。

笔记本电脑和台式机的区别在于便携性，它对主板、CPU、内存、显卡、硬盘的容量等有不同要求。

当今的笔记本电脑正在根据用途分化出不同的趋势，上网本趋于日常办公以及电影；商务本趋于稳定低功耗获得更长久的续航时间。

家用本拥有不错的性能和很高的性价比，游戏本则是专门为了迎合少数人群外出游戏使用的；发烧级配置，娱乐体验效果好，当然价格不低，电池续航时间也不理想。

全球市场上有很多品牌的笔记本电脑。依次为：苹果（Apple）、联想（Lenovo）、惠普（HP）、华硕、宏_（Acer）等。

笔记本电脑的品牌分三线，一线、准一线、二线和三线。

配置不变、功能不变、机身变薄、重量变轻，这样的笔记本电脑才能真正体现出所谓“笔记本”的感觉。

报道指出，随着笔记本电脑行业技术的不断提高，以及第二代SandyBridge处理器的面市，如今8～12英寸屏幕的笔记本电脑已经趋于简单型笔记本电脑那样，正在趋于价格、性能与携带方便的均衡。

超薄笔记本电脑其内部配置，不论是从处理器、内存到硬盘等主要配件，在性能方面绝不输于那些体型较大的笔记本电脑。

当然，要说到差异也并不是没有的，最明显的就是一般超薄型笔记本电脑由于体积、散热、内存等原因，一般不会使用高端配置，另外电池的体积也在一定程度上决定了性能与续航时间的关系。

轻薄的上网本一般不使用内置光驱、网线接口（部分电脑没有数字小键盘）。无线局域网WLAN、蓝牙等功能早已普及，尺寸同样轻巧。

不过，高配置不是没有代价的，这个相信大家都明白，这样高配置的超薄型笔记本电脑其价格就不见得和蔼可亲。

笔记本系列推出了超级本，这种笔记本不仅配置高，可以满足更多专业人士的需求，还方便了携带。

⑸ 大数据处理软件用什么比较好

常见的数据处理软件有Apache Hive、SPSS、Excel、Apache Spark、Jaspersoft BI 套件。

1、Apache Hive

Hive是一个建立在Hadoop上的开源数据仓库基础设施，通过Hive可以很容易的进行数据的ETL,对数据进行结构化处理,并对Hadoop上大数据文件进行查询和处理等。 Hive提供了一种简单的类似SQL的查询语言—HiveQL,这为熟悉SQL语言的用户查询数据提供了方便。

数据分析与处理方法：

采集

在大数据的采集过程中，其主要特点和挑战是并发数高，因为同时有可能会有成千上万的用户来进行访问和操作，比如火车票售票网站和淘宝，它们并发的访问量在峰值时达到上百万，所以需要在采集端部署大量数据库才能支撑。

并且如何在这些数据库之间进行负载均衡和分片的确是需要深入的思考和设计。

统计/分析

统计与分析主要利用分布式数据库，或者分布式计算集群来对存储于其内的大量数据进行普通的分析和分类汇总等，以满足大多数常见的分析需求，在这方面，一些实时性需求会用到EMC的GreenPlum、Oracle的Exadata，以及基于MySQL的列式存储Infobright等。

而一些批处理，或者基于半结构化数据的需求可以使用Hadoop。统计与分析这部分的主要特点和挑战是分析涉及的数据量大，其对系统资源，特别是I/O会有极大的占用。

导入/预处理

虽然采集端本身会有很多数据库，但是如果要对这些大量数据进行有效的分析，还是应该将这些来自前端的数据导入到一个集中的大型分布式数据库，或者分布式存储集群，并且可以在导入基础上做一些简单的清洗和预处理工作。

也有一些用户会在导入时使用来自Twitter的Storm来对数据进行流式计算，来满足部分业务的实时计算需求。导入与预处理过程的特点和挑战主要是导入的数据量大，每秒钟的导入量经常会达到百兆，甚至千兆级别。

⑹ 处理大量excel 数据用什么笔记本电脑处理报表

现在的主流计算机计算日常的报表基本都没有压力，内存稍微大点（建议8g）基本就可以了。
如果是长期、大量的数据计算（比如表格动辄几万行，经常使用全局计算函数），就需要对配置有一定的要求，建议价格在6k以上的非轻薄笔记本就好了（最好是固态硬盘）。