加强数据处理能力学什么

⑴ 大数据学习需要哪些课程

1、Java编程技术

Java编程技术是大数据学习的基础，Java是一种强类型语言，拥有极高的跨平台能力，可以编写桌面应用程序、Web应用程序、分布式系统和嵌入式系统应用程序等，是大数据工程师最喜欢的编程工具，因此，想学好大数据，掌握Java基础是必不可少的!

2、Linux命令

对于大数据开发通常是在Linux环境下进行的，相比Linux操作系统，Windows操作系统是封闭的操作系统，开源的大数据软件很受限制，因此，想从事大数据开发相关工作，还需掌握Linux基础操作命令。

3、Hadoop

Hadoop是大数据开发的重要框架，其核心是HDFS和MapRece，HDFS为海量的数据提供了存储，MapRece为海量的数据提供了计算，因此，需要重点掌握，除此之外，还需要掌握Hadoop集群、Hadoop集群管理、YARN以及Hadoop高级管理等相关技术与操作!

4、Hive

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapRece任务进行运行，十分适合数据仓库的统计分析。对于Hive需掌握其安装、应用及高级操作等。

5、Avro与Protobuf

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapRece任务进行运行，十分适合数据仓库的统计分析。对于Hive需掌握其安装、应用及高级操作等。

6、ZooKeeper

ZooKeeper是Hadoop和Hbase的重要组件，是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组件服务等，在大数据开发中要掌握ZooKeeper的常用命令及功能的实现方法。

7、HBase

HBase是一个分布式的、面向列的开源数据库，它不同于一般的关系数据库，更适合于非结构化数据存储的数据库，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，大数据开发需掌握HBase基础知识、应用、架构以及高级用法等。

8、phoenix

phoenix是用Java编写的基于JDBC API操作HBase的开源SQL引擎，其具有动态列、散列加载、查询服务器、追踪、事务、用户自定义函数、二级索引、命名空间映射、数据收集、行时间戳列、分页查询、跳跃查询、视图以及多租户的特性，大数据开发需掌握其原理和使用方法。

9、Redis

phoenix是用Java编写的基于JDBC API操作HBase的开源SQL引擎，其具有动态列、散列加载、查询服务器、追踪、事务、用户自定义函数、二级索引、命名空间映射、数据收集、行时间戳列、分页查询、跳跃查询、视图以及多租户的特性，大数据开发需掌握其原理和使用方法。

⑵ 大数据都需要学什么

首先我们要了解Java语言和Linux操作系统，这两个是学习大数据的基础，学习的顺序不分前后。

大数据

Java ：只要了解一些基础即可，做大数据不需要很深的Java 技术，学java SE 就相当于有学习大数据基础。

Linux：因为大数据相关软件都是在Linux上运行的，所以Linux要学习的扎实一些，学好Linux对你快速掌握大数据相关技术会有很大的帮助，能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置，能少踩很多坑，学会shell就能看懂脚本这样能更容易理解和配置大数据集群。还能让你对以后新出的大数据技术学习起来更快。

Hadoop：这是现在流行的大数据处理平台几乎已经成为大数据的代名词，所以这个是必学的。Hadoop里面包括几个组件HDFS、MapRece和YARN，HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面，MapRece是对数据进行处理计算的，它有个特点就是不管多大的数据只要给它时间它就能把数据跑完，但是时间可能不是很快所以它叫数据的批处理。

Zookeeper：这是个万金油，安装Hadoop的HA的时候就会用到它，以后的Hbase也会用到它。它一般用来存放一些相互协作的信息，这些信息比较小一般不会超过1M，都是使用它的软件对它有依赖，对于我们个人来讲只需要把它安装正确，让它正常的run起来就可以了。

Mysql：我们学习完大数据的处理了，接下来学习学习小数据的处理工具mysql数据库，因为一会装hive的时候要用到，mysql需要掌握到什么层度那?你能在Linux上把它安装好，运行起来，会配置简单的权限，修改root的密码，创建数据库。这里主要的是学习SQL的语法，因为hive的语法和这个非常相似。

Sqoop：这个是用于把Mysql里的数据导入到Hadoop里的。当然你也可以不用这个，直接把Mysql数据表导出成文件再放到HDFS上也是一样的，当然生产环境中使用要注意Mysql的压力。

Hive：这个东西对于会SQL语法的来说就是神器，它能让你处理大数据变的很简单，不会再费劲的编写MapRece程序。有的人说Pig那?它和Pig差不多掌握一个就可以了。

Oozie：既然学会Hive了，我相信你一定需要这个东西，它可以帮你管理你的Hive或者MapRece、Spark脚本，还能检查你的程序是否执行正确，出错了给你发报警并能帮你重试程序，最重要的是还能帮你配置任务的依赖关系。我相信你一定会喜欢上它的，不然你看着那一大堆脚本，和密密麻麻的crond是不是有种想屎的感觉。

Hbase：这是Hadoop生态体系中的NOSQL数据库，他的数据是按照key和value的形式存储的并且key是唯一的，所以它能用来做数据的排重，它与MYSQL相比能存储的数据量大很多。所以他常被用于大数据处理完成之后的存储目的地。

Kafka：这是个比较好用的队列工具，队列是干吗的?排队买票你知道不?数据多了同样也需要排队处理，这样与你协作的其它同学不会叫起来，你干吗给我这么多的数据(比如好几百G的文件)我怎么处理得过来，你别怪他因为他不是搞大数据的，你可以跟他讲我把数据放在队列里你使用的时候一个个拿，这样他就不在抱怨了马上灰流流的去优化他的程序去了，因为处理不过来就是他的事情。而不是你给的问题。当然我们也可以利用这个工具来做线上实时数据的入库或入HDFS，这时你可以与一个叫Flume的工具配合使用，它是专门用来提供对数据进行简单处理，并写到各种数据接受方(比如Kafka)的。

Spark：它是用来弥补基于MapRece处理数据速度上的缺点，它的特点是把数据装载到内存中计算而不是去读慢的要死进化还特别慢的硬盘。特别适合做迭代运算，所以算法流们特别稀饭它。它是用scala编写的。Java语言或者Scala都可以操作它，因为它们都是用JVM的。

⑶ 大学生如何提高数据处理能力

如何提高数据分析能力？ (2012-02-19 16:19:19)转载▼
标签： 数据分析 数据挖掘 杂谈
作为一个合格的咨询师，除了快速的学习能力和敏捷的分析能力，强大的数据分析能力也是必不可少的。笔者根据自己的经验，总结出以下几个对提高数据分析能力有帮助的方法，以供参考。一、熟悉公司业务 首先要熟悉公司业务及流程。若脱离行业认知和公司业务背景，分析的结果只会是脱了线的风筝，没有太大的实用价值。数据分析的最终目的是作为一种分析方法来为整个项目服务。二、明确分析目的 常常会有人问这些数据可以做什么分析？这是典型的“为了分析而分析”。数据分析的前提是先明确分析目的，这样的分析才有意义；三、运用营销、管理等理论 营销、管理等理论是数据分析的指导思想，使分析思路系统化。例如4P理论等，从哪几个维度去分析？考虑哪几个方面？只有这样做才能使数据分析变得有血有肉有脉络，真正做到理论指导实践；四、掌握有效数据分析方法 了解数据分析流程，掌握数据分析基本原理与方法，并灵活运用到实践工作中，不论简单还是复杂的分析方法，只要能解决问题的方法就是好方法；五、玩转数据分析工具 数据分析工具，建议先玩转excel数据透视表，有兴趣、实践、需要的话，再学习SPSS、SAS等统计分析工具。同样，只要能解决问题的工具就是好工具；六、学会用图表说话，玩转PPT等工具 学会如何用图表有效展现分析结果，PPT有助于数据分析结果展现，达人必备；水晶易表亦对分析结果的展现有很大帮助，选择性使用；思维导图可帮助理清分析思路，根据需要选用。光做数据分析是不够的，真正要做的是将数据分析结果清晰地展现给其他人看；七、勤思考、多动手、多总结 需要经常发问为什么是这样的、为什么不是那样的。只有这样勤于思考才有突破点； 光靠脑袋想是不够的，需要多动手实践，不要怕错，大不了错了重来，数据分析就是一个不断假设、验证的过程； 不断总结分析方法、分析思路、分析流程，在总结中前行；八、关注行业动态 关注数据分析行业动态，积极地学习他人的数据分析经验；九、收藏几本分析秘籍 可在家中收藏一些使用的分析工具书，以便随时查阅，如《用图表说话》、《excel图表之道》等； 数据分析不仅是个工具，而且是门艺术，希望能与大家共勉，提高自己的数据分析能力。
参照这个来提升自己。希望对你有所帮助

⑷ 工科大学生怎样提高工程设计能力、数据分析能力、技术集成能力

• 工程设计能力：工程设计是为了满足人类的某种需要，运用一定的科学技术知识和方法，创造和拟定制造新技术、新产品、新工艺的方案和说明。工程设计是科学物化中的桥梁，设计的成果是组织生产的指令性文件，工程设计能力是每个工科人才必须具备的一项基本能力。

（1）多次实验并学会总结。工程技术设计方法是在漫长的社会活动实践中发展起来的，完成工程设计主要靠设计者的直觉和经验，因此需要大量的实践经历和经验总结。

（2）根据任务，逐步细化设计。根据任务的技术要求，在经验方法的基础上，先提出设计的初步轮廓，然后再逐步按照近三阶段（即初步设计、技术设计和施工设计）的设计方法细化

（3）注重日常积累。博览群书，多留意一下细节方面的事情，因为灵感往往孕育其中，然后再按照现代设计的方法进行设计，往往会更轻松和更能解决问题。

（4）培养自己的审美意识，能够将技术与艺术柔和在一起，才能使创造的产品不仅具有社会使用价值，还能为人们提供美的享受。科学素养与人文素养相结合是现代科技人才高素质的体现。

• 数据处理能力：工科学生在研究中从选定研究课题，到设计、试验、组织生产，都离不开数据的处理与交流，数据处理的能力要在长期的科技工作中得到锻炼才会有所提高。具体来讲可以从以下几个方面着手。

(1)提升信息获取能力。充分利用搜索引擎、专业的检索系统搜集、查询有关的研究数据，学好专业外语，广泛深入的阅读中外文献着作，翻译、分析有关的科技资料，并不断总结整理，形成良好的研究习惯。

（2）提升处理数据的技术能力，熟悉各种数据分析工具，如excel数据透视表、SPSS等；了解数据分析流程，掌握数据分析基本原理与方法，并灵活运用到实践工作中。

（3）提升信息甄别能力。主要可以通过积极关注行业动态，积极地学习他人的数据分析经验，向导师、同学请教，多动手实践，不断假设、验证，不断总结分析方法。

• 技术集成能力：是按照一定的技术原理或功能目的，将两个或两个以上的单项技术通过重组而获得具有统一整体功能的新技术的创造方法。工科学生通过培养技术集成能力往往更容易实现问题突破和思维创新。

（1）提高自身主动学习意识，激发学习兴趣，兴趣是最好的老师，只有有了兴趣和求知欲，才能主动的更好的学习各门学科知识。

（2）积极参加各类讲座、报告、研究小组讨论、学科竞赛等学术活动，通过广泛的交流和见闻，拓宽视野。

（3）充分利用大学的各种资源，广泛阅读文献，了解各个方向相关的研究发展情况。

（4）积极参加实践项目，申请担任助教、助研工作，加强实验、实习，在实际中发现问题，以问题为牵引学习相关领域知识，以此达到锻炼科研能力和技术集成创新的目的。

⑸ 数据分析师需要学习哪些技能

对于数据分析师来说，Excel是一个必备的技能，经过大量的实践发现，Excel是一个比较靠谱的工具，如果用Excel分析数据，就能够做好数据的分析，同时Excel操作也是比较简单的，不是程序员也能够正常的使用。现在有很多企业都在使用Excel这项工具进行去分析数据，所以，数据分析师必须要学会使用Excel。

②行业知识

对于数据分析师来说，业务的了解比数据方法论更重要。而且业务学习没有捷径，基本都靠不断的思考与不断的总结，这样才能够做好数据分析。

③SQL

sql是所有数据库查询的语言，而数据库也是有很多的类型的，比如mysql、sqlserver、oracle等等，对于不同的数据库，sql语法会有所不同，但是总体上大同小异，只是细微处的差别。如果大家有数据库基础的话，那么只需要找些sql的题目做一做，这样也能够提到sql水平。

④数据分析思维

如果作为一名数据分析师，需要很缜密的心思以及对数据很敏感的喜欢，这样才能够发现他人会遗漏的东西。有力这些还不够，我们还需要有一个数据分析的思维，那么怎么有一个数据分析的思维呢?一般来说，需要梳理分析思路，并搭建分析框架，把分析目的分解成若干个不同的分析要点，即清楚如何具体开展数据分析，需要从哪几个角度进行分析，采用哪些分析指标。同时，确保分析框架的体系化和逻辑性。

⑤统计学

一名优秀的数据分析师还应该精通统计学，只有学会了统计学，才能够进行数据分析，数据分析是通过大量的数据进行挑选出有用的数据，这样才能够做好正确的分析。统计学的统计知识能够让我们多了一种角度去看待数据，这样能够看出不同的情况，为数据分析中提供了参考价值。