大数据怎么搞

‘壹’ 怎样学习大数据

首先我们要了解Java语言和Linux操作系统，这两个是学习大数据的基础，学习的顺序不分前后。

Java ：只要了解一些基础即可，做大数据不需要很深的Java 技术，学java SE 就相当于有学习大数据基础。

Linux：因为大数据相关软件都是在Linux上运行的，所以Linux要学习的扎实一些，学好Linux对你快速掌握大数据相关技术会有很大的帮助，能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置，能少踩很多坑，学会shell就能看懂脚本这样能更容易理解和配置大数据集群。还能让你对以后新出的大数据技术学习起来更快。

Hadoop：这是现在流行的大数据处理平台几乎已经成为大数据的代名词，所以这个是必学的。Hadoop里面包括几个组件HDFS、MapRece和YARN，HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面，MapRece是对数据进行处理计算的，它有个特点就是不管多大的数据只要给它时间它就能把数据跑完，但是时间可能不是很快所以它叫数据的批处理。

Zookeeper：这是个万金油，安装Hadoop的HA的时候就会用到它，以后的Hbase也会用到它。它一般用来存放一些相互协作的信息，这些信息比较小一般不会超过1M，都是使用它的软件对它有依赖，对于我们个人来讲只需要把它安装正确，让它正常的run起来就可以了。

Mysql：我们学习完大数据的处理了，接下来学习学习小数据的处理工具mysql数据库，因为一会装hive的时候要用到，mysql需要掌握到什么层度那?你能在Linux上把它安装好，运行起来，会配置简单的权限，修改root的密码，创建数据库。这里主要的是学习SQL的语法，因为hive的语法和这个非常相似。

Sqoop：这个是用于把Mysql里的数据导入到Hadoop里的。当然你也可以不用这个，直接把Mysql数据表导出成文件再放到HDFS上也是一样的，当然生产环境中使用要注意Mysql的压力。

Hive：这个东西对于会SQL语法的来说就是神器，它能让你处理大数据变的很简单，不会再费劲的编写MapRece程序。有的人说Pig那?它和Pig差不多掌握一个就可以了。

Oozie：既然学会Hive了，我相信你一定需要这个东西，它可以帮你管理你的Hive或者MapRece、Spark脚本，还能检查你的程序是否执行正确，出错了给你发报警并能帮你重试程序，最重要的是还能帮你配置任务的依赖关系。我相信你一定会喜欢上它的，不然你看着那一大堆脚本，和密密麻麻的crond是不是有种想屎的感觉。

Hbase：这是Hadoop生态体系中的NOSQL数据库，他的数据是按照key和value的形式存储的并且key是唯一的，所以它能用来做数据的排重，它与MYSQL相比能存储的数据量大很多。所以他常被用于大数据处理完成之后的存储目的地。

Kafka：这是个比较好用的队列工具，队列是干吗的?排队买票你知道不?数据多了同样也需要排队处理，这样与你协作的其它同学不会叫起来，你干吗给我这么多的数据(比如好几百G的文件)我怎么处理得过来，你别怪他因为他不是搞大数据的，你可以跟他讲我把数据放在队列里你使用的时候一个个拿，这样他就不在抱怨了马上灰流流的去优化他的程序去了，因为处理不过来就是他的事情。而不是你给的问题。当然我们也可以利用这个工具来做线上实时数据的入库或入HDFS，这时你可以与一个叫Flume的工具配合使用，它是专门用来提供对数据进行简单处理，并写到各种数据接受方(比如Kafka)的。

Spark：它是用来弥补基于MapRece处理数据速度上的缺点，它的特点是把数据装载到内存中计算而不是去读慢的要死进化还特别慢的硬盘。特别适合做迭代运算，所以算法流们特别稀饭它。它是用scala编写的。Java语言或者Scala都可以操作它，因为它们都是用JVM的。

‘贰’ 新人如何入门大数据技术

在学习的过程中，也可以适当扩展一下自身的知识面，包括学习一些分布式开发框架等等，但是对于已经就业的初级职场人来说，学习大数据一定要从岗位任务入手。

当前大数据产业链上，岗位的划分通常分为三大类，其一是大数据开发，其二是大数据分析，其三是大数据运维，而这三大类岗位又有很多细分的岗位，不同的团队对于从业者的知识结构也有不同的要求。以大数据分析岗位为例，很多从事BI的团队，对于从业者的编程能力要求并不高，对于数据库知识的要求比较高，所以职场新人首先要了解自己的工作任务，然后再制定学习规划。

产业领域往往会采用商用的大数据平台，并不像在学生时代，往往有大块的学习时间来学习开源的大数据平台，比如Hadoop等，所以在学习时，要搞清楚企业所采用的技术平台，然后把技术平台的结构和API搞清楚，这是比较重要的。当前商用大数据平台往往都有比较完善的技术描述文档，通常也会有很多案例可以学习，这些都会明显提升学习效率。

最后，对于职场新人来说，一定要重视与技术团队中的技术骨干进行交流，不断明确自己的学习方向和学习内容，这是非常重要的，学会沟通是初级职场人最应该掌握的能力。

关于新人如何入门大数据技术，青藤小编就和您分享到这里了。如果你对大数据工程有浓厚的兴趣，希望这篇文章能够对你有所帮助。如果您还想了解更多数据分析师、大数据工程师的技巧及素材等内容，可以点击本站的其他文章进行学习。

‘叁’ "大数据"，到底怎么搞

没那么简单的，首先，你的跟上这个时代发展的潮流，然后在有专业的大数据人才，才能建起最基础的大数据。柠檬学院大数据。

‘肆’ 大数据初学者应该怎么学

大数据大家一定都不陌生，现在这个词几乎是红遍了大江南北，不管是男女老幼几乎都听说过大数据。大数据作为一个火爆的行业，很多人都想从事这方面相关的工作，所以大家就开始加入了学习大数据的行列。

目前，市面上不仅是学习大数据的人数在增加，随之而来的是大数据培训机构数量的迅速上升。因为很多人认为这是一门难学的技术，只有经过培训才能够很好的学习到相关技术，最终完成就业的目的。其实，也并不都是这样的，学习大数据的方法有很多，只有找到适合自己的就能够达到目的。

那么，大数据初学者应该怎么学？

1、如果是零基础的初学者，对于大数据不是很了解，也没有任何基础的话，学习能力弱，自律性差的建议选择大数据培训学习更有效；

2、有一定的基础的学员，虽然对于大数据不是很了解，但有其它方面的编程开发经验，可以尝试去选择自学的方式去学习，如果后期感觉需要大数据培训的话再去报名学习；

3、就是要去了解大数据行业的相关工作都需要掌握哪些内容，然后根据了解的内容去选择需要学习的大数据课程。

大数据学习路线图：

‘伍’ java 大数据怎么做

Java是编程语言；
大数据是一个概念，包含的技术较多，比如Hadoop、Spark、Storm等；
学习大数据先要学习Java，Java是基础，而大数据比较核心的两个课程是HADOOP、SPARK。

‘陆’ 大数据怎么学习

第一阶段：大数据技术入门

1大数据入门：介绍当前流行大数据技术，数据技术原理，并介绍其思想，介绍大数据技术培训课程，概要介绍。

2Linux大数据必备：介绍Lniux常见版本，VMware虚拟机安装Linux系统，虚拟机网络配置，文件基本命令操作，远程连接工具使用，用户和组创建，删除，更改和授权，文件/目录创建，删除，移动，拷贝重命名，编辑器基本使用，文件常用操作，磁盘基本管理命令，内存使用监控命令，软件安装方式，介绍LinuxShell的变量，控制，循环基本语法，LinuxCrontab定时任务使用，对Lniux基础知识，进行阶段性实战训练，这个过程需要动手操作，将理论付诸实践。

3CM&CDHHadoop的Cloudera版：包含Hadoop，HBase，Hiva，Spark，Flume等，介绍CM的安装，CDH的安装，配置，等等。

第二阶段：海量数据高级分析语言

Scala是一门多范式的编程语言，类似于java，设计的初衷是实现可伸缩的语言，并集成面向对象编程和函数式编程的多种特性，介绍其优略势，基础语句，语法和用法， 介绍Scala的函数，函数按名称调用，使用命名参数函数，函数使用可变参数，递归函数，默认参数值，高阶函数，嵌套函数，匿名函数，部分应用函数，柯里函数，闭包，需要进行动手的操作。

第三阶段：海量数据存储分布式存储

1HadoopHDFS分布式存储：HDFS是Hadoop的分布式文件存储系统，是一个高度容错性的系统，适合部署在廉价的机器上，HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用，介绍其的入门基础知识，深入剖析。

2HBase分布式存储：HBase-HadoopDatabase是一个高可靠性，高性能，面向列，可伸缩的分布式存储系统，利用HBase技术可在廉价PC上搭建起大规模结构化存储集群，介绍其入门的基础知识，以及设计原则，需实际操作才能熟练。

第四阶段：海量数据分析分布式计算

1HadoopMapRece分布式计算：是一种编程模型，用于打过莫数据集的并行运算。

2Hiva数据挖掘：对其进行概要性简介，数据定义，创建，修改，删除等操作。

3Spare分布式计算：Spare是类MapRece的通用并行框架。

第五阶段：考试

1技术前瞻：对全球最新的大数据技术进行简介。

2考前辅导：自主选择报考工信部考试，对通过者发放工信部大数据技能认证书。

上面的内容包含了大数据学习的所有的课程，所以，如果有想学大数据的可以从这方面下手，慢慢的了解大数据。

‘柒’ 朋友圈中的微信大数据是怎么弄的啊

大数据（big data），是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。
有人把数据比喻为蕴 藏能量的煤矿。煤炭按照性质有焦煤、无烟煤、肥煤、贫煤等分类，而露天煤矿、深山煤矿的挖掘成本又不一样。与此类似，大数据并不在“大”，而在于“有用”。价值含量、挖掘成本比数量更为重要。对于很多行业而言，如何利用这些大规模数据是成为赢得竞争的关键。

大数据的价值体现在以下几个方面：
1)对大量消费者提供产品或服务的企业可以利用大数据进行精准营销;
2) 做小而美模式的中长尾企业可以利用大数据做服务转型;
3) 面临互联网压力之下必须转型的传统企业需要与时俱进充分利用大数据的价值

‘捌’ 微信大数据是怎么弄的

将微信数据导入BDP个人版，首次做个模板（就是你想看的数据结果），然后就可以随意看微信数据了。

‘玖’ 大数据如何入门

听说你想要学大数据？你确定你搞清楚概念了吗？我们来做个小测验吧：
数据分析师在公司是干什么的？
大数据和普通数据最大的区别是什么？
你的日常工作中根本接触不到大数据，你真正想学的是大数据吗？
有点蒙圈了吧。鱼君正是要帮你在最短的时间内理清这些概念，找准自己前进的方向。
大数据之“大”数据，大家会陌生吗？不会。我们每天的日常生活都会接触到数据。淘宝购物时货比三家的价格，年终考核之后发给我们的奖金，发表在知乎上的文章的评论数量，这些都是数据。
从人们会计数开始，数据就有了，数据分析也是。那么大数据呢？
说到大数据，你就绕不开互联网。在互联网出现之前，虽然政府部门和一些公共事业单位通过日积月累获得了较大量的数据，但并没有形成足够的影响力。直到互联网产品的出现，由于它收集用户数据的便利性，通常在一天之内就能够累计其他行业可能一年才能获取的数据量。
数据量的升级造成算法和硬件都必须要升级，操作起来的技术难度也就会提高很多。这个时候，就需要专业的技术和平台来完成存储，处理和分析大数据的工作。比如说，大家都听过的Hadoop平台，MapRece算法。都是大数据时代的产物。
因此，我认为，大数据的核心，就在于大。
有一定规模的互联网公司都会成立专门的大数据部门来管理自己产品所收集到的大数据。数据量越大，处理难度就越高，相应的，可能挖掘到的内涵也会更多。于是，大数据就成了一个产业，一个火热的产业。
大数据圈子里的人在大数据行业这个圈子里，公司提供的职位大致分为三类：数据分析师，数据产品经理，数据工程师。他们紧密合作，共同驱动公司的数据决策文化。
那么，着三种职位都是做什么的？又该怎么入行呢？
数据分析师
数据分析师，是使用大数据的人。核心是掌握各种数据分析工具和数据分析技能，目标是为公司管理层和产品团队提供分析报告，帮助他们做决策。
实际工作中，数据会被处理成各种不同的类型提供给数据分析师使用，有比较原始的，有比较简单好用的。因此，数据分析师需要掌握R, SQL，Excel, Python基础编程等多种技能，以及熟练掌握常用的数据分析方法。
如果你立志于成为一个数据分析师甚至数据科学家，那么我强烈建议你进行系统的学习。
数据产品经理
数据产品经理是设计数据产品的人。核心技能是数据需求分析和数据产品的设计，和其他的互联网产品经理并没有本质的不同。实际工作中，数据产品经理需要收集不同用户的数据需求并且设计出好用的数据产品提供给大家，帮助他们“用数据做决定”。
怎么入门呢？关于具体的进阶流程，我希望你听一下我在一块听听上做的讲座《4步让你成为大数据产品经理》，会为你提供非常全面的介绍。
常见的推荐入门书籍有《人人都是产品经理》，《The DatawareHouse Toolkit》，《Lean Analytics》等等。
数据工程师
数据工程师，简单分两种，一类是数据挖掘工程师，另外一类是大数据平台工程师。工程师的基本技能当然是写代码，写高质量的代码。
数据挖掘工程师主要工作是开发大数据流水线以及和数据分析师一起完成数据挖掘项目，而数据平台工程师主要工作是维护大数据平台。
因此，理工科背景出身，掌握C, C#, Python等编程/脚本语言，熟悉各种基础算法即可以胜任。
如何用数据做决策
对于那些并不想转行进入大数据圈子的人，我们要学的究竟是什么？
我相信，在我们的日常工作中，特别是业绩不佳，找不到突破口的时候，都曾想过能否用数据来帮助自己。因为我们都曾或多或少听过一些牛逼的数据案例，比如纸尿布与啤酒之类。
举一个简单的例子，你经营的餐馆现在状况不佳。你可以自己拍脑袋想一堆的新点子来尝试改善现状。你也可以，收集整理数据，通过分析找出根本原因，并提出对应解决方案，从而扭转局面。后者听起来似乎更加靠谱一些。
那么，你该收集什么数据，做什么分析，这就是你需要学习的：“如何用数据做决策”。从这个角度讲，我认为：
人人都应该是数据分析师
学习系统的数据决策和数据分析思维，我们可以从这篇文章开始：从0到1搭建数据分析知识体系。我自己工作中常用的数据分析方法都被囊括在里面，如果趋势分析，多维分解，用户分群，漏斗分析等等。请不要小看一篇文章，知识在精不在多。
你还可以从一本简单好读的《谁说菜鸟不会数据分析》开始搭建你的数据分析思维。
关于数据分析的书籍太多了，众口难调，随便一搜就有一大堆推荐。而其中所讲的知识和理论其实都是类似的。最终要让他们发挥作用，还是要和实践结合起来。
因此，我认为，在自己的生意和工作中多实践数据分析，多思考，遇到问题多在社群中提问和大家探讨，是最好的学习办法。我自己也一直是这样践行的。
带着问题去学习，是最好的方式。
在这个过程中，随着你对数据的深入了解，掌握更多的数据分析语言和工具。从Excel到SQL，甚至到R和Python。你所能使用的数据量也会越来越大。但你大可不必一开始就扎入这些工具的学习中，那样会收效甚微。