大数据工程师都做什么

‘壹’ 大数据工程师的工作内容是什么

1、数据采集：

业务系统的埋点代码时刻会产生一些分散的原始日志，可以用Flume监控接收这些分散的日志，实现分散日志的聚合，即采集。

2、数据清洗：

一些字段可能会有异常取值，即脏数据。为了保证数据下游的"数据分析统计"能拿到比较高质量的数据，需要对这些记录进行过滤或者字段数据回填。

一些日志的字段信息可能是多余的，下游不需要使用到这些字段做分析，同时也为了节省存储开销，需要删除这些多余的字段信息。

一些日志的字段信息可能包含用户敏感信息，需要做脱敏处理。如用户姓名只保留姓，名字用'*'字符替换。

3、数据存储：

清洗后的数据可以落地入到数据仓库(Hive)，供下游做离线分析。如果下游的"数据分析统计"对实时性要求比较高，则可以把日志记录入到kafka。

4、数据分析统计：

数据分析是数据流的下游，消费来自上游的数据。其实就是从日志记录里头统计出各种各样的报表数据，简单的报表统计可以用sql在kylin或者hive统计，复杂的报表就需要在代码层面用Spark、Storm做统计分析。一些公司好像会有个叫BI的岗位是专门做这一块的。

5、数据可视化：

用数据表格、数据图等直观的形式展示上游"数据分析统计"的数据。一般公司的某些决策会参考这些图表里头的数据。

‘贰’ 大数据工程师主要是做什么的

大数据工程师的主要工作是：分析历史、预测未来、优化选择。

1、分析历史，找出过去事件的特征：

大数据工程师一个很重要的工作，就是通过分析数据来找出过去事件的特征。找出过去事件的特征，最大的作用是可以帮助企业更好地认识消费者。通过分析用户以往的行为轨迹，就能够了解这个人，并预测他的行为。

2、预测未来，预测未来可能发生的事情：

通过引入关键因素，大数据工程师可以预测未来的消费趋势。

3、优化选择，找出最优化的结果：

根据不同企业的业务性质，大数据工程师可以通过数据分析来达到不同的目的。

在工作岗位上，大数据工程师需要基于Hadoop，Spark等构建数据分析平台，进行设计、开发分布式计算业务。负责大数据平台(Hadoop，HBase，Spark等)集群环境的搭建，性能调优和日常维护。负责数据仓库设计，数据ETL的设计、开发和性能优化。参与构建大数据平台，依托大数据技术建设用户画像。

(2)大数据工程师都做什么扩展阅读：

大数据工程师可以从事对大量数据的采集、清洗、分析、治理、挖掘，并对这些数据加以利用、管理、维护和服务的相关技术工作。

大数据工程师专业技术水平等级培训考试分初级、中级、高级三个级别。

大数据工程师培养人群：有志于从事大数据采集、清洗、分析、治理、挖掘等技术研究，并加以利用、管理、维护和服务的工程技术人员。

大数据工程师初、中、高三个级别考试均设《大数据理论基础》、《大数据技能实操》两个科目。

‘叁’ 大数据开发工程师主要做什么

大数据开发工程师主要负责数据仓库建设，数据分析、数据统计、平台建设及维护等工作内容，大数据工程师需要熟练掌握各种数据技术，对个人能力要求很高，因而工资水平也是非常可观的。

‘肆’ 大数据分析工程师主要做什么

未来，对熟练的大数据分析工程师的需求将急速增长。现实的情况是这样的，无论公司属于哪个行业，要想在当今竞争激烈的市场环境中取得成功，需要一个强大的软件架构用来存储和访问公司数据，最好从公司创立一开始就要搭建它。那么今天小编就带大家先了解一下，大数据分析工程师主要做什么？一个合格的大数据分析工程师有哪些关键技能呢？我们接着往下看。

大数据分析工程师主要做什么？
大数据分析工程师负责创建和维护分析基础架构，该基础架构几乎可以支持数据世界中的所有其他功能。他们负责大数据架构的开发、构建、维护和测试，例如数据库和大数据处理系统。还负责创建用于建模，挖掘，获取和验证数据集合等流程。
因此，大数据分析工程师需要掌握通用脚本语言和工具，利用和改进数据分析系统，不断提高数据数量和质量。
大数据分析工程师的关键技能
1.大数据架构的工具与组件
大数据分析工程师更关注分析基础架构，因此所需的大部分技能都是以架构为中心的。
2.深入了解SQL和其它数据库解决方案
大数据分析工程师需要熟悉数据库管理系统，深入了解SQL至关重要。同样其它数据库解决方案，例如Cassandra或BigTable也须熟悉，因为不是每个数据库都是由可识别的标准来构建。
3.数据仓库和ETL工具
数据仓库和ETL经验对于大数据分析工程师至关重要。像Redshift或Panoply这样的数据仓库解决方案，以及ETL工具，比如StitchData或Segment都非常有用。此外，数据存储和数据检索经验同样重要，因为处理的数据量是个天文数字。
4.基于Hadoop的分析(HBase，Hive，MapRece等)
对基于Apache Hadoop的分析有深刻理解是这个领域的一个非常必要的需求，一般情况下HBase，Hive和MapRece的知识存储是必需的。
5.编码
说到解决方案，编码与开发能力是一个重要的优点(这也是许多职位的要求)，你要熟悉Python，C/C++，Java，Perl，Golang或其它语言，这会非常有价值。
6.机器学习
机器学习已经成为标准数据科学，该领域的知识可以帮我们构建同类产品的解决方案。这种知识还有一个好处，就是让你在这个领域极具市场价值，因为在这种情况下能够“戴上两顶帽子”会让你成为一个更强大的工具。
7.多种操作系统
最后，需要我们对Unix，Linux和Solaris系统有深入了解，许多数学工具基于这些操作系统，因为它们有Windows和Mac系统功能没有的访问权限和特殊硬件需求。
虽然这些数据解决方案可以帮助您踏进大数据工程领域，虽然它们有分发或授予认证，但只是提供证书或文凭。虽然一般学习够了，但它们不能被认视为实际认证或实践的替代品。希望本文能够给大家阐明大数据分析工程师所需的特定知识，技能和要求。这个领域正在迅速发展，但它也充满了挑战与险阻。在工作中通过适当的认证填补技能组合的空白，实现最好学习的关键一步。综上所述，就是小编今天给大家分享的内容，希望可以帮助到大家。