① 数据科学与大数据技术专业是干什么的 前景怎么样
数据科学与大数据技术主要研究计算机科学和大数据处理技术等相关的知识和技能,从大数据应用的三个主要层面(即数据管理、系统开发、海量数据分析与挖掘)出发,对实际问题进行分析和解决。主要从事大数据技术、大数据研究、数据管理、数据挖掘、算法工程、应用开发等工作。
数据科学与大数据技术专业很不错,前景比较乐观,毕业生能在政府机构企业公司等从事大数据管理研究应用开发等方面的工作。同时可以考取软件工程计算机科学与技术应用统计学等专业的研究生或出国深造。
大数据专业和计算机专业比较像,是注重实践的专业。学生需要独立编写程序,对程序进行修改与调试,需要注意每一个细节才能顺利查错并运行程序。
大数据人才的工作是,把海量信息采集、存储、分析,挖掘出信息背后更多的价值,以更好地辅助企业、政府机关做出决策。
随着大数据往各领域延伸发展,市场对统计学、数学方面的专业人才,数据分析、数据挖掘、人工智能等偏软件领域的需求加大。数据分析师/大数据分析培训,加米谷大数据培训机构,可预约现场试听课,大数据开发零基础班预报中。
大数据专业毕业生可以胜任大数据技术开发与应用,大数据运维和云计算等工作,可以去大型互联网公司就业,做前、后端开发、数据分析师、机器学习算法工程师,App开发、智能游戏设计与开发、数据科学家等。
也可以进入各行各业,在银行、电信、电力、交通等企事业单位,政府、信息产业及其他国民经济部门,甚至医疗系统、媒体等单位,依托具体业务,从事大数据分析、大数据应用开发、大数据系统研发、数据可视化等相关工作。毕竟大数据作为一门技术,为具体行业的决策服务。
在国内来看,国家信息中心信息化研究部副主任、南海大数据应用研究院院长于施洋指出:“从地域分布,从各个省来说,北京排第一,东部沿海地区这些省份排在前面,在西南地区,四川、重庆、贵州这三个地方异军突起,是我们大数据发展的第二个增长极。”
各省份大数据发展指数的排名中,贵州、重庆、四川,紧随东部沿海省份,全部排进了前十名,领先任何一个中部省份。这主要是地方政策引领的结果,毕业生想从事和大数据相关的工作,也可以考虑去这些大数据发展比较好、政策支持比较多的地方。
② 数据工程师是做什么工作内容
1 维护大数据平台(这个应该是每个大数据工程师都做过的工作,或多或少会承担“运维”的工作)
2 为集群搭大数据环境(一般公司招大数据工程师环境都已经搭好了,公司内部会有现成的大数据平台,但我这边会私下搞一套测试环境,毕竟公司内部的大数据系统权限限制很多,严重影响开发效率)
3 写 SQL (很多入职一两年的大数据工程师主要的工作就是写 SQL )
4 数据迁移(有部分公司需要把数据从传统的数据库 Oracle、MySQL 等数据迁移到大数据集群中,这个是比较繁琐的工作,吃力不讨好)
5 应用迁移(有部分公司需要把应用从传统的数据库 Oracle、MySQL 等数据库的存储过程程序或者SQL脚本迁移到大数据平台上,这个过程也是非常繁琐的工作,无聊,高度重复且麻烦,吃力不讨好)
6 数据采集(采集日志数据、文件数据、接口数据,这个涉及到各种格式的转换,一般用得比较多的是 Flume 和 Logstash)
7 数据处理
7.1 离线数据处理(这个一般就是写写 SQL 然后扔到 Hive 中跑,其实和第一点有点重复了)
7.2 实时数据处理(这个涉及到消息队列,Kafka,Spark,Flink 这些,组件,一般就是 Flume 采集到数据发给 Kafka 然后 Spark 消费 Kafka 的数据进行处理)
8 数据可视化(这个我司是用 Spring Boot 连接后台数据与前端,前端用自己魔改的 echarts)
9 大数据平台开发(偏Java方向的,大概就是把开源的组件整合起来整成一个可用的大数据平台这样,常见的是各种难用的 PaaS 平台)
10 数据中台开发(中台需要支持接入各种数据源,把各种数据源清洗转换为可用的数据,然后再基于原始数据搭建起宽表层,一般为了节省开发成本和服务器资源,都是基于宽表层查询出业务数据)
11 搭建数据仓库(这里的数据仓库的搭建不是指 Hive ,Hive 是搭建数仓的工具,数仓搭建一般会分为三层 ODS、DW、DM 层,其中DW是最重要的,它又可以分为DWD,DWM,DWS,这个层级只是逻辑上的概念,类似于把表名按照层级区分开来的操作,分层的目的是防止开发数据应用的时候直接访问底层数据,可以减少资源,注意,减少资源开销是减少 内存 和 CPU 的开销,分层后磁盘占用会大大增加,磁盘不值钱所以没什么关系,分层可以使数据表的逻辑更加清晰,方便进一步的开发操作,如果分层没有做好会导致逻辑混乱,新来的员工难以接手业务,提高公司的运营成本,还有这个建数仓也分为建离线和实时的)
总之就是离不开写 SQL ...
③ 大数据技术是学什么的就业方向
大数据技术是学数学专业、计算机专业的就业方向。
大数据技术里会用到很多学科学习的知识,并不是单一的专业可以学完大数据所需要掌握的技术,所以大数据属于交叉学科:以统计学、数学、计算机为三大支撑性学科;生物、医学、环境科学、经济学、社会学、管理学为应用拓展性学科。
④ 大数据专业主要学什么
大数据专业
全称:数据科学与大数据技术,强调交叉学科特点,以大数据分析为核心,以统计学、计算机科学和数学为三大基础支撑性学科,培养面向多层次应用需求的复合型人才。
开设课程:
数学分析、高等代数、普通物理数学与信息科学概论、数据结构、数据科学导论、程序设计导论、程序设计实践、离散数学、概率与统计、算法分析与设计、数据计算智能、数据库系统概论、计算机系统基础、并行体系结构与编程、非结构化大数据分析等。