导航:首页 > 数据处理 > 数据工程实施是什么

数据工程实施是什么

发布时间:2023-08-22 23:05:24

1. 实施工程师主要是做什么的

实施工程师负责工程实施, 负责现场培训等等。

实施工程师主要工作是负责工程实施,包括常用操作系统、应用软件及公司所开发的软件安装、调试、定制开发及维护,还有少部分硬件、网络的工作等。

此外,还负责现场培训,如现场软件应用培训;指蔽协助项目验收;负责需求的初步确认,以及负责项目维护。

实施工程师能及时保质地完成平台项目的唯指州实施及售后技术支持工作。



实施工程师任职要求

1、熟练Windows/Linux操作系统逗返;

2、熟悉MSSQL/ORACLE/MYSQL三种数据库的安装、还原、备份及简单优化操作;

3、熟悉IIS/Apache/Nginx其中两种安装配置及简单优化操作;

4、熟悉Tomcat/WebLogic中间件的安装配置及简单优化操作;

5、熟悉Loadrunner压测工具的安装及场景测试;

6、具备敏锐的分析能力、沟通能力,可为用户提供产品培训和操作指导;

7、具有强烈的责任心、团队合作和吃苦耐劳精神,能按时完成领导交待的其他任务;

8、具有良好的文字功底,可编写项目实施及售后服务过程中的相关技术服务文档。

2. 数据工程师是做什么工作内容

1 维护大数据平台(这个应该是每个大数据工程师都做过的工作,或多或少会承担“运维”的工作)

2 为集群搭大数据环境(一般公司招大数据工程师环境都已经搭好了,公司内部会有现成的大数据平台,但我这边会私下搞一套测试环境,毕竟公司内部的大数据系统权限限制很多,严重影响开发效率)

3 写 SQL (很多入职一两年的大数据工程师主要的工作就是写 SQL )

4 数据迁移(有部分公司需要把数据从传统的数据库 Oracle、MySQL 等数据迁移到大数据集群中,这个是比较繁琐的工作,吃力不讨好)

5 应用迁移(有部分公司需要把应用从传统的数据库 Oracle、MySQL 等数据库的存储过程程序或者SQL脚本迁移到大数据平台上,这个过程也是非常繁琐的工作,无聊,高度重复且麻烦,吃力不讨好)

6 数据采集(采集日志数据、文件数据、接口数据,这个涉及到各种格式的转换,一般用得比较多的是 Flume 和 Logstash)

7 数据处理
7.1 离线数据处理(这个一般就是写写 SQL 然后扔到 Hive 中跑,其实和第一点有点重复了)
7.2 实时数据处理(这个涉及到消息队列,Kafka,Spark,Flink 这些,组件,一般就是 Flume 采集到数据发给 Kafka 然后 Spark 消费 Kafka 的数据进行处理)

8 数据可视化(这个我司是用 Spring Boot 连接后台数据与前端,前端用自己魔改的 echarts)

9 大数据平台开发(偏Java方向的,大概就是把开源的组件整合起来整成一个可用的大数据平台这样,常见的是各种难用的 PaaS 平台)

10 数据中台开发(中台需要支持接入各种数据源,把各种数据源清洗转换为可用的数据,然后再基于原始数据搭建起宽表层,一般为了节省开发成本和服务器资源,都是基于宽表层查询出业务数据)

11 搭建数据仓库(这里的数据仓库的搭建不是指 Hive ,Hive 是搭建数仓的工具,数仓搭建一般会分为三层 ODS、DW、DM 层,其中DW是最重要的,它又可以分为DWD,DWM,DWS,这个层级只是逻辑上的概念,类似于把表名按照层级区分开来的操作,分层的目的是防止开发数据应用的时候直接访问底层数据,可以减少资源,注意,减少资源开销是减少 内存 和 CPU 的开销,分层后磁盘占用会大大增加,磁盘不值钱所以没什么关系,分层可以使数据表的逻辑更加清晰,方便进一步的开发操作,如果分层没有做好会导致逻辑混乱,新来的员工难以接手业务,提高公司的运营成本,还有这个建数仓也分为建离线和实时的)

总之就是离不开写 SQL ...

3. 中移铁通数据工程建设岗是干啥的

主要从事通信工程项目管理、组织实施、过程管控、工程协调、质量监督、费用审核等工作。铁通公司成立于2000年12月20日,总资产136亿元,注册资本103亿元。铁通公司成立初期以“立足铁路,面向社会,服务运输,市场经营”为指导思想,进行了大规模的网络建设,市场经营上取得了快速的发展。中移铁通数据工程建设岗主要从事通信工程项目管理、组织实施、过程管控、工程协调、质量监督、费用审核等工作。工程建设是指建筑工程、线路管道和设备安装工程、建筑装饰装修工程等工程项目的新建、扩建和改建,是形成固定资产的基本生产过程及与之相关的其他建设工作总称。

4. 数据工程师是属于开发还是实施

数据工程师既有开发,也有实施部分。

大数据工程师可以从事对大量数据的采集、清洗、分析、治理、挖掘,并对这些数据加以利用、管理、维护和服务的相关技术工作。大数据工程师是利用大数据技术处理大量数据的专业技术人员,大数据工程师专业技术水平等级培训考试分初级、中级、高级三个级别。

2016年工信部印发《大数据产业发展规划(2016-2020年)》等指导性文件,提出要加快建设网络强国、数字中国、智慧社会,加快实施国家大数据战略;同时提出要加强专业化数据工程师等大数据专业人才培养,开展大数据知识普及和教育培训,提高社会整体认知和应用水平。

报名条件

凡遵守中华人民共和国宪法 、法律、法规,具有良好的业务素质和道德品行,具备各等级报考条件者,均可参加智慧建造师专业技术等级考试。

5. 数据库实施、运行和维护什么意思

数据库维护中就是数据库服务器在备份或者恢复数据暂停数据输出服务的意思。

阅读全文

与数据工程实施是什么相关的资料

热点内容
电缆批发市场怎么找货源 浏览:1
房产交易后多久出证 浏览:749
小店产品怎么在直播间显示 浏览:844
如何把产品卖出好价 浏览:69
数据生产要素怎么界定 浏览:155
找人代理开店怎么样 浏览:515
如何营造买方市场 浏览:985
越南买什么产品最好 浏览:573
返回程序是什么指令 浏览:21
多脚芯片如何读写程序 浏览:562
常见的点云数据的表达形式有哪些 浏览:904
转转交易中怎么取消订单 浏览:669
房价交易税怎么算 浏览:94
电话线上如何挖掘客户信息 浏览:138
如何登录小程序优化 浏览:685
产品gmv以及毛利率是什么 浏览:146
闲鱼交易量提高有什么优势 浏览:150
人事代理需要考什么证 浏览:922
个人如何自己做一个产品 浏览:402
动物产品加工场所如何申报检疫 浏览:174