⑴ 大数据到底是什么行业啊,具体是干什么的啊
大数据是一系列技术的统称,经过多年的发展,大数据已经形成了从数据采集、整理、传输、存储、安全、分析、呈现和应用等一系列环节,这些环节涉及到诸多大数据工作岗位,这些工作岗位与物联网、云计算也都有密切的联系。
⑵ 大数据专项人员是什么意思
大数据工程技术人员是从事大数据采集、清洗、分析、治理、挖掘等技术研究,并加以利用、管理、维护和服务的工程技术人员。
工程技术,指的是工程实用技术。工程技术亦称生产技术,是在工业生产中实际应用的技术。就是说人们应用科学知识或利用技术发展的研究成果于工业生产过程,以达到改造自然的预定目的的手段和方法。而科学技术更多地指的是科学理论技术。人们也常常称工程技术为工科,而称科学技术为理科。
历史悠久的工程技术是建筑工程技术,它的理论依据是理论力学。随着国防的需要,出现了军事工程技术,它综合了不同行业的工程技术。近年来,随着科学理论的不断发展,工程技术的类别也越来越多,如基因工程技术,信息工程技术,系统工程技术,卫星工程技术,等等。
技术研究的组织系统也采用工程技术和科学技术两个系统,属于工程技术系统的如:中国工程院,国家工程技术研究中心等,属于科学技术系统的如:与中国科学院等。
与科学技术一词不同,工程和技术几乎属于同一范畴,例如,建筑工程与建筑技术相差甚少,信息工程与信息技术没有大的差别。在某些时候,工程可以指某一个项目,而技术则强调该项目的属性。
⑶ 大数据学出来之后是做什么的呢
大数据学出来之后的工作如下:
大数据就业的岗位还是很多的,总结一下主要有7大类:
1、大数据分析师
分为2个方向 偏业务是需要懂一些数据统计、ETL等知识;偏技术就是精通数据建模和算法
2、大数据挖掘师/算法工程师
这个岗位要求较强的编程能力,精通数据建模、机器学习还有算法实现
3、大数据工程师
这里分为Hadoop工程师、Spark工程师、Flink工程师这三大类
4、大数据运维工程师
服务的稳定和不间断地为用户提供优化
5、大数据仓库工程师
负责数据仓库设计、建模、规范以及研发工作
6、大数据产品经理
这个岗位只要是负责大数据产品的规划和落地
7、大数据架构师/资深大数据架构师
这个就是全能的大数据岗位,技术要求是非常全面的,更多的站在架构角度出发
⑷ 大数据到底是什么行业啊,具体是干什么的啊
大数据是眼下非常时髦的技术名词,与此同时自然也催生出了一些与大数据处理相关的职业,通过对数据的挖掘分析来影响企业的商业决策。
在国内,大数据的应用才刚刚萌芽,人才市场还不那么成熟,于是每家公司对大数据工作的要求不尽相同:有的强调数据库编程、有的突出应用数学和统计学知识、有的则要求有咨询公司或投行相关的经验、有些是希望能找到懂得产品和市场的应用型人才。正因为如此,很多公司会针对自己的业务类型和团队分工,给这群与大数据打交道的人一些新的头衔和定义:数据挖掘工程师、大数据专家、数据研究员、用户分析专家等都是经常在国内公司里出现的Title,我们将其统称为“大数据工程师”。
一、大数据工程师做什么?
用阿里巴巴集团研究员薛贵荣的话来说,大数据工程师就是一群“玩数据”的人,玩出数据的商业价值,让数据变成生产力。大数据和传统数据的最大区别在于,它是在线的、实时的,规模海量且形式不规整,无章法可循,因此“会玩”这些数据的人就很重要。
因此分析历史、预测未来、优化选择,这是大数据工程师在“玩数据”时最重要的三大任务。通过这三个工作方向,他们帮助企业做出更好的商业决策。
找出过去事件的特征
大数据工程师一个很重要的工作,就是通过分析数据来找出过去事件的特征。
预测未来可能发生的事情
通过引入关键因素,大数据工程师可以预测未来的消费趋势。
找出最优化的结果
根据不同企业的业务性质,大数据工程师可以通过数据分析来达到不同的目的。
二、需要具备的能力
数学及统计学相关的背景
计算机编码能力
实际开发能力和大规模的数据处理能力是作为大数据工程师的一些必备要素。
对特定应用领域或行业的知识
在某个或多个垂直行业的经历能为应聘者积累对行业的认知,对于之后成为大数据工程师有很大帮助,因此这也是应聘这个岗位时较有说服力的加分项。
⑸ 大数据所从事什么工作
大数据技术专业可以从事的工作有这些:
视数据的机构已经越来越多,上到国防部,下到互联网创业公司、金融机构需要通过大数据项目来做创新驱动,需要数据分析或处理岗位也很多;常见的食品制造、零售电商、医疗制造、交通检测等也需要数据分析与处理,如优化库存,降低成本,预测需求等。人才主要分成三大类:大数据系统研发类、大数据应用开发类、大数据分析类,热门岗位有:
1.大数据系统架构师
大数据平台搭建、系统设计、基础设施。技能:计算机体系结构、网络架构、编程范式、文件系统、分布并行处理等。
2.大数据系统分析师
面向实际行业领域,利用大数据技术进行数据安全生命周期管理、分析和应用。技能:人工智能、机器学习、数理统计、矩阵计算、优化方法。
3.hadoop开发工程师。
解决大数据存储问题。
4.数据分析师
不同行业中,专门从事行业数据搜集、整理、分析,并依据数据做出行业研究、评估和预测的专业人员。在工作中通过运用工具,提取、分析、呈现数据,实现数据的商业意义。
作为一名数据分析师,至少需要熟练SPSS、STATISTIC、Eviews、SAS、大数据魔镜等数据分析软件中的一门,至少能用Acess等进行数据库开发,至少掌握一门数学软件如matalab、mathmatics进行新模型的构建,至少掌握一门编程语言。总之,一个优秀的数据分析师,应该业务、管理、分析、工具、设计都不落下。
5.数据挖掘工程师
做数据挖掘要从海量数据中发现规律,这就需要一定的数学知识,最基本的比如线性代数、高等代数、凸优化、概率论等。经常会用到的语言包括Python、Java、C或者C++,有时用MapRece写程序,再用Hadoop或者Hyp来处理数据,如果用Python的话会和Spark相结合
6.大数据可视化工程师
随着大数据在人们工作及日常生活中的应用,大数据可视化也改变着人类的对信息的阅读和理解方式。从网络迁徙到谷歌流感趋势,再到阿里云推出县域经济可视化产品,大数据技术和大数据可视化都是幕后的英雄
大数据可视化工程师岗位职责:1、 依据产品业务功能,设计符合需求的可视化方案。2、 依据可视化场景不同及性能要求,选择合适的可视化技术。3、 依据方案和技术选型制作可视化样例。4、 配合视觉设计人员完善可视化样例。5、 配合前端开发人员将样例组件化。
想了解更多大数据从事工作的问题, “CDA 数据分析师”具体指在互联网、金融、零售、咨询、电信、医疗、旅游等行业专门从事数据的采集、清洗、处理、分析并能制作业务报告、 提供决策的新型数据分析人才。
⑹ 大数据到底是什么行业啊,具体是干什么的啊
大数据即海量的数据,一般至少要达到TB级别才能算得上大数据,相比于传统的企业内数据,大数据的内容和结构要更加多样化,数值、文本、视频、语音、图像、文档、XML、HTML等都可以作为大数据的内容。提到大数据,最常见的应用就是大数据分析,大数据分析的数据来源不仅是局限于企业内部的信息化系统,还包括各种外部系统、机器设备、传感器、数据库的数据,如:政府、银行、国计民生、行业产业、社交网站等数据,通过大数据分析技术及工具将海量数据进行统计汇总后,以图形图表的方式进行数据展现,实现数据的可视化,在此基础上结合机器学习算法,对数据进行深度挖掘,发掘数据的潜在价值。应用部分,大数据不仅包括企业内部应用系统的数据分析,还包括与行业、产业的深度融合,大数据分析的应用场景具有行业性,不同行业所呈现的内容与分析维度各不相同,具体场景包括:互联网行业、政府行业、金融行业、传统企业中的地产、医疗、能源、制造、电信行业等等。1. 互联网行业大数据的应用代表为电商、社交、网络检索领域,可以根据销售数据、客户行为(活跃度、商品偏好、购买率等)数据、交易数据、商品收藏数据、售后数据等、搜索数据刻画用户画像,根据客户的喜好为其推荐对应的产品。2. 政府行业在大数据分析部分包括质检部门、公安部门、气象部门、医疗部门等,质检部门包括对商品生产、加工、物流、贸易、消费全过程的信息进行采集、验证、检查,保证食品物品安全;气象部门通过构建大气运动规律评估模型、气象变化关联性分析等路径,精准地预测气象变化,寻找最佳的解决方案,规划应急、救灾工作。3. 金融行业的大数据分析多应用于银行、证券、保险等细分领域,在大数据分析方面结合多种渠道数据进行分析,客户在社交媒体上的行为数据、在网站上消费的交易数据、客户办理业务的预留数据,结合客户年龄、资产规模、消费偏好等对客户群进行精准定位,分析其在金融业的需求等。4. 传统行业包括:能源、电信、地产、零售、制造等。电信行业借助大数据应用分析传感器数据异常情况,预测设备故障,提高用户满意度;能源行业利用大数据分析挖掘客户行为特征、消费规律,提高能源需求准确性;地产行业通过内外部数据的挖掘分析,使管理者掌握和了解房地产行业潜在的市场需求,掌握商情和动态,针对细分市场实施动态定价和差别定价等;制造行业通过大数据分析实现设备预测维护、优化生产流程、能源消耗管控、发现潜在问题并及时预警等。伴随着信息化的快速发展、数据量加大,已经进入数据时代,相信各行业间日后对于大数据的应用会更多、更深入。
⑺ 大数据是干什么的
大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
大数据技术的战略意义不在于掌握庞大的数据信息,而在于对这些含有意义的数据进行专业化处理。换而言之,如果把大数据比作一种产业,那么这种产业实现盈利的关键,在于提高对数据的“加工能力”,通过“加工”实现数据的“增值”。
⑻ 大数据工作都做什么。我对大数据感兴趣,想从事这方面的工作,但是不知道他具体是要做什么。求解~~
大数据相关工作岗位很多,有大数据分析师、大数据挖掘算法工程师、大数据研发工程师、数据产品经理、大数据可视化工程师、大数据爬虫工程师、大数据运营专员、大数据架构师、大数据专家、大数据总监、大数据研究员、大数据科学家等等。
数据分析师:
工作内容:
a.临时取数分析,比如双11大促活动分析;产品的流量转化情况、产品流程优化分析,等等;
b.报表需求分析--比如企业常见的日报、周报、月报、季报、年报、产品报表、流量转化报表、经营分析报表、KPI报表等等;
c.业务专题分析:
精准营销分析(用户画像分析、营销对象分析、营销策略分析、营销效果分析);
风控分析(策略分析,反欺诈分析,信用状况分析);
市场研究分析(行业分析、竞品分析、市场分析、价格分析、渠道分析、决策分析等等);
工具和技能:
工具: R、Python、SAS、SPSS、Spark、X-Mind、Excel、PPT
技能:需掌握SQL数据库、概率统计、常用的算法模型(分类、聚类、关联、预测等,每一类模型的一两种最典型的算法)、分析报告的撰写、商业的敏感性等等;
数据挖掘工程师:
工作内容:
a.用户基础研究:用户生命周期刻画(进入、成长、成熟、衰退、流失)、用户细分模型、用户价值模型、用户活跃度模型、用户意愿度识别模型、用户偏好识别模型、用户流失预警模型、用户激活模型等
b.个性化推荐算法:基于协同过滤(USERBASE/ITEMBASE)的推荐,基于内容推荐,基于关联规则Apriot算法推荐,基于热门地区、季节、商品、人群的推荐等
c.风控模型:恶意注册模型、异地识别模型、欺诈识别模型、高危会员模型、
电商领域(炒信模型、刷单模型、职业差评师模型、虚假发货模型、反欺诈模型)
金融领域(欺诈评分模型、征信评分模型、催收模型、虚假账单识别模型等)
d.产品知识库:产品聚类分类模型、产品质量评分模型、违禁品识别模型、假货识别模型等
e.文本挖掘、语义识别、图像识别,等等
工具和技能:
工具: R、Python、SAS、SPSS、Spark、Mlib等等
技能:需掌握SQL数据库、概率统计、机器学习算法原理(分类、聚类、关联、预测、神经网络等)、模型评估、模型部署、模型监控;
数据产品经理:
工作内容:
a.大数据平台建设,让获取数据、用数据变得轻而易举;构建完善的指标体系,实现对业务的全流程监控、提高决策效率、降低运营成本、提升营收水平;
b.数据需求分析,形成数据产品,对内提升效率、控制成本,对外增加创收,最终实现数据价值变现;
c.典型的大数据产品:大数据分析平台、个性化推荐系统、精准营销系统、广告系统、征信评分系统(如芝麻评分)、会员数据服务系统(如数据纵横),等等;
工具和技能:
工具: 除了掌握数据分析工具,还需要掌握 像 原型设计工具Auxe、画结构流程的X-Mind、visio、Excel、PPT等
技能:需掌握SQL数据库、产品设计,同时,熟悉常用的数据产品框架
数据研发工程师:
工作内容:
a.大数据采集、日志爬虫、数据上报等数据获取工作
b.大数据清洗、转换、计算、存储、展现等工作
c.大数据应用开发、可视化开发、报表开发等
工具和技能:
工具:hadoop、hbase、hive、kafaka、sqoop、java、python等
技能:需掌握数据库、日志采集方法、分布式计算、实时计算等技术
⑼ 大数据学出来做什么工作
学大数据从事的职业常常分为大数据系统研发人员、大数据应用开发人员和大数据分析人员,常见的职业有数据分析师、数据架构师、数据挖掘工程师。
数据分析师从事行业数据搜集、整理、分析方面的工作,依据数据做出行业研究、评估和预测。作为一名数据分析师,需要掌握SPSS、STATISTIC、Eviews、SAS等数据分析工具以及数据分析的营销思维。
大数据技术被渗透到社会的方方面面,医疗卫生、商业分析、国家安全、食品安全、金融安全等方面。2014年,从大数据作为国家重要的战略资源和加快实现创新发展的高度,在全社会形成“用数据来说话、用数据来管理、用数据来决策、用数据来创新”的文化氛围与时代特征。
大数据科学将成为计算机科学、人工智能技术(虚拟现实、商业机器人、自动驾驶、全能的自然语言处理)、数字经济及商业、物联网应用、还有各个人文社科领域发展的核心。