① 为何有人说数据将成为无价之宝
首先要知道数据从何而来,才能知道数据如何产生价值。现在的数据是指所能收集到的所有信息统称为数据,数据的生成包含方方面面,比如人类活动可以产生数据,大自然春夏秋冬变化也能产生数据,甚至一颗树木的生长过程也能产生数据。数据本身如果不能应用,就没有价值,如果吧数据应用起来,就能产生无限的价值。同类数据量越大,通过数据分析也就能产生更大的价值。这些价值也可以应用于各种领域,涵盖我们的衣食住行。数据能创造无限可能那就是当之无愧的无价之宝。
大家好,我是 科技 1加1!感觉这个问题很有意思!是啊,当前什么最值钱,要我说就是数据!
这个问题分两方面来回答
1.什么是数据数据是指对客观事件进行记录并可以鉴别的符号,是对客观事物的性质、状态以及相互关系等进行记载的物理符号或这些物理符号的组合。它是可识别的、抽象的符号。
它不仅指狭义上的数字,还可以是具有一定意义的文字、字母、数字符号的组合、图形、图像、视频、音频等,也是客观事物的属性、数量、位置及其相互关系的抽象表示。例如,“0、1、2...`”、“阴、雨、下降、气温”“学生的档案记录、货物的运输情况”等都是数据。数据经过加工后就成为信息。
在计算机科学中,数据是指所有能输入到计算机并被计算机程序处理的符号的介质的总称,是用于输入电子计算机进行处理,具有一定意义的数字、字母、符号和模拟量等的通称。现在计算机存储和处理的对象十分广泛,表示这些对象的数据也随之变得越来越复杂。
信息
信息与数据既有联系,又有区别。数据是信息的表现形式和载体,可以是符号、文字、数字、语音、图像、视频等。而信息是数据的内涵,信息是加载于数据之上,对数据作具有含义的解释。数据和信息是不可分离的,信息依赖数据来表达,数据则生动具体表达出信息。数据是符号,是物理性的,信息是对数据进行加工处理之后所得到的并对决策产生影响的数据,是逻辑性和观念性的;数据是信息的表现形式,信息是数据有意义的表示。数据是信息的表达、载体,信息是数据的内涵,是形与质的关系。数据本身没有意义,数据只有对实体行为产生影响时才成为信息。
数据的语义
数据的表现形式还不能完全表达其内容,需要经过解释,数据和关于数据的解释是不可分的。例如,93是一个数据,可以是一个同学某门课的成绩,也可以使某个人的体重,还可以是计算机系2013级的学生人数。数据的解释是指对数据含义的说明,数据的含义称为数据的语义,数据与其语义是不可分的。
分类
按性质分为
①定位的,如各种坐标数据;
②定性的,如表示事物属性的数据(居民地、河流、道路等);
③定量的,反映事物数量特征的数据,如长度、面积、体积等几何量或重量、速度等物理量;
④定时的,反映事物时间特性的数据,如年、月、日、时、分、秒等。
按表现形式分为
①数字数据,如各种统计或量测数据。数字数据在某个区间内是离散的值[3] ;
②模拟数据,由连续函数组成,是指在某个区间连续变化的物理量,又可以分为图形数据(如点、线、面)、符号数据、文字数据和图像数据等,如声音的大小和温度的变化等。
如今,大数据早已经不是一个陌生的名词,很多的行业在使用大数据之后都得到了非常好的效果,大数据与互联网相辅相承,互联依赖,并且不断的在快速发展。
互联网上的数据每年增长40%,每两年便将翻一番左右,而目前世界上90%以上的数据是最近几年才产生的。据IDC预测,到明年全球将总共拥有35ZB的数据量,互联网是大数据发展的前哨阵地,随着互联网时代的发展,人们似乎都习惯了将自己的生活通过网络进行数据化,方便分享以及记录并回忆。
大数据围绕在我们生活的很多方面
大数据围绕在我们生活的方方面面,最直观的反映在我们每天都会使用的社交工具上面。例如腾讯拥有用户关系数据和基于此产生的社交数据,这些数据能够分析人们的生活和行为,从里面挖掘出政治、 社会 、文化、商业、 健康 等领域的信息,甚至预测未来。说简单一点,就是我们每天都在通过自己的QQ、微信、微博更新自己的动态、朋友圈等,这些都将构成一种数据,大数据就是可以通过你更新的这些大量的信息,推测出你的爱好,你的工作,你的住址,你的收入情况等等这些信息。
互联网时代大数据有多厉害
互联网时代大数据到底有多厉害?大数据就像蕴藏能量的煤矿,煤炭按照性质有焦煤、无烟煤、肥煤、贫煤等分类,而露天煤矿、深山煤矿的挖掘成本又不一样,和这个相像,大数据并不在于“大”,而在于“有用”,价值含量、挖掘成本比数量更为重要。大数据应用工程师专业主要学习WEB技术、JAVA、JSP、大型数据库Oracle、LINUX集群、非关系数据库NoSql、Hadoop等技术,通过这些课程的学习,让学生具有JAVAEE开发能力的同时能够进行大数据的分析和挖掘能,学生在就业的过程中即可以进入传统的软件公司,进行OA和ERP等传统软件项目开发,同时也能进行大数据的分析和大数据深度挖掘以及对服务器集群的组建等。
大数据时代,我们要合理利用大数据,才可以创造更高的工作效率,才可以创造更多的财富。
所以说数据就是金钱!掌握了大数据就是掌握了财富!
感谢大家的阅读!
数据自身是没有价值或者说微乎其微的,价值是被赋予的,就像黄金一样,黄金的价值是他的应用前景或场景。
数据的价值就是数据能力体现出的收益,或者说投资回报率。
今天我们就来聊聊数据能力和价值。 说到大数据就不得不提数据仓库,企业数据仓库演化至最终阶段或许会变为大脑中枢神经,如果要支撑起整个复杂的大脑和神经系统,需要一系列的复杂机制配合。
一、抽象的数据能力架构我把数据能力抽象概括为四个方向:传输能力、计算能力、算法能力和数据资产量级,后面会讲述在这四个能力之上泛化出的数据应用和价值。
1. 数据传输能力
数据大部分的使用场景必然会涉及到数据传输,数据传输性能决定了部分应用场景的实现,数据实时的调用、加工、算法推荐和预测等;而传输抽象出来的支撑体系是底层的数据存储架构(当然非同机房的传输还要考虑到网络环境等。单纯的小数据量调用等一般不会涉及到这些,但数据量级大、高并发且对SLA要求非常严格的时候,就是对数据传输能力的考验)。
从产品的角度我把数据传输能力分解为: 底层数据传输效率 和 应用层数据传输效率 。
底层的数据传输效率是指数据源进入后的预处理阶段的传输效率,即加工为产品所需的数据交付物之前阶段。
Ps:数据在可为产品所用之前需要很长的一段加工过程,应用层数据产品基本不涵盖底层数据加工环节,而数据产品会用到规定好的数据交付物(即已约定好的结构化或标准化的数据),而利用此数据交付物再经过产品对实际应用场景的匹配和加工来提供数据服务。即使涉及底层数据管理的相关产品也是对Meta元数据、使用日志或写好的shell等的调用。
底层数据加工计算所涉及到的传输效率,直接决定了支撑数据产品高性能、高可靠的自身需求;而应用层的传输影响了用户体验和场景实现。传输机制和体系就像毛细血管一样遍布全身错综复杂,但是流通速率直接决定了大脑供氧是否充足。
2. 数据计算能力
数据计算能力就像造血系统一样,根据多种来源的养分原料进行生产加工最终产出血液。而源数据通过高性能的底层多存储的分布式技术架构进行ETL(抽取、转换、装载)清洗后产出的是数据中间层通用化的结构化数据交付物。计算速度就像造血速度一样,决定了供应量。而计算速度直接决定了数据应用的时效性和应用场景。
目前最多最普遍的就是离线数仓,离线数仓大部分担任着事后诸葛亮的角色,即没办法保证数据的及时性而延后了数据分析及应用的产出,导致更多的是沉淀经验而难以做到实时决策。而实时数仓,甚至说对Data Lake(数据湖)的实时处理已经逐步开放应用多种场景。我们先不考虑越来越强烈的实时性要求带来的巨大成本是否真的可以创造等值的收益。
强实时可以更接近一个“未来”的状态,即此时此刻。这远比算法对未来的预测更有价值,因为把握眼前比构造多变的未来对一个企业更有价值。甚至说当数据过程快过神经元的传递,那么从获取到你脑电波的那一刻起,数据处理的驱动结果远比神经元传递至驱动四肢要快。
是不是与兵马未动,粮草先行的场景相似?当然这是以数据计算能力的角度来看待这个问题。跳出来以我个人的观点来说,整体数据能力强大到一定阶段后,会从主观改变个人的意愿,即通过引导你的大脑从而来控制或决定个人行为且不会让你感知,所以可以理解为从主观改变个人意愿。从人的角度来说,你并不知道或者直观意愿去凭空决定下一步要做什么,因为大脑是逻辑处理器,当然这又涉及到心理学,这些观点就不在此赘述了,等往后另起一个篇幅来说数据应用未来前景和假想。
3. 数据资产能力
都在说“大”数据,那么数据量级越大越好吗?并不是,从某种角度来说大量无价值或者未 探索 出价值的数据是个负担,巨大的资源损耗还不敢轻易抹灭。
随着数据量级的急剧放大,带来的是数据孤岛:数据的不可知、不可联、不可控、不可取;那么散乱的数据只有转换成资产才可以更好的发挥价值。
什么是数据资产,我觉得可以广泛的定义为可直接使用的交付数据即可划为资产,当然可直接使用的数据有很多种形式,比如meta元数据、特征、指标、标签和ETL的结构化或非结构化数据等。
目前也在拓展Data Lake的使用场景,直接实时的使用和处理Data Lake数据的趋势是一种扩大企业自身数据资产范围和资产使用率的方式。这有利于突破数仓模型对数据的框架限定,改变数据使用方式会有更大的想象空间。
数据资产的价值可以分两部分来考虑:一部分是数据资产直接变现的价值;另一部分是通过数据资产作为资源加工后提供数据服务的业务价值。
第一部分比较好理解,就是数据集的输出变现值,如标签、样本和训练集等的直接输出按数据量来评估价值;第二部分价值比如通过自身数据训练优化后的算法应用而提升业务收益的价值或依于数据的广告投放的营销变现等,甚至说沉淀出的数据资产管理能力作为知识的无形资产对外服务的价值。这些间接的数据应用和服务的变现方式也是数据资产价值的体现并可以精细的量化。
4. 数据算法能力
其实无论是传输能力还是计算能力,都是相对偏数据底层的实现,而离业务场景最近的就是算法能力所提供的算法服务,这是最直接应用于业务场景且更容易被用户感知的数据能力,因为对于传输和计算来说用户感知的是速度快慢,从用户视角快是应该的,因此用户并不知道何时何地计算或传输。
而算法对业务应用场景是一个从0到1,从无到有的过程。并且算法是基于数据传输、计算和资产能力之上泛化出的应用能力,或者换句话说是三个基础能力的封装进化。
而算法能力是把多元的数据集或者说获取到尽可能多的数据转化为一个决策判断结果来应用于业务场景。算法能力的强弱反映了三个数据能力是否高效配合,是否存在木桶效应,更甚者木桶也没有。当然单纯的算法也可以单独作为无形资产的知识沉淀来提供服务。
对于数据能力架构中的四大能力,传输、计算和资产是基础能力,而算法是高级的泛化能力。而能力的输出和应用才能体现数据价值,数据能力的最大化输出考验着整个数据产品架构体系的通用性和灵活性。因为需要面对的是各种业务演化出的多种多样场景,对数据能力的需求参差不齐:可能是片面化的,也可能是多种能力匹配协调的。这对产品的通用性就是一个巨大的挑战,想更好的应对这个问题,可能就需要整个数据平台的产品矩阵来支撑和赋能。
二、数据能力对应数据价值的呈现从数据应用的角度,每个能力都可以独立开放也可以组合叠加。如果把能力具象出来就会衍生到产品形态的问题,产品形态是对能力适配后发挥作用的交付物。说到产品形态我们可以想象一下应用场景。
首先最基础的应用场景就是数据直接调用,数据资产的使用基本会基于特征、指标、标签或者知识等交付形态。而对于使用方来说这些数据会作为半成品原料或依据来进行二次加工应用于业务场景中,如数据分析、数据挖掘、算法的训练与验证、知识图谱、个性推荐、精准投放(触达)和风控等。数据资产可以统归为在数据市场中通过构建的一些OpenAPI进行赋能。
而对于一个工厂来说,仅仅进行原材料的加工(ETL)输出即除了自身原材料(数据资产)的壁垒外核心竞争力很小,需要包装一些上层的基础服务来提升竞争力,那么数据计算的能力融合进来对原材料进行二次加工(聚合统计)。
计算的聚合统计能力加入进来后可以满足大部分的数据分析场景的支持,就不单单是原材料毫无技术含量的输出,并可以以半成品的形态规避数据敏感。因为对于统计值来说,这是一个分析结果或结论,并不会涉及到自身敏感数据的输出,因此你的核心资产不会泄露,而输出的仅仅是资产的附加值。换句话说知识产权专利依然在你手中,通过控制专利泛化出的能力进行投资回报。
融入计算能力后的一些分析场景如:人群的画像分析、多维度的交叉分析、业务的策略分析和监控分析等多种场景。
随着时代的发展和业务场景的增多,这时工厂继续需要产业变革,要深耕服务业逐步抛弃制造业形态,全面提升更高级的数据服务。这时算法能力的加入来更好的完善服务矩阵。
算法通过封装了传输、计算和资产能力而进行统一的更好理解的业务场景目标预测和识别等。这样对于企业来说可以更容易接受和低成本使用数据服务而不需要再涉及到数据加工链路中,而仅仅需要一个目标结果,通过算法的决策作为参考来指导业务方向。像算法对一些业务场景的预测分析,甚至说一些人工智能场景的识别或学习思考,都可以通过算法赋能来实现。对于企业来说就是从无到有的突破,企业发展进程甚至可能提升好几年。
而贯穿以上能力应用场景都是对数据传输能力的考验。
“数据”的重要性可以有以下几点。
1、数据能够为企业高层提供决策支持。将企业海量数据进行统计分析挖掘后,能够让高层制定合理的措施。
2、数据能整合企业庞杂业务。每个企事业都有很复杂的业务系统,借助数据及对应平台可以将其庞杂的业务进行整合。
3、数据能反应事件本质与趋势。真实数据能够更好地去了解事件的本质问题,预判事态发展。
4、数据能够让人们更加了解自己。未来你可能真的不是最了解你自己的人?但是可以使用个人的数据进行画像,充分了解个人。
5、数据能反应 历史 ,展望未来。通过 历史 数据查询过往,也能够使用以往的数据进行感知未来。
总之,在大数据和5G技术逐渐成为趋势的时代背景下,“ 数据 ”是越来越常见,如社交网络、消费信息、 旅游 记录……企业层面的销售数据、运营数据、产品数据、活动数据……