① 大数据包括一些什么
大数据(big data),IT行业术语,是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》 [1] 中大数据指不用随机分析法(抽样调查)这样捷径,而采用所有数据进行分析处理。大数据的5V特点(IBM提出):Volume(大量)、Velocity(高速)、Variety(多样)、Value(低价值密度)、Veracity(真实性)。
大数据包括一些什么?
首先,数据收集
ETL工具负责从分布式异构数据源(如关系数据和平面数据文件)中提取数据到临时中间层进行清理,转换,集成,最后加载到数据仓库或数据集市成为在线分析过程。数据挖掘的基础。
第二,数据访问
关系数据库,NOSQL,SQL等
第三,基础设施
云存储,分布式文件存储等。
四是数据处理
自然语言处理(NLP)是一门研究人与计算机之间语言问题的学科。处理自然语言的关键是让计算机“理解”自然语言,因此自然语言处理也称为自然语言理解(NLU),也称为计算语言学。一方面,它是语言信息的处理。另一方面,一个分支是人工智能(AI)的核心主题之一。
五,统计分析
假设检验,显着性检验,差异分析,相关分析,T检验,方差分析,卡方分析,偏相关分析,距离分析,回归分析,简单回归分析,多元回归分析,逐步回归,回归预测和残差分析岭回归,逻辑回归分析,曲线估计,因子分析,聚类分析,主成分分析,因子分析,快速聚类和聚类,判别分析,对应分析,多元对应分析(最佳尺度分析),Bootstrap技术等。
六,数据挖掘
分类,估计,预测,亲和力分组或关联规则,聚类,描述和可视化,Deion和可视化,复杂数据类型挖掘(文本),Web,图形图像,视频,音频等)。
第七,模型预测
预测模型,机器学习,建模仿真。