A. 大数据中的日志数据包括哪些
日志数据的类型包括:1.错误日志(errorlog);2.慢查询日志(slow query log) ;3.一般查询日志(general log);4.二进制日志(binlog);5.中继日志(relay log);。
日志一般分成Undo与Redo:Undo一般用于事务的取消与回滚,记录的是数据被修改前的值;Redo一般用于恢复已确认但未写入数据库的数据,记录的是数据修改后的值。例如:数据库忽然断电重启,数据库启动时一般要做一致性检查,会把已写到Redo的数据但未写入数据库的数据重做一遍。
大数据以容量大、类型多、存取速度快、应用价值高为主要特征的数据集合,最早应用于IT行业,目前正快速发展为对数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析,从中发现新知识、创造新价值、提升新能力的新一代信息技术和服务业态。大数据必须采用分布式架构,对海量数据进行分布式数据挖掘,因此必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。