⑴ 数据治理(四):数据仓库数据质量管理
在音乐数据中心数仓项目的“统计地区营收情况业务”中,数据仓库数据质量管理重点放在ODS层、EDS层(包括DWD层、DWS层)以及DM层。每层数据校验内容不同,可通过自编shell+Hive脚本或使用质量监控工具Griffin进行监控。在业务执行前,需要清空和重新创建Hive各层数据表,并向MySQL导入ycak与ycbk库的数据。ODS层数据质量监控关注当日导入数据的记录数、关注字段为空的记录数、重复记录数及全表总记录数。EDS层数据质量监控分为DWD层与DWS层,DWD层校验数据来源表的记录数一致性及数据有效比例,DWS层关注数据条目与上层一致性、总条数、重要字段为空的记录数及聚合字段值异常条数。DM层数据质量监控侧重于数据值是否在合理范围内,每个报表数据有其特定的校验指标。
在ODS层,创建数据质量监控数据库和表,编写数据校验脚本“ods_data_check.sh”,输入参数包括校验数据日期、Hive库名、校验表名、增量标志及关注字段,对ODS部分表进行校验。
EDS层包括DWD层和DWS层数据质量监控。DWD层校验关注ODS层数据来源表的记录数一致性及数据有效比例,编写“dwd_data_check.sh”脚本,针对不同的DWD层数据表定制校验内容。DWS层校验DWS层表中数据总条数、重要字段为空的记录数及聚合字段值异常条数,针对不同的DWS层数据表定制校验内容,编写“dws_data_check.sh”脚本。
DM层数据质量监控根据报表数据的具体需求,每个报表有其特定的校验指标,不再详细校验“商户营收统计”业务中的DM层表“TM_USR_MRCHNT_STAT_D”。数据质量监控确保数据仓库中的数据符合业务需求,提高数据的准确性和可靠性。
⑵ 在hive数据库中怎么查看表结构(hive查看数据库中的表)
查看表结构信息如下
1、descformattedtable_name;
2、desctable_name。
一、电脑常见问题
主板不启动,开机无显示,有显卡报警声。
故障原因:一般是显卡松动或显卡损坏。
处理办法:打开机箱,把显卡重新插好即可。要检查AGP插槽内是否有小异物,否则会使显卡不能插接到位;对于使用语音报警的主板,应仔细辨别语音提示的内容,再根据内容解决相应故障。
如果以上办法处理后还报警,就可能是显卡的芯片坏了,更换或修理显卡。如果开机后听到"嘀"的一声自检通过,显示器正常但就是没有图像,把该显卡插在其他主板上,使用正常,那就是显卡与主板不兼容,应该更换显卡。