导航:首页 > 数据处理 > 如何hive数据库表有记录条数

如何hive数据库表有记录条数

发布时间:2024-12-27 02:36:30

⑴ 数据治理(四):数据仓库数据质量管理

在音乐数据中心数仓项目的“统计地区营收情况业务”中,数据仓库数据质量管理重点放在ODS层、EDS层(包括DWD层、DWS层)以及DM层。每层数据校验内容不同,可通过自编shell+Hive脚本或使用质量监控工具Griffin进行监控。在业务执行前,需要清空和重新创建Hive各层数据表,并向MySQL导入ycak与ycbk库的数据。ODS层数据质量监控关注当日导入数据的记录数、关注字段为空的记录数、重复记录数及全表总记录数。EDS层数据质量监控分为DWD层与DWS层,DWD层校验数据来源表的记录数一致性及数据有效比例,DWS层关注数据条目与上层一致性、总条数、重要字段为空的记录数及聚合字段值异常条数。DM层数据质量监控侧重于数据值是否在合理范围内,每个报表数据有其特定的校验指标。

在ODS层,创建数据质量监控数据库和表,编写数据校验脚本“ods_data_check.sh”,输入参数包括校验数据日期、Hive库名、校验表名、增量标志及关注字段,对ODS部分表进行校验。

EDS层包括DWD层和DWS层数据质量监控。DWD层校验关注ODS层数据来源表的记录数一致性及数据有效比例,编写“dwd_data_check.sh”脚本,针对不同的DWD层数据表定制校验内容。DWS层校验DWS层表中数据总条数、重要字段为空的记录数及聚合字段值异常条数,针对不同的DWS层数据表定制校验内容,编写“dws_data_check.sh”脚本。

DM层数据质量监控根据报表数据的具体需求,每个报表有其特定的校验指标,不再详细校验“商户营收统计”业务中的DM层表“TM_USR_MRCHNT_STAT_D”。数据质量监控确保数据仓库中的数据符合业务需求,提高数据的准确性和可靠性。

⑵ 在hive数据库中怎么查看表结构(hive查看数据库中的表)

查看表结构信息如下

1、descformattedtable_name;

2、desctable_name。

一、电脑常见问题

主板不启动,开机无显示,有显卡报警声。

故障原因:一般是显卡松动或显卡损坏。

处理办法:打开机箱,把显卡重新插好即可。要检查AGP插槽内是否有小异物,否则会使显卡不能插接到位;对于使用语音报警的主板,应仔细辨别语音提示的内容,再根据内容解决相应故障。

如果以上办法处理后还报警,就可能是显卡的芯片坏了,更换或修理显卡。如果开机后听到"嘀"的一声自检通过,显示器正常但就是没有图像,把该显卡插在其他主板上,使用正常,那就是显卡与主板不兼容,应该更换显卡。

阅读全文

与如何hive数据库表有记录条数相关的资料

热点内容
北京的批发市场哪里好 浏览:478
农产品购买方如何抵税 浏览:479
按照计划的交易是什么意思 浏览:577
报名需要填哪些信息 浏览:404
沙井码头海鲜市场在哪里 浏览:540
小程序为什么点不动 浏览:363
数据透析快递总票数怎么做 浏览:90
交友信息注册商标是什么意思 浏览:522
如何购买国外的树脂产品 浏览:250
微信怎么设置崩溃程序 浏览:10
如何应对推新产品的失败 浏览:682
怎么通过华数酷喵下载当贝市场 浏览:809
ok链上的去中心化交易所有哪些 浏览:620
申请代理公司有什么好处 浏览:338
什么地方能查到交通事故信息 浏览:634
炒黄金双向交易意味什么 浏览:340
更改手机开屏密码在哪个程序里 浏览:635
批发市场和采购网哪个便宜 浏览:494
在哪里查看自己的档案信息 浏览:571
如何查看占用独显程序 浏览:501