导航:首页 > 数据处理 > 如何hive数据库表有记录条数

如何hive数据库表有记录条数

发布时间:2024-12-27 02:36:30

⑴ 数据治理(四):数据仓库数据质量管理

在音乐数据中心数仓项目的“统计地区营收情况业务”中,数据仓库数据质量管理重点放在ODS层、EDS层(包括DWD层、DWS层)以及DM层。每层数据校验内容不同,可通过自编shell+Hive脚本或使用质量监控工具Griffin进行监控。在业务执行前,需要清空和重新创建Hive各层数据表,并向MySQL导入ycak与ycbk库的数据。ODS层数据质量监控关注当日导入数据的记录数、关注字段为空的记录数、重复记录数及全表总记录数。EDS层数据质量监控分为DWD层与DWS层,DWD层校验数据来源表的记录数一致性及数据有效比例,DWS层关注数据条目与上层一致性、总条数、重要字段为空的记录数及聚合字段值异常条数。DM层数据质量监控侧重于数据值是否在合理范围内,每个报表数据有其特定的校验指标。

在ODS层,创建数据质量监控数据库和表,编写数据校验脚本“ods_data_check.sh”,输入参数包括校验数据日期、Hive库名、校验表名、增量标志及关注字段,对ODS部分表进行校验。

EDS层包括DWD层和DWS层数据质量监控。DWD层校验关注ODS层数据来源表的记录数一致性及数据有效比例,编写“dwd_data_check.sh”脚本,针对不同的DWD层数据表定制校验内容。DWS层校验DWS层表中数据总条数、重要字段为空的记录数及聚合字段值异常条数,针对不同的DWS层数据表定制校验内容,编写“dws_data_check.sh”脚本。

DM层数据质量监控根据报表数据的具体需求,每个报表有其特定的校验指标,不再详细校验“商户营收统计”业务中的DM层表“TM_USR_MRCHNT_STAT_D”。数据质量监控确保数据仓库中的数据符合业务需求,提高数据的准确性和可靠性。

⑵ 在hive数据库中怎么查看表结构(hive查看数据库中的表)

查看表结构信息如下

1、descformattedtable_name;

2、desctable_name。

一、电脑常见问题

主板不启动,开机无显示,有显卡报警声。

故障原因:一般是显卡松动或显卡损坏。

处理办法:打开机箱,把显卡重新插好即可。要检查AGP插槽内是否有小异物,否则会使显卡不能插接到位;对于使用语音报警的主板,应仔细辨别语音提示的内容,再根据内容解决相应故障。

如果以上办法处理后还报警,就可能是显卡的芯片坏了,更换或修理显卡。如果开机后听到"嘀"的一声自检通过,显示器正常但就是没有图像,把该显卡插在其他主板上,使用正常,那就是显卡与主板不兼容,应该更换显卡。

阅读全文

与如何hive数据库表有记录条数相关的资料

热点内容
产品配送方式有哪些 浏览:805
北培有哪些农贸市场 浏览:162
微博发不出去的信息在哪里看啊 浏览:32
白衬衫霉点什么产品怎么去除 浏览:500
自然堂淡斑产品怎么样 浏览:860
如何分辨mt4历史交易流水 浏览:623
两个不同的手机怎么把数据传过去 浏览:552
送股后非整手股怎么交易 浏览:120
三明哪个市场最大 浏览:911
哈登四方交易是什么意思 浏览:833
手机程序加密在哪里 浏览:281
百盛会员程序积分怎么兑换 浏览:380
海博思创技术怎么样 浏览:280
想做广告代理怎么入手 浏览:266
在哪里查看交易订单 浏览:764
市场股票限售解禁后怎么办 浏览:912
完工产品总定额怎么计算 浏览:27
女人养颜吃什么产品 浏览:641
输入什么指令关闭程序 浏览:333
雨伞需投资多少钱数据 浏览:641