㈠ Hive 创建外部分区表
1、hive 创肢烂建外部表
create external table t_ods_test (
uid string COMMENT '用户id',
terminal string COMMENT '终端类型',
adslotid string COMMENT '广蔽或告位id',
cid string COMMENT 'cid',
amount string COMMENT '库存量',
local string COMMENT '地域',
tags string COMMENT '标签' )
partitioned by (year string,month string,day string) row format delimited fields terminated by '\t'
STORED AS TEXTFILE location '/user/qgw/hh/app/usertagview';
2、hive 外部表，增加分区
alter table t_ods_test add partition (year='2017', month='10', day='宏饥伍18') location '2017/10/18';
㈡ hive 外部表怎么加载分区数据
hivesql sql — 获取指定hive表或指定文件中脊山所有hive表的DDL，如果有按天的分区则默碧困认执行最近7天的分区DDL。同时，table支持符合sql语法樱慧中的正则表达式，如果有多个表匹配，则提示用户选择(使用file则自动关闭该交互功能)。
㈢ hive外部表分区
内部表：
数据由hive自身管理 存储在hive指定的hdfs目录中 删除会删除数据本身
外部表（external）：
数据存储在用户使用location关键字指定的hdfs目录中 hive中仅存储一份元数据 删除操作不会影局链源响到hdfs中原本的数据文件
将hdfs中文件存储在不同的目录下 hive查询时仅查询指定目录下的数据 避免扫描全部文件 可以极大的加速查询 hive支持静态分区和动态分区
静态分区由用户指定分区唤喊所在的目录 而动态分区由表中的某一个字段来决定每条数据所在的分区
创建了一桐态个bill表其中包含三个业务字段
partitioned by (day int) 指定了day为分区标志 在查询时使用 where day = 20201010 来指定分区
为bill表添加一个分区目录20201010 当指定day = 20201010时 将在这个分区查询数据
随日期增加 需要手动将对应日期的目录作为分区添加到bill中 可以使用crontab 每天自动执行一次添加分区的操作
㈣ Hive外表批量添加分区
我们有一批日志数据存储在hdfs上，按天创建目录，如2018-07-31的日志hdfs路径为：/data/logs/gateway/20180731。
现在要用hive分析数据，同时要保证这些数并圆据目录不能改变，就需要hive用外表的方式与这些数据氏蔽灶进行关歼扮联。
示例：
但是，看下文件列表
一共108个待添加的目录，这样一个个添加太累人，有没有批量添加的方法呢？
Hive有个MSCK命令，可以扫描数据分区目录，修复元信息，目录与元信息不一致时，能自动更新。
但是，数据目录必须是Hive习惯路径格式：
同时，建表时指定LOCATION为分区目录的父目录：
这时，用命令
即可自动把所有的数据按dt分区，添加到gateway_analysis中。
由于我们的目录格式不符合，只能用ADD PARTITION的方式了。
为减少工作量，写了个shell脚本，自动添加 /data/logs/gateway 目录下所有的分区目录到gateway_analysis表中：