[hadoop][EMR][hive] 自動建立 hive 的 partition , automatically partition hive external table on amazon S3

使用 AWS 上有 Hadoop  Cluster service   Apache EMR  。

Hive 的 table 有兩種，一種是 把 data 放在 hive 資料夾下，另外一種稱作 external table，也就是說，把data  放在非 hive 預設的資料夾下。

舉例來說，如果 hive的 預設資料夾在 hdfs 上的 /user/hive/warehouse 下，create table 後可以使用 load data inpath 載入檔案，資料會搬到這個資料夾下面。

但是，如果使用了其他分析工具，如 mapreduce , spark ,pig ... 分析完後，有時候是放在另外的資料夾下。如果不直接搬移過來這個資料夾，可以使用 create external table ，來讓資料存放在其他資料夾下，但是只是在 hive metastore 設定說，有這個 table的資料放在哪個資料夾下。


在 Amazon EMR 上就提供了從 s3 :// 上 讀入檔案的方式，所以，大量分析需求的時候起了一些EMR  ，把資料算完後放在 S3 上。當下次有需要大量分析時，再使用 create external table  的方式讀取放在s3上的資料。


Hive 中有個加速資料處理的方式，稱作 partition ，簡單來說就是，可以透過 partition 的條件設定，讓 Hive 需要處理的資料便少。

像是有根據時間一直增加的這種資料類型，一般來說都是要分析某個區間的資料。
如果大部分情況都是以天來做分析，就可以把 日期拿來建立 partition 欄位，使用這個機制來減少要處理的資料。


資料從外部處理完後，按造日期每天放入 S3 上的資料夾，來供 hive 使用。



CREATE EXTERNAL TABLE IF NOT EXISTS posts (
`id` int ,
`date` string ,
`pid` int ,
`country` string ,
`placement` string ,
`type` string ,
`count` double ,
`updated` timestamp
)
PARTITIONED BY (day string)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
LINES TERMINATED BY '\n'
STORED AS TEXTFILE
LOCATION 's3://mys3-table/posts';


而我在 s3上 的資料夾 naming 規則就是如此， partition 欄位其實就是個 資料夾命名規則，
"day="

s3://mys3-table/posts/day=20161016/posts_ 20161016
s3://mys3-table/posts/day=20161017/posts_ 20161017

當資料放好後，
使用 hive -e "msck repair table posts;"
就可以在 hive 內看到隸屬該 partition 的資料了。