Hive常见的分析函数(概括)

窗口聚合函数

聚合函数是将多行数据按照规则聚合为一行，比如count()、sum()、min()、max()、avg()

窗口排序函数提供了数据的排序信息，比如行号和排名。在一个分组的内部将行号或者排名作为数据的一部分进行返回，最常用的排序函数主要包括：

row_number：根据具体的分组和排序，为每行数据生成一个起始值等于1的唯一序列数
rank：对组中的数据进行排名，如果名次相同，则排名也相同，但是下一个名次的排名序号会出现不连续。比如查找具体条件的topN行
dense_rank：dense_rank函数的功能与rank函数类似，dense_rank函数在生成序号时是连续的，而rank函数生成的序号有可能不连续。当出现名次相同时，则排名序号也相同。而下一个排名的序号与上一个排名序号是连续的。
percent_rank：排名计算公式为：(current rank - 1)/(total number of rows - 1)
ntile：将一个有序的数据集划分为多个桶(bucket)，并为每行分配一个适当的桶数。它可用于将数据划分为相等的小切片，为每一行分配该小切片的数字序号。

常用的分析函数主要包括：

cume_dist：如果按升序排列，则统计：小于等于当前值的行数/总行数(number of rows ≤ current row)/(total number of rows）。如果是降序排列，则统计：大于等于当前值的行数/总行数。比如，统计小于等于当前工资的人数占总人数的比例，用于累计统计。
lead(value_expr[,offset[,default]])：用于统计窗口内往下第n行值。第一个参数为列名，第二个参数为往下第n行（可选，默认为1），第三个参数为默认值（当往下第n行为NULL时候，取默认值，如不指定，则为NULL
lag(value_expr[,offset[,default]])：与lead相反，用于统计窗口内往上第n行值。第一个参数为列名，第二个参数为往上第n行（可选，默认为1），第三个参数为默认值（当往上第n行为NULL时候，取默认值，如不指定，则为NULL）
first_value：取分组内排序后，截止到当前行，第一个值
last_value：取分组内排序后，截止到当前行，最后一个值

为默认值，即当指定了ORDER BY从句，而省略了window从句，表示从开始到当前行。

表示从当前行到最后一行

表示所有行

表示窗口的范围是：[（当前行的行数）- n, （当前行的行数）+m]