300字范文,内容丰富有趣,生活中的好帮手!
300字范文 > hive分区用2个字段有何限制_Hive分区表和桶表的使用

hive分区用2个字段有何限制_Hive分区表和桶表的使用

时间:2021-03-23 06:22:54

相关推荐

hive分区用2个字段有何限制_Hive分区表和桶表的使用

我们看官网文档中这个地方

我们先创建好数据库,以供练习

使用数据库

我们创建数据表

我们创建分区表,选取的字段不能是表中存在的字段

元数据信息

Formatted信息

那我们加载信息

load data local inpath '/data/hivetest/dept.txt' into table dept_partition partition(bmbh=1);

我们查看数据

我们看下HDFS上,是目录的形式

所以我们可以多加载几份数据

查看数据和HDFS上

也可以创建二级分区

载入数据

查看下数据

查看下元数据

再看下HDFS

我们就可以依据条件查询使用where语句

注:分区表可以提高查询的效率。

我们再看这个地方-桶表

这个和分区表不一样的地方,选取字段必须是表里的字段

我们准备个员工表

我们创建下桶表

我们加载下数据

看下HDFS

实际在桶表中,我们应该使用另外一种语句

运行过程

出现了点问题

三个节点时间不同步,设定下时间

date -s "-12-5 17:50:00"

再执行就可以了

查看结果

我们看HDFS上

我们查看下文件,已经分开了,如果有问题看看你的hive版本是否有这个属性没有打开。hive.enforce.bucketing。

注:其中桶表查询还有下面的语句,可以仔细研究下,暂时先放一放,后续学习深入再了解。

Select * from table tablesample(bucket 1 out of 2)

Tablesample是抽样数据,语法tablesample(bucket x out of y)y必须是table总bucket数的倍数或者因子。Hive根据y的大小,决定抽样比例。例如:table总共分为64份,当y=32时,抽取(64/32)2个bucket数据;当y=128时,抽取(64/128)1/2个bucket数据,x表示从哪个bucket开始抽取,例如table总bucket数为32,tablesample(3 out of 16),表示总共抽取(32/16)2个bucket数据,分别为第3个bucket和第(3+16)19个bucket数据。

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。