Hive优化——Fetch抓取优化


发布于 2017-04-09 / 36 阅读 / 0 评论 /
Hive在一些简单的Select查询时,可以使用Fetch抓取优化。

Fetch优化是指,Hive中某些情况的查询是不需要使用MapReduce计算的。例如”select * from emp“,在这种情况下,Hive可以简单地读取emp对应的存储目录下的文件,然后输出查询结果到控制台。

参数有1个:

(1)set hive.fetch.task.conversion=more;

是否在特定场景转换为fetch任务。该参数有三个可选值:

  • none表示不转换;

  • minimal表示支持“select *“、分区字段过滤、limit等;

  • more表示支持select任意字段,把偶哦函数、过滤、limit等。