‘壹’ ef 为什么sql执行完关闭连接慢
Shark为了实现Hive兼容,在HQL方面重用了Hive中HQL的解析、逻辑执行计划翻译、执行计划优化等逻辑,可以近似认为仅将物理执行计划从MR作业替换成了Spark作业(辅以内存列式存储等各种和Hive关系不大的优化);同时还依赖Hive Metastore和Hive SerDe(用于兼容现有的各种Hive存储格式)。这一策略导致了两个问题,第一是执行计划优化完全依赖于Hive,不方便添加新的优化策略;二是因为MR是进程级并行,写代码的时候不是很注意线程安全问题,导致Shark不得不使用另外一套独立维护的打了补丁的Hive源码分支(至于为何相关修改没有合并到Hive主线,我也不太清楚)。
‘贰’ hive中的表为什么会昨天跑的快,今天就跑的特别慢,同样的sql
是不是数据量上去了(代码的质量不够高,受数据量的影响较大)?
‘叁’ hadoop分布式计算中,使用Hive查询Hbase数据慢的问题
首先,节点规模上去,或者硬件配置上去才能让hadoop引擎转起来。
配置很低,一看就知道是科技项目,或者小作坊的做法,你的需求是很不合理的。在这配置下是没优化空间。
另一方面,HIVE原理上只是基本的SQL转义,换句话说,当你云计算规模上去后,HIVE优化的本质就是让你优化SQL,而不是HIVE多强。
‘肆’ Hive执行简单查询,耗时巨长,是什么情况
1. 查询语言。由于 SQL 被广泛的应用在数据仓库中,因此,专门针对 Hive 的特性设计了类 SQL 的查询语言 HQL。熟悉 SQL 开发的开发者可以很方便的使用 Hive 进行开发。 2. 数据存储位置。Hive 是建立在 Hadoop 之上的,所有 Hive 的数据都是存储