温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

hive与hadoop有什么联系

发布时间:2021-08-19 21:55:11 来源:亿速云 阅读:143 作者:chen 栏目:网络安全

这篇文章主要讲解了“hive与hadoop有什么联系”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“hive与hadoop有什么联系”吧!

解析:

1、提交sql 交给驱动
2、驱动编译:解析相关的字段表信息
3、去metastore查询相关的信息 返回字段表信息
4、编译返回信息 发给驱动
5、驱动发送一个执行计划 交给执行引擎
6、执行计划 (三种形式: metastore、namenode、metastore+namenode+mapreduce)

形式一 > DDL 对数据库表的操作的 直接和metastore交互 。 比如:create table t1(name string);
形式二 > dfs ops 直接和namenode取数据 。 比如: select * from t1;
形式三 > 把job交给job tracker,让task tracker执行 返回执行信息 + 完成job返回数据信息、找namenode查数据 。 
比如:select * from t1 where col=X ;

7、返回结果信息集

总结: hive 运行在 hadoop 之上, 某些操作需要调用 hdfs 中的 mapreduce 。 hive 元数据存储在 matestore 中, 而非元数据(如 table 里的数据)存储在hdfs之上。

感谢各位的阅读,以上就是“hive与hadoop有什么联系”的内容了,经过本文的学习后,相信大家对hive与hadoop有什么联系这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是亿速云,小编将为大家推送更多相关知识点的文章,欢迎关注!

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI