温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

怎么将数据从Hadoop导出到关系型和NoSQL数据库

发布时间:2022-02-25 10:30:29 来源:亿速云 阅读:267 作者:小新 栏目:大数据

小编给大家分享一下怎么将数据从Hadoop导出到关系型和NoSQL数据库,希望大家阅读完这篇文章之后都有所收获,下面让我们一起去探讨吧!

实践:使用Sqoop将数据导出到MySQL

Hadoop擅长与大多数关系型数据库打交道,因此将OLTP数据提取到HDFS,执行一些分析,然后将其导出回数据库是很常见的。

问题

希望将数据写入关系数据库,同时确保写入是幂等的。

解决方案

此技术介绍了如何使用Sqoop将文本文件导出到关系数据库,还介绍了如何配置Sqoop以使用具有自定义字段和记录分隔符的文件。我们还将介绍幂等导出,以确保失败的导出不会使数据库处于不一致状态。

讨论

这种技术假设已经安装MySQL并创建模式。

Sqoop导出要求导出数据库表已存在,Sqoop可以支持表中行的插入和更新。

将数据导出到数据库共享

我们在导入部分检查的许多参数,不同之处在于export需要使用--export-dir参数来确定要导出的HDFS目录,还将为导出创建另一个选项文件,以防止在命令行上不安全地提供密码:

怎么将数据从Hadoop导出到关系型和NoSQL数据库

第一步是将数据从MySQL导出到HDFS,以确保有一个良好的起点,如以下命令所示:

怎么将数据从Hadoop导出到关系型和NoSQL数据库

Sqoop导入的结果是HDFS中有许多CSV文件,可以在以下代码中看到:

怎么将数据从Hadoop导出到关系型和NoSQL数据库

对于从HDFS到MySQL的Sqoop导出,将指定目标表应该是stocks_export并且应该从HDFS库目录导出数据:

怎么将数据从Hadoop导出到关系型和NoSQL数据库

默认情况下,Sqoop导出将对目标数据库表执行INSERT,可以使用--update-mode参数支持更新。值updateonly意味着如果没有匹配的密钥,更新将失败。如果匹配的键不存在,则allowInsert的值将直接插入。用于执行更新的表列名称在--update-key参数中提供。

以下示例表明只应使用主键尝试更新:

怎么将数据从Hadoop导出到关系型和NoSQL数据库

输入数据格式

可以使用多个选项覆盖用于解析输入数据的默认Sqoop设置,表5.7列出了这些选项。

怎么将数据从Hadoop导出到关系型和NoSQL数据库

表5.7 输入数据的格式选项

幂等输出

执行输出的Sqoop map任务使用多个事务进行数据库写入。如果Sqoop导出MapReduce作业失败,则表可能包含部分写入。对于幂等数据库写入,可以指示Sqoop执行MapReduce写入临时表。成功完成作业后,临时表将在单个事务中移动到目标表,该事务是幂等的,可以在图5.19中看到事件顺序。

怎么将数据从Hadoop导出到关系型和NoSQL数据库

图5.19  Sqoop分段事件序列,有助于确保幂等输出

在下面的示例中,临时表是stocks_staging,还告诉Sqoop在MapReduce作业以--clear-staging-table参数启动之前清除它:

怎么将数据从Hadoop导出到关系型和NoSQL数据库

直接输出

在导入技术中使用快速连接器,这是使用mysqldump实用程序的优化。Sqoop导出也支持使用mysqlimport工具的快速连接器。与mysqldump一样,集群中的所有节点都需要安装mysqlimport,并且在用于运行MapReduce任务的用户路径中可用。与导入一样, - diand参数可以使用快速连接器:

怎么将数据从Hadoop导出到关系型和NoSQL数据库

使用mysqlimport进行幂等输出

Sqoop不支持将快速连接器与临时表结合使用,这就是使用常规连接器实现幂等输入的方法。但是仍然可以通过快速连接器实现幂等输入,并在最后进行一些额外的工作。需要使用快速连接器写入临时表,然后触发INSERT语句,该语句将数据原子复制到目标表中,步骤如下所示:

怎么将数据从Hadoop导出到关系型和NoSQL数据库

这打破了关于在命令行上公开凭证的早期规则,但是编写可以从配置文件中读取这些设置的脚本很容易。

看完了这篇文章,相信你对“怎么将数据从Hadoop导出到关系型和NoSQL数据库”有了一定的了解,如果想了解更多相关知识,欢迎关注亿速云行业资讯频道,感谢各位的阅读!

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI