fs.defaultFS变更使spark-sql查询hive失败是怎么回事

发布时间：2021-12-10 10:03:00 来源：亿速云阅读：212 作者：小新栏目：大数据

这篇文章将为大家详细讲解有关fs.defaultFS变更使spark-sql查询hive失败是怎么回事，小编觉得挺实用的，因此分享给大家做个参考，希望大家阅读完这篇文章后可以有所收获。

我们在将hdfs换成⾼可⽤后，我们的namede地址发⽣变更，也就是我们的fs.defaultFS发⽣变更后，需要注意：这些修改会影响到我们的hive的正常运⾏，因为我们hive在建表的时候，其实已经改变了该表的数据存放路径。会导致我们在提交spark脚本【执⾏spark-sql】的脚本，报错。如下图所示：⼀直显示，读取⽼的hdfs的namenode路径。

这⾥，我们可以访问我们的hive元数据表 SDS，如下图所示：发现还是以未升级前的namenode地址，也就是master:9000。

因此，我们需要修改这些存储信息，有两种⽅式：

直接修改表的信息
利⽤hive⾃带的⼯具

metatool -updateLocation <new-location> <old-location>

在装有hive的节点执⾏命令

   
     
   
   
   metatool -updateLocation hdfs://bi hdfs://master:9000/

查询元数据信息是否发⽣更改

   
     
   
   
   metatool -listFSRoot

此时，hive的元数据信息已经发生变更，可以正常使用

关于“fs.defaultFS变更使spark-sql查询hive失败是怎么回事”这篇文章就分享到这里了，希望以上内容可以对大家有一定的帮助，使各位可以学到更多知识，如果觉得文章不错，请把它分享出去让更多的人看到。

向AI问一下细节

fs.defaultFS变更使spark-sql查询hive失败是怎么回事

猜你喜欢

最新资讯

相关推荐

相关标签