#
1创建工程 点击project——Maven——next 2通过maven导入项目依赖jar包 （1）设置maven自动导入依赖jar包勾选 Import Maven projects automa
dfs.ha.automatic-failover.enabledtrue
一：Spark集群开发环境准备启动HDFS，如下图所示： 通过web端查看节点正常启动，如下图所示：2.启动Spark集群，如下图所示：通过web端查看集群启动正常，如下图所示：3.启动st
Hadoop：版本迭代较快，最新为3.0版本，本次学习以2.0为主；
一、相关参数：1、core-site.xml 文件修改以下配置项： fs
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop 核心
记录一个调试 pyspark2sql 访问 HDFS 透明加密的问题。访问源码如下，使用 pyspark2.1.3，基于 CDH 5.14.0 hive 1.1.0 + parquet，其中selec
描述：If a large directory is deleted and namenode is immediately restarted, there are a lot of blocks
[toc] RDBMS数据定时采集到HDFS 前言 其实并不难，就是使用sqoop定时从MySQL中导入到HDFS中，主要是sqoop命令的使用和Linux脚本的操作这些知识。 场景 在我们的场景中
2019/2/18 星期一 hdfs namenode HA高可用方案 1、hadoop-ha 集群运作机制介绍所谓HA，即高可用（7*24 小时不中断服务） //hadoop 2.x 内置了
