一、配置虚拟机三台1.网络配置虚拟化软件: Vmware Workstations 10.7zLinux系统: Centos 6.5-x86_64采用4台安装Linux环境的机
环境如下: Centos6.5 Apache Hadoop2.7.1 Apache Hbase0.98.12 Apache Zookeeper3.4.6 JDK1.7 Ant1.9.5 Maven3
Flume和Sqoop是Hadoop数据集成和收集系统,两者的定位不一样,下面根据个人的经验与理解和大家做一个介绍:Flume由cloudera开发出来,有两大产品:Flume-og和Flume-ng
Apache Hadoop 单节点上的安装配置 下面将演示快速完成在单节点上的 Hadoop 安装与配置,以便你对 Hadoop HDFS 和 MapReduce 框架有所体会。 先决条件 支持平
hive独立模式安装--jared该部署笔记是在2014年年初记录,现在放在51cto上。有关hadoop基础环境的搭建请参考如下链接:http://ganlanqing.blog.51cto.com
一、初识Spark和Hadoop Apache Spark 是一个新兴的大数据处理通用引擎,提供了分布式的内存抽象。Spark
1)mkdir input2)cd intput3)echo “hello word” > file1.txt4)echo “hello Hadoop” 
一分钟内部署jupyterlab + pyspark2 + hive,前提是spark2是可以在yarn上正常运行的。最近甲方打着滚的向乙方要求装 jupyterlab,然后还要用spark2,所以,
hadoop环境搭建单机(cdh版本)1.下载安装包 下载地址http://hadoop.apache.org/下载hadoop-2.6.0-cdh6.12.22.安装tar -zxvf
1、NameNode---FSNamesystem:------FSDirectory 目录树---------INodeDirectory节点目录------------List