一、首先说一下,Hadoop有三种运行模式。 第一个是独立(或本地)运行模式:无需运行任何守护进程,所有程序都在一个同一个JVM上执行。 第二个是伪分布模式:Hadoop守护进程运行在本
Hadoop对于从事互联网工作的朋友来说已经非常熟悉了,相信在我们身边有很多人正在转行从事hadoop开发的工作,理所当然也会有很多hadoop入门新手。Hadoop开发太过底层,技术难度远比我们想象
hadoop作为分布式的系统, 集群机器之间的通信是最基本,最常见的需求。这种需求本质上是IPC, 即进程间通信。 按照传统的UINX编程模型,进程间通信无非是如下的几种方式:管道, FIFO, 消息
前提:一定要保证iptables是关闭的并且selinux是disabled1、准备硬件1台namenode和3台datanodenamenode 192.168.137.100datanode1 1
hadoop的安装,总共分为三个部分,分别是jdk的安装,ssh免密码,最后就是hadoop的安装1,jdk的安装,及其安装过程中遇到的问题:  
很多初学Hadoop开发的同学分不清Hadoop和Spark究竟有什么联系?搞不清Hadoop和Spark是两个独立的框架,还是必须相互依存才能完成工作?今天就给大家分析一下Hadoop和Spark几
数据采集是大数据分析全流程的重要环节,典型的数据采集工具包括ETL工具、日志采集工具、数据迁移工具等。 Flume是一个高可用的、高可靠的、分布式的海量日志采集、聚合和传输的系统。1.安装F
1、简介 Kafka is a distributed,partitioned,replicated commit logservice。它提供了类似于JMS的特
zookeeper提供了一个层次化目录结构,命名符合常规文件系统规范。每个节点在zookeeper中叫做znode,并且它有一个唯一的路径标识。znode有两种类型:短暂的(ephemeral)和持久
maven:配置maven环境①将maven解压到一个没有空格没有中文的路径上②添加环境变量M2_HOME,并添加PATH路径M2_HOME=C:\mysoft\apache-maven-3.5.0P