#
Linux 下运行spark local bind on port 0. Attempting port 1 问题2016-11-01&nb
要学会和使用一门技术的时候，首先要弄清楚该技术出现的背景和要解决的问题。要说spark首先要了解海量数据的处理和Hadoop技术。 一个系统在运行的过程中都会产生许多的日志数据，这些日志数据
Hadoop这个名字现在对很多开发者来说，并不陌生，但是很多开发者对其工作原理和架构并不了解。Hadoop怎么实现的分布式存储和分布式计算，其计算性能为什么会提高那么多。本文将从其基本工作原理方面解释
Hadoop编译步骤： 1.解压Hadoop源码包 [root@hadoop000 ~]# mkdir -p /opt/sourcecode [root@hadoop000 ~]# mkdir -p
对hadoop初学者来说，或者说正在使用hadoop的开发者来说，hadoop环境的搭建不是一件省心的事，甚至很多博客上都重要的事说三便“不要花精力在搭建环境之上”，可见很多人在搭建环境时会遇到很多问
在hadoop环境搭建完成后，接下来就是要把sqoop整合进来，使其可以利用hadoop和mysql-connector-java来从MySQL中抽取数据并转存到hdfs上。1. 将得到的sqoop-
实验环境：操作系统：Ubuntu 16.04 LTSHadoop版本：Hadoop 2.7.1一、安装JAVA环境dblab@dblab-VirtualBox:/$ sudo apt-get inst
使用方法：fs.copyToLocalFile(new Path(""),new Path(""))进行下载文件时，可能会发生NullPointerExcept
hdfs dfs -mkdir -p /user/centos/hadoophdfs dfs -ls /userhdfs dfs -ls -R /user 递归查看hdfs dfs -help put
遇Hadoop 50070端口打不开，如何排查？Hadoop 50070是hdfs的web管理页面，在搭建Hadoop集群环境时，有些大数据开发技术人员会遇到Hadoop 50070端口打不开的情况，
