#
一、添加hive-site.xml 在$SPARK_HOME/conf下添加hive-site.xml的配置文件，目的是能正常访问hive的元数据 vim hive-site.xml
当不修改HADOOP/HBASE/SPARK的PID文件位置时,系统默认会把PID文件生成到/tmp目录下,但是/tmp目录在一段时间后会被删除,所以以后当我们停止HADOOP/HBASE/SPARK
在装spark之前先装Scala Scala 的安装在hadoop安装配置中已经介绍了1、下载spark安装包 下载地址如下http://spark.apache.org/download
一、Checkpoint到底是什么？1， Spark在生产环境下经常会面临Tranformations的RDD非常多（例如一个Job中包含1万个RDD）或者具体Tranformation产生
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapRedu
一、集群规划 这里搭建一个 3 节点的 Spark 集群，其中三台主机上均部署 Worker 服务。同时为了保证高可用，除了在 hadoop001 上部署主 Master 服务外，还在 hadoop0
以下是老男孩教育编写的大数据资料，转载请注明出处：http://www.oldboyedu.comHadoopHadoop是分布式计算引擎，含有四大模块，common、hdfs、mapreduce和y
RDD里的模式匹配：def hasNext: Boolean = (thisIter.hasNext, otherIter.hasNext) match { &
一、Broadcast彻底解密 1、Broadcast就是将数据从一个节点发送到其他节点。 2、Broadcast是分布式的共享数据，默认
[TOC] 一、spark中一些基本术语 RDD：弹性分布式数据集，是spark的核心重点算子：操作RDD的一些函数application：用户的写的spark程序（DriverProgram + E
