#
本期内容：Spark Streaming数据清理原因和现象Spark Streaming数据清理代码解析对Spark Streaming解析了这么多课之后，我们越来越能感知，Spark Streami
术语解释Executor 多线程的方式运行每个partirion会被分配一个tasktaskset就是stage，一个stage由多个task组成广播变量类似于hadoop的Distrib
 spark sql 可以说是 spark 中的精华部分了，我感觉整体复杂度是 spark streaming 的 5 倍以上，现在 spark 官方主推 structed streaming， s
摘要： 随着大数据技术的发展，实时流计算、机器学习、图计算等领域成为较热的研究方向，而Spark作为大数据处理的“利器”有着较为成熟的生态圈，能够一站式解决类似场景的问题。那你知道Spark
并行度：其实就是指的是，Spark作业中，各个stage的task数量，也就代表了Spark作业的在各个阶段（stage）的并行度。如果不调节并行度，导致并行度过低，会怎么样？假设，现在已经在spar
硬件环境：hddcluster1 10.0.0.197 redhat7hddcluster2 10.0.0.228 centos7 这台作为masterhddcluster3 10.0.0
一、安装Spark 1.1 下载并解压 官方下载地址：http://spark.apache.org/downloads.html ，选择 Spark 版本和对应的 Hadoop 版本后再下载： 解
基于Spark MLlib平台的协同过滤算法---电影推荐系统 又好一阵子没有写文章了，阿弥陀佛...最近项目中要做理财推荐，
[TOC] 一、spark SQL概述 1.1 什么是spark SQL Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式S
第一步：版本的选择：spark-0.xspark-1.x(主流：Spark-1.3 和 Spark-1.6)spark-2.x(最新 Spark-2.4)下载地址：http://spark.apach
