介绍Spark DAGScheduler模块的功能与逻辑

read more

Windows + IDEA + SBT 打造Spark源码阅读环境

2014-10-15 by guozhongxin

Spark源码阅读环境的准备

Spark源码是有Scala语言写成的,目前,IDEA对Scala的支持要比eclipse要好,大多数人会选在在IDEA上完成Spark平台应用的开发。因此,Spark源码阅读的IDE理所当然的选择了IDEA。

本文介绍的是Windows下的各项配置方法(默认已经装了java,JDK)。

下面列举搭建此环境需要的各个组件:

  • IDEA,有两个版本:Ultimate Edition & Community Edition,后者是free的,而且完全能满足学习者所有的需求 ...
read more

Spark简介

2014-10-12 by guozhongxin

介绍spark的计算模型、架构、功能模块、配置

read more

Spark安装:Spark集群及开发环境搭建

2014-09-26 by guozhongxin

一步一步在集群上安装spark,搭建spark上运行作业的开发环境

read more
Fork me on GitHub