课程名称
大数据Spark基础+Spark中级架构原理、运行流程图+Spark内核分析解密视频课程
适用人群
学生 大数据从业人员 Spark开发人员 大数据开发人员
课程简介
想学习Spark进入大数据领域的同学，花一个小时了解Spark大数据计算引擎在整个大数据生态圈的地位，并且跟跟着老师完成Spark学习环境的搭建，对常见的Spark运用场景进行实战操作。为学习Spark Sql、Spark Streaming、Spark图计算、Spark机器学习建立好环境基础！带领大家全面了解Spark的内核，从整体把握Spark系统的构架方式及设计思想
本课程全面讲解Spark内核的各大组件及调度方式。Spark基于弹性分布式数据集构建的具有容错、位置感知、自动平很负载、水平扩展的分布式内存计算引擎，其核心思想是RDD。本课程会讲解Spark集群环境的安装、RDD抽象的概念、RDD上常见的transformation操作、action操作、作业的调度、调度模块、存储模块、执行模块、Shuffle模块、内存管理模块、RPC通信模块、Zookeeper构建HA等Spark核心的内容进行详细的结合源码的讲解。带大家走进Spark的源码世界！
课程目录
01：彻底解密wordcount运行原理-1.mp4
02：ha下的spark集群工作原理解密-1.m4v
03：Spark内核架构解密.mp4
04：spark Rdd解密-2.m4v
05：rdd创建内幕彻底解密-3.m4v
06：rdd实战（rdd基本操作实战及transformation流程图）-4.m4v
07：rdd案例（join、cogroup、reducebykey、groupbykey等）-5.m4v
08：rdd持久化、广播、累加器-6.m4v
09：spark高级排序彻底解秘-1.m4v
10：top N彻底解秘-2.m4v
11：从spark架构中透视job-3.m4v
12：rdd的依赖关系彻底解密-4.m4v
13：从物理执行的角度透视spark Job-5.m4v
14：spark Hash Shuffle内幕彻底解密-1.m4v
15：世界第一的spark Sort-based Shuffle内幕工作机制、案例实战、源码剖析、优缺点及改进方式等彻底解密-2.m4v
16：spark Runtime（driver、master、worker、executor）内幕解密-3.m4v
17：spark On Yarn彻底解密-4.m4v
18：spark天堂之门解密-5.m4v
19：master Ha彻底解密-6.m4v
20：master的注册机制和状态管理解密-7.m4v
21：spark资源调度分配内幕天机彻底解密：driver在cluster模式下的启动、两种不同的资源调度方式源码彻底解析、资源调度内幕总结-8.m4v
22：spark Worker原理和源码剖析解密：worker工作流程图、worker启动driver源码解密、worker启动executor源码解密等-9.m4v
23：spark Executor内幕彻底解密：executor工作原理图、executorbackend注册源码解密、executor实例化内幕、executor具体工作内幕-10.m4v
24：stage划分和task最佳位置算法源码彻底解密-1.m4v
25：打通spark系统运行内幕机制循环流程-2.m4v
26：taskscheduler内幕天机解密：spark Shell案例运行日志详解、taskscheduler和schedulerbackend、fifo与fair、task运行时本地性算法详解等-3.m4v
27：task执行内幕与结果处理解密-4.m4v
28：blockmanager架构原理、运行流程图和源码解密-5.m4v
29：blockmanager解密进阶：blockmanager初始化和注册解密、blockmanagermaster工作解密、blocktransferservice解密、本地数据读写解密、远程数据读写解密-6.m4v
30：cachemanager彻底解密：cachemanager运行原理流程图和源码详解-7.m4v
31：checkpoint彻底解密：checkpoint的运行原理和源码实现彻底详解-8.m4v
32：spark Broadcast内幕解密：broadcast运行机制彻底解密、broadcast源码解析、broadcast最佳实践-9.m4v
33：spark 1.6 Rpc内幕解密：运行机制、源码详解、netty与akka等-10.m4v
评论0