云帆大数据Hadoop从入门到上手企业开发8天学习视频,资源教程下载 - 数智资源

云帆大数据Hadoop从入门到上手企业开发8天学习视频,资源教程下载

image.png

课程名称

云帆大数据Hadoop从入门到上手企业开发8天学习视频,资源教程下载

课程介绍

超级棒的hadoop课程1.x,2.x版本都有讲解,可以全面了解hadoop两个版本的各自特点。动手搭建环境伪分布与分布式都有教。课程都有讲义是PDF格式的,制作很精良。

课程目录

第1天

000 上课方式和课程大纲介绍

001 Linux系统基本知识说明和启动Linux虚拟机

002 配置虚拟机IP地址和如何使用远程工具SecureCRT

003 Linux 环境下基本命令使用及Linux系统中文件的类型和权限

004 Linux 环境下基本命令讲解二

005 Linux 系统远程FTP工具与桌面工具XManager使用和培养三大能力

006 Linux 系统基本命令和基本配置的复习讲解

007 What is Apache Hadoop讲解

008 Hadoop 的发展史和版本发展与区别

009 Hadoop 1.x 生态系统介绍讲解

010 Hadoop 2.x 生态系统介绍讲解

011 Hadoop 1.x 服务讲解

012 HDFS 架构的讲解

013 MapReduce 架构讲解和MapReduce思想原理讲解

014 Apache Hadoop 三种安装部署模式讲解

015 Apache Hadoop 1.x 单机(本地)模式安装部署与测试

016 Hadoop 1.x 伪分布式安装部署

017 查看Hadoop 日志以及日志的格式和命名组成

018 Hadoop 1.x 守护进程服务三种启动停止方式

第2天

019 测试环境(HDFS Shell基本命令和运行WordCount程序)

020 结合WordCount实例讲解Hadoop的数据存储和数据计算

021 Hadoop 1.x五大服务与配置文件中的对应关系

022 分析Hadoop 1.x三种启动停止方式的Shell 脚本

023 去除警告【Warning$HADOOP HOME is deprecated。】

024 Hadoop相关命令中的【–config configdir】作用

025 Hadoop 1.x目录结构

026 Eclipse导入Hadoop源码项目

第3天

027 HDFS 设计目标

028 HDFS 文件系统架构概述

029 HDFS架构之NameNode和DataNode

030 HDFS 架构讲解总结

031 回顾NameNode和DataNode

032 HDFS架构之Client和SNN功能

033 HDFS Shell 命令命令讲解和演示

034 讲解HDFS 文件读写流程

035 详解HDFS API之FileSystem方式基本操作一

036 HDFS Java API 两种方式介绍及使用URL API详解一

037 使用URL API详解二

第4天

038 使用HDFS FileSystem  API 详解

039 HDFS文件系统读写流程及HDFS API两种方式读取文件

040 详解HDFS API之FileSystem方式基本操作二

041 讲解分析Configuration和FileSystem类源代码

042 引出HDFS实际应用场景之合并文件和使用getmerge命令并查看实现源码

043 分析getmerge功能实现思路和代码实现

044 演示讲解【百度网盘】功能与HDFS API对应说明

第5天

045 HDFS 专题结束和布置HDFS 作业

046 MapReduce架构原理介绍讲解

047 WordCount运行和MapReduce运行基本流程

048 MapReduce执行流程详解

049 MapReduce编程模型讲解及运行PI程序和JobWebUI监控Job运行

050 如何按照【八股文】方式编写MapReduce

051 复习MapReduce编写模型和【八股文】方式编写MapReduce

052 完成MyWordCount程序编写

第6天

053 打包运行MyWordCount程序并监控Job运行

054 优化MyWordCount程序和讲解GenericOptionsParser

055 安装Hadoop Eclipse插件并使用Eclipse查看文件系统

056 使用Eclipse运行MyWordCount程序并解决PriviledgedActionException问题

第7天

057 MyWordCount 处理过程详解

058 MapReduce提交作业源码跟踪讲解 

059 MR作业运行流程整体分析

060 MapReduce执行流程之Shuffle和排序流程以及Map端分析

061 MapReduce执行流程之Reduce端分析

062 MapReduce Shuffle过程讲解和Map Shuffle Phase讲解

063 Reduce Shuffle Phase讲解

064 源代码跟踪查看Map Task和Reduce Task数目的个数

065 回顾MapReduce执行过程以及MapReduce核心

第8天

066 Hadoop MapReduce框架数据类型讲解

067 Hadoop 数据类型之比较器Comparator讲解

068 复习总结如何自定义数据类型和查看源码深入进一步讲解数据类型

069 MapReduce应用案例之手机流量统计分析与数据类型定义和代码模板编写

070 MapReduce 应用案例之手机流量统计代码编写与测试

资源下载此资源下载价格为12学分,VIP免费,请先
充值比例 1元=1学分
资源失效,请咨询客服
客服QQ 980264305
资源下载
下载价格12 学分
VIP免费
充值比例 1元=1学分
资源失效,请咨询客服
客服QQ 980264305

评论0

找资源,搜一下,更惊喜
没有账号? 注册  忘记密码?