课程目录
第一章：大数据Hadoop第1章
大数据技术领域介绍及学习方法和发展规划
Hadoop的介绍及基本概念
Hadoop的必要性-1
Hadoop的必要性-2
Hadoop集群安装部署-linux服务器环境准备
Hadoop集群安装部署-hadoop安装部署及配置
Hadoop集群启动-手动启动
Hadoop集群启动-自动化脚本启动
Hadoop集群从单节点的伪分布式扩展为多节点分布式
Hdfs的功能体验及shell命令行操作
Hdfs分布式文件系统的基本工作机制及相关概念解析
Hdfs的JAVA客户端基本操作-1
Hdfs的JAVA客户端基本操作-2
Hdfs的JAVA客户端基本操作-3
Hdfs的JAVA客户端基本操作-4
Hdfs的JAVA客户端IO流操作
Hdfs读写数据流程
Hdfs中namenode管理元数据的机制
第二章：大数据Hadoop第2章
Hadoop的RPC框架运行机制
Hadoop的RPC框架应用示例-1
Hadoop的RPC框架应用示例-2
Mapreduce概念介绍
Mapreduce框架运行机制
Mapreduce运行机制的数据流程
wordcount的mapreduce逻辑实现流程
wordcount程序的mapper类实现
wordcount程序的reducer类实现
wordcount程序的job提交客户端实现
wordcount程序打包运行演示
流量汇总需求及mapreduce编程思路
流量汇总mapreduce程序的实现-1-hadoop序列化机制
流量汇总mapreduce程序的实现-2-mapper和reducer
流量汇总mapreduce程序打包执行及网页监控
分区汇总流量程序的思路及实现-1
分区汇总流量程序的思路及实现-2
分区汇总流量程序的执行及分区数与reducetask数的关系
第三章：大数据Hadoop第3章
流量汇总并按流量大小倒序排序的代码实现
流量汇总并按流量大小倒序排序的代码实现
mapreduce程序的本地运行模式及debug
mapreduce框架中的shuffle机制详解
YARN的基本概念–MR程序提交的流程
YARN的工作机制–MR程序运行流程
YARN的工作机制及特性总结
mapreduce程序运行并发度–reduce并发度
mapreduce程序运行并发度–数据切片的思考
mapreduce程序运行并发度–maptask决定机制
mapreduce编程练习之共同好友-需求解析
mapreduce编程练习之共同好友-思路分析
mapreduce编程练习之共同好友–步骤1实现
mapreduce编程练习之共同好友–步骤2实现
mapreduce编程练习之连表查询–需求分析
mapreduce编程练习之连表查询–mapper的实现
mapreduce编程练习之连表查询–reducer的实现
第四章：大数据Hadoop第4章
zookeeper简介
mapreduce编程练习之连表查询–reduce端join的缺点
mapreduce编程练习之连表查询–map端join的思想
mapreduce编程练习之连表查询–map端join的mapper实现
mapreduce编程练习之倒排索引–需求说明
mapreduce编程练习之倒排索引–编程思路
mapreduce编程练习之倒排索引–步骤1的实现
mapreduce编程练习之倒排索引–步骤2的实现
mapreduce编程练习之倒排索引–多job串联执行的实现
zookeeper集群搭建–集群组件介绍
zookeeper集群搭建–配置文件修改
zookeeper集群搭建–集群启动及可靠性测试
zookeeper的功能
zookeeper的命令行客户端使用及功能测试
zookeeper的java客户端初步使用
第五章：大数据Hadoop第5章
zookeeper的java客户端创建znode
zookeeper的java客户端获取及修改znode数据
zookeeper的java客户端删除znode节点
zookeeper的java客户端监听器的使用
zookeeper应用案例——服务器列表动态更新-实现思路
zookeeper应用案例——服务器列表动态更新-服务端实现
zookeeper应用案例——服务器列表动态更新-客户端实现
zookeeper应用案例——服务器列表动态更新-运行测试
zookeeper应用案例——分布式锁-实现思路
zookeeper应用案例——分布式锁-主体逻辑
zookeeper应用案例——分布式锁-主体逻辑2
zookeeper应用案例——分布式锁-代码实现-1
zookeeper应用案例——分布式锁-代码实现-2-运行测试
hadoop-HA机制的实现原理-1
hadoop-HA机制的实现原理-2
hadoop-HA集群部署-服务器环境准备
hadoop-HA集群部署-zookeeper部署及ha配置要点
hadoop-HA集群部署-配置文件修改-1
hadoop-HA集群部署-配置文件修改-2
hadoop-HA集群部署-初始化及启动
hadoop-HA集群的使用和HA特性测试
第六章：大数据Hadoop第6章
hbase数据库简介
hbase集群结构
hbase集群部署与测试
hbase命令行客户端简单使用
hbase表结构与传统数据库表结构的对比
hbase命令行客户端创建表和插入数据及表的排序特性
hbase命令行客户端get查询命令
hbase命令行客户端管理名称空间
hbase客户端api–建表
hbase客户端api-数据插入
hbase客户端api-数据删除
hbase客户端api-数据更新
hbase客户端api–查询数据–Get
hbase客户端api–查询数据–Scan
hbase客户端api–过滤器查询
hbase分布式存储机制简介
第七章：大数据Hadoop第7章
hive的安装和建表语句
hive的设计思想和技术架构
hive如何往表中导入数据
hive中的内部表和外部表的区别
hive的元数据库配置
sqoop的安装配置
sqoop导入数据的最基本用法
sqoop导入数据到hdfs的高级用法
sqoop导入数据到hive及导出数据
storm实时流式计算系统简介
storm实时流式计算系统的工作机制
storm集群的配置和部署
storm集群的部署及动态增加节点
storm编程的基本概念-topo-spout-bolt
storm编程的基本概念-2
storm编程接口–spout的结构
storm编程案例–spout组件实现
storm编程案例–bolt组件A-实现
19.storm编程案例–bolt组件B-实现
storm编程案例–提交topo的客户端
storm编程案例–网站访问来源实时统计–需求
storm编程案例–网站访问来源实时统计–代码实现
评论0