Hbase+Spring boot实战分布式文件存储,资源教程下载 - 数智资源

Hbase+Spring boot实战分布式文件存储,资源教程下载

image.png

课程名称

Hbase+Spring boot实战分布式文件存储

课程介绍

熟悉boot就可以入手这门课,如果熟悉Linux基本命令 ,稍微了解些了解Hadoop 会更好,对hdfs不了解也关系不大。我们都知道hdfs有一个数据块(block)的概念。而数据块一般都设置为128m。 hdfs本身其实是不适合存储小文件的。因为小文件也会独占一个数据块。对namenode的内存造成浪费。我们日常应用的数据比如一些文本,图片等等非结构化的数据的存储和管理应该怎么去做呢?或者说我们如何提供一个对象存储服务。对象存储服务我们也有一直在用。我们的重点呢还是在于hbase可以做这个事情。我们要学习hbase,要用hbase来做这个事情。 项目的功能范围到在其次。在课程中有讲到协处理器,并进行开发实战。在实际项目中,一般我们会通过自己在另外的数据库比如MySQL或者是搜索引擎比如elasticsearch或者solr进行实现。Ad Hoc是非定制化,用户可以根据自己需求自定义执行的查询。HBase是可以支持这部分工作的。但是hbase本身对于多个条件的查询支持不好。 本门课程还提到了Phoenix,可以通过SQL的方式去操作hbase,那么即席查询就更不在话下了。 springboot是我们常用的一个web框架,我们可以将两者结合使用,同理我们也可以用其他web框架甚至其他语言。

课程目录

1.课程简介

课程简介及期望学习本门课程可以达到的目标。对本门课程所用到的技术进行概览

2.HBase简介与环境部署

介绍HBase是什么,能做什么,有哪些优缺点,适用于哪些应用场景,与常用关系数据库有什么不同。并配置安装Hadoop伪分布式集群,HBase伪分布式集群。为后面章节实战测试提供环境支持。

3.HBase原理与实战

介绍HBase基础原理,以读写流程为引,结合前面集群部署所展现的HBase三大模块,讲解HBase各个模块之间的协作,帮助我们了解HBase的运行机制。并对HBase进行实战操作,讲解基本的shell命令及JAVA api。重点讲解如何通过过滤器筛选数据…

4.HBase进阶

讲解HBase的高级特性,常用的优化策略,协处理器等,并实战开发协处理器,将开发的协处理器加载到HBase测试环境,验证其功能

5.容灾与监控

HBase容灾策略的简要介绍,配合命令演示如何对数据进行备份和恢复。简要介绍HBase的监控重要性以及常用的监控方式。实战开发通过jmx获取HBase运行时数据,监控集群状态

HBase相关工具的介绍和使用,重点讲解Phoenix和Sqoop。并对两者进行实战操作。

7.需求分析与技术选型

对象存储服务项目的需求分析及技术选型

8.功能梳理与方案设计

对象存储服务功能点梳理以及实现方案的设计,讨论两种设计方案的优缺点,进行正式开发前期准备工作。

9.子模块-数据库操作模块

hos服务基础数据库选用mysql,实现基于Mybatis的对mysql数据库的操作模块

10.子模块-用户管理模块

Hos服务用户管理模块开发,包含对用户的增删改查操作

11.子模块-权限管理模块

Hos服务权限管理模块开发,包含对Token的增删该查以及授权操作

12.子模块-文件管理模块

Hos服务核心模块 文件管理模块开发,包含Bucket的增删改查以及对设计方案一中 HBase相关的操作。

13.子模块-接口模块

Hos服务接口模块的开发,完成登录认证,权限验证以及各个功能的restful API

14.子模块-SDK模块

Hos服务SDK模块开发及测试

15.课程总结

对整个课程的所用到的理论,技术做一个简单的回顾总结,提出优化的空间

资源下载此资源下载价格为8学分,VIP免费,请先
充值比例 1元=1学分
资源失效,请咨询客服
客服QQ 980264305
资源下载
下载价格8 学分
VIP免费
充值比例 1元=1学分
资源失效,请咨询客服
客服QQ 980264305

评论0

找资源,搜一下,更惊喜
没有账号? 注册  忘记密码?