大数据课程之基于Spark2.0.1的机器学习，智能客户系统项目实战教程下载

课程简介

大数据时代的到来，人工智能，云计算，先进的分析，用机器去替代人工的部分，从 2016 年趋势看，机器学习和人工智能 (AI) 将在未来几年内将会彻底改变 CRM。而且，现在很多平台客户关系管理系统都是使用传统的CRM，所有的信息全靠手工录入，用户寻找上下游企业或者信息只能靠手工去查找并且标注。

本课程我们只针对以上图示的浅蓝色部分内容（即与机器学习相关的内容），通过用真实的智能客户项目系统作为案例（案例附带源码，可以直接做二次开发），主要根据项目实例穿讲机器学习以及相关知识，包括有：数据提取，数据清洗以及分词，数据特征值提取、机器学习模型计算、数据分类等等，进行详细讲解。

项目将分为三个部分。整个项目基本思路是如何通过爬虫爬取大量数据放到Hbase，然后通过ETL工具初步转化筛选将数据存到mongodb，抽取mongodb的数据进行清洗处理算出模型放到hdfs。后续进来数据通过模型运算出数据的类型。

项目系统主要包括前端+后端+机器学习，前端采用React Native，Native，后端采用Dubbo+Spring+java，机器学习采用Spark进行实现，本项目机器学习-spark代码运行在mesos上。

课程所需技术

本课程所需掌握的技术：java、scala、IK、Hdfs、Spark ml、Spark Streaming、Spark SQL、Kafka、Zookeeper、Mongodb、Spring-Data-Mongodb，课程重点讲解spark ml、spark Streaming，以及如何使用这些技术进行项目的实战，贯穿项目系统并且最后串联所有技术。

课程目录

 第1讲 项目介绍以及在本课程中能学到什么东西、如何应用到实际项目中   

 第2讲 scala和IDE的安装以及使用以及maven插件的安装   

 第3讲 Centos环境准备（java环境、hosts配置、防火墙关闭）   

 第4讲 scala基础知识讲解-1   

 第5讲 scala基础知识讲解-函数和闭包-2   

 第6讲 scala基础知识讲解-数组和集合-3.1   

 第7讲 scala基础知识讲解-数组和集合-3.2   

 第8讲 scala基础知识讲解-类和对象-4  

 第9讲 scala基础知识讲解-特征和模式匹配-5  

 第10讲 scala基础知识讲解-正则表达式和异常处理-6  

 第11讲 scala基础知识讲解-知识回顾  

 第12讲 nosql数据库mongodb安装  

 第13讲 spring data for mongodb-简单连接mongodb  

 第14讲 spring data for mongodb-spring配置+CRUD操作(不实现repo，默认操作)  

 第15讲 spring data for mongodb-实现repo接口+mongoTemplate+CRUD操作  

 第16讲 spring data for mongodb-分页查询  

 第17讲 zookeeper集群安装  

 第18讲 zookeeper基本介绍-1  

 第19讲 zookeeper工作原理-选举流程（basic paxos算法）-2  

 第20讲 zookeeper工作原理-选举流程（fast paxos算法）-3  

 第21讲 kafka-背景及架构介绍  

 第22讲 kafka集群安装以及测试  

 第23讲 kafka数据发送与接收实现-java  

 第24讲 hdfs单机安装部署  

 第25讲 连接hdfs查询存储-java  

 第26讲 机器学习基本线性代数介绍  

 第27讲 IKAnalyzer中文分词工具介绍  

 第28讲 IKAnalyzer中文分词工具结合java应用  

 第29讲 Spark以及生态圈介绍  

 第30讲 Spark运行架构介绍及原理之job，stage，task  

 第31讲 Spark编程模型RDD设计以及运行原理  

 第32讲 纯手写第一个Spark应用程序：WordCount  

 第33讲 RDD常用函数介绍  

 第34讲 Spark Sql介绍、DataFrame创建以及使用、RDD DataFrame DataSet相互转化  

 第35讲 Spark Streaming介绍  

 第36讲 Spark Streaming+Kafka集成操作  

 第37讲 avro结合maven使用,实现序列化和反序列化  

 第38讲 Spark ML（机器学习）介绍（监督学习、半监督学习、无监督学习） 免费  

 第39讲 特征抽取：TF-IDF原理介绍 免费  

 第40讲 特征提取：TF-IDF代码实现计算 免费  

 第41讲 聚类算法：KMEANS原理介绍  

 第42讲 聚类算法：KMEANS代码实现计算  

 第43讲 其它Spark ML算法简单介绍  

 第44讲 Spark连接Mongodb代码实现  

 第45讲 Mesos总体架构介绍  

 第46讲 Mesos安装部署  

 第47讲 Spark on Mesos安装部署  

 第48讲 系统整体架构再次介绍+技术串联介绍（将学习的技术全部整合到项目中）  

 第49讲 项目代码：父类工程，管理各个jar的版本  

 第50讲 项目代码：avro序列化jar，用于客户端和机器学学习实现序列化和反序列化  

 第51讲 项目代码：kafka发送数据jar，给app调用并实现切词并发送数据到kafka  

 第52讲 项目代码：工具类jar，实现操作hdfs、切词以及操作mongodb  

 第53讲 项目代码：操作类jar，调用工具类具体进行切词以及数据清洗并且存储到Hdfs  

 第54讲 项目代码：机器学习集合jar，主要用来存放record  

 第55讲 项目代码：机器学习算法jar，主要进行tf-idf以及kmeans计算，主要实现企业上下游、供求上下游模型计算  

 第56讲 项目代码：流式计算jar，主要是接受客户端发送到kafka的数据加载模型进行计算  

 第57讲 项目代码：测试模拟jar，主要模拟实现用户加载avro序列化jar写数据到kafka  

 第58讲 Spark on Mesos部署提交参数介绍  

 第59讲 Spark代码提交到Mesos运行（Spark-submit）  

 第60讲 项目整体流程跑通，结果展示  

 第61讲 Spark调优介绍  

 第62讲 基于Spark的机器学习项目-智能客户系统实战课程总结  

 第63讲 实际工作及面试注意问题 

资源下载

此资源下载价格为8学分，VIP免费，请先登录

充值比例 1元=1学分
资源失效，请咨询客服
客服QQ 980264305