+关注我们
您的位置:首页 > 大数据实战工具Spark

大数据实战工具Spark

课程详情

1、学习目标

1. 学习Spark配置,掌握Spark集群部署;

2. 学习RDD和Scala,掌握Spark调优和应用开发;

3. 掌握Spark Streaming、Spark Sql使用技巧;

4. 学习MLib、SparkR和其他Spark生态组件;


2、学习对象

计算机专业背景的学生;

大数据工程师;


3、讲师介绍

罗老师,12年开始从事hadoop领域技术研究,14年专职从事spark技术研究与开发,目前在企业里从事spark相关工作,同时负责企业的内训,主讲spark部分。在14年夏做为Hadoop培训讲师,曾参与过广州汇丰银行的高级Hadoop课程(HbaseSpark)培训,并与该企业中的一些学员互留联系方式并保持长期技术上的联系。曾参与EASYHADOOP社区1411月活动,演讲《spark介绍及SPARKSQL应用》,获得学员和与会者的好评并有长期的技术层面联系。另外和知名IT培训网站北风网和PPV网合作在录制spark培训的视频


4、学习内容

第一讲_spark简介


Ø spark介绍

Ø Sparkhadoop的比较

Ø Spark的使用场景介绍

Ø spark软件栈

Ø 动手搭建一个最简单的spark集群

Ø 运行例子程序SparkPi

实战:单节点的spark部署和运行SparkPi


第二讲_spark部署模式介绍


Ø Spark部署模式OverView

Ø Spark启动过程详解

Ø Spark集群部署之Standalone

Ø Spark集群部署之Spark on Yarn

Ø Spark集群部署之Spark on Mesos

实战:完全分布式的spark standalonespark on yarn模式的动手实战


第三讲_spark集群硬件,开发语言和java版本的选择


Ø spark集群硬件配置

Ø spark开发的语言选择

Ø Java版本的选择

第四讲_sparkrdd及其操作介绍


Ø RDD介绍及创建

Ø RDD的操作

Ø RDD函数传递

Ø 闭包

Ø shuffle介绍

Ø RDD的持久化

Ø 共享变量

Ø 常用transformationactionAPI介绍

Ø spark-shell里动手实战wordcount及常用API

Ø Scala介绍

实战:动手在Sparkshell中编写wordcountlinecount,以及动手实验常用的RDD操作。

第五讲_SparkSQLDataFrame讲解


Ø SparkSQL简介

Ø SparkSQLDataframeSave&Load

Ø SparkSQLDataframe介绍及创建

Ø SparkSQLDataframeParquet

Ø SparkSQLDataframeJson&HiveTables

Ø SparkSQLDataframeJDBC&PerformanceTuning&Cli&ThriftServer

实战:SparksqlDataframe创建,配置,SparkSQL连接hive,及ThriftServer.


第六讲_SparkStreamingDStream介绍


Ø SparkStreamingdemo和介绍

Ø DStreamDataSource

Ø DStreamTransformationoutput

Ø DStream持久化,checkpoint,以及和DataFrame的交互

Ø SparkStreaming应用的部署和监控

实战:1) Spark Streaming应用的监控与分析


第七讲_SparkStreaming性能调优,容错和Kafka集成


Ø SparkStreaming的性能调优

Ø SparkStreaming的容错

Ø SparkStreamingKafka的集成


第八讲__SparkSQL项目实战之文本比对

实战:在spark上开发一个文本比对的SparkSQL的应用


第九讲_SparkStreaming+SparkSQL+Kafka项目实战开发

实战:在第八讲的基础上,继续开发一个sparkstreaming结合sparksqlkafka的流数据处理应用


第一章 SparkTraining1_Spark简介
第二章 SparkTraining2_spark部署模式介绍
第三章 spark集群硬件,开发语言和java版本的选择
第四章 spark的rdd及其操作介绍
第五章 SparkSQL及DataFrame讲解
第六章 SparkStreaming和DStream介绍
第七章 SparkStreaming性能调优,容错和Kafka集成
第八章 SparkSQL项目实战之文本比对
第九章 SparkTraining9_SparkSQL与SparkStreaming,Kafka实战项目结合开发
资料下载
名称 大小

最近学习的学员

教师

    老师头像-PPV课
PPV课讲师
专注大数据教学,可视化工具应用
资料修改成功!
确定

小V: 点击这里给我发消息

Jedis:点击这里给我发消息

关闭