QQ在线客服
免费咨询热线
400-615-1233
工作时间-工作日
8:30-17:30
获得更多惊喜
1立封
1平封

Spark技术与应用

意见反馈 分享 阅读 0
需要更多信息,请联系杨　洋 
校企合作，以“电量统计”为主线
  • 类　　别：计算机系列
  • 书　　名：Spark技术与应用
  • 主　　编：王晓燕 袁帅
  • 定　　价：55
  • 开　　本：16开
  • 印刷方式：双色
  • 页　　数：276
  • 时　　间：2025年2月
  • 出  版  社：中国矿业大学出版社
  • 书　　号：978-7-5646-6599-9

内容摘要

        全书共分为九个任务，分别是搭建Spark开发环境、项目数据采集、探索Scala编程方法、揭秘弹性分布式数据集、Spark SQL——数据融合分析、Spark Streaming——实时智能分析、数据可视化——让数据说话、基于Spark GraphX 与MLlib 的智能化场景应用以及综合实践——区域用电分析项目。
        本书可作为大数据专业相关课程的教材，也可供大数据爱好者和从业者学习参考。

目录

任务一 搭建Spark 开发环境
一、任务说明 1
（一）学习目标 1
（二）思维导图 2
二、知识引入 2
（一）Spark 概述 2
（二）Spark 整体架构 3
（三）Spark 运行流程 4
（四）Spark 和Hadoop 的对比 5
（五）Spark 发展历程 6
三、任务实现 7
（一）安装虚拟机软件与虚拟机 7
（二）安装远程服务器管理工具 14
（三）安装JDK 17
（四）搭建Hive 环境 19
（五）安装Spark 分布式独立集群 24
四、知识拓展——基于Spark 技术的国家数字化发展战略引擎 31
五、任务考评 32
六、任务实训 33
 
任务二 项目数据采集
一、任务说明 35
（一）学习目标 35
（二）思维导图 36
 二、知识引入 36
（一）数据采集的概念和常用工具 36
（二）数据采集的多元视角与深度实践 37
（三）Sqoop 概述 38
（四）Flume 概述 39
三、任务实现 40
（一）Sqoop 安装 40
（二）获取电力离线数据 42
（三）Flume 安装 45
（四）准备电力实时数据 46
四、知识拓展——数据采集是大数据平台建设的关键数据入口 49
五、任务考评 50
六、任务实训 51
 
任务三 探索Scala 编程方法
一、任务说明 53
（一）学习目标 53
（二）思维导图 54
二、知识引入 54
（一）Scala 简介 54
（二）Scala 基础语法 56
（三）Scala 数据结构 61
（四）面向对象编程 62
（五）模式匹配与样例类 64
三、任务实现 67
（一）Scala 的下载安装 67
（二）统计某日某省电量使用总量 76
（三） 按日对电量使用量分组 78
（四）按照指定日期查询电量使用量 79
四、知识拓展——Scala 语言在大数据开发领域的广泛应用 80
五、任务考评 81
六、任务实训 82
 
任务四 揭秘弹性分布式数据集
一、任务说明 85
（一）学习目标 85
（二）思维导图 86
二、知识引入 86
（一）RDD 技术介绍 86
（二）RDD 算子处理 90
（三） RDD 分区和依赖 96
（四）持久化与容错 101
三、任务实现 104
（一） 以电力数据创建RDD 106
（二） 查询电力使用最多的5 个日期 108
（三）输出电力使用数据的总使用量 111
（四）输出每个日期电力的平均使用量 113
（五） 将汇总后的电力统计数据存储为文本文件 117
四、知识拓展——RDD 作为Spark 架构的基础支持各类应用场景 120
五、任务考评 121
六、任务实训 122
 
任务五 Spark SQL——数据融合分析
一、任务说明 125
（一）学习目标 125
（二）思维导图 126
 二、知识引入 126
（一）Spark SQL 基础 126
（二）DataFrame 基础 128
（三）DataSet 基础 138
（四）常用操作 142
三、任务实现 143
（一）以电力数据创建DataFrame，按字段查询数据 143
（二）使用电力按日使用数据创建DataSet，分组统计省份用电量 146
（三）使用Spark-sql 对电力数据按日期计算用电量，并按日期倒序 149
（四）使用Spark-sql 对电力数据计算单日地市用电量最小值 152
（五）使用Spark-sql 对电力数据计算月份电力使用量，并求出最大使用量 155
（六）使用Spark-sql 对电力数据按地市和日期求和，并保存结果到HIVE 中 158
（七）使用Spark-sql 对电力数据计算按省份月电力使用，并保存到MySQL 161
四、知识拓展——Spark SQL 是大数据离线批量处理的有力工具 165
五、任务考评 165
六、任务实训 167
 
任务六 Spark Streaming——实时智能分析
一、任务说明 169
（一）学习目标 169
（二）思维导图 170
二、知识引入 170
（一）Spark Streaming 基础 170
（二）DStream 基础 172
三、任务实现 180
（一）使用DStream 处理电力使用数据 180
（二）Spark Streaming 对每5 分钟窗口内的实时用电量求和 184
（三）Spark Streaming 接收实时电力数据流，并将处理后的数据保存到HIVE 187
四、知识拓展——国内大厂在实时处理领域大量使用Spark Streaming 实现 192
五、任务考评 192
六、任务实训 193
 
任务七 数据可视化——让数据说话
一、任务说明 195
（一）学习目标 195
（二）思维导图 196
二、知识引入 196
（一）数据可视化基础 196
（二）数据可视化的图表类型 197
（三）图表设计原则 198
（四）数据可视化的常见工具 200
三、任务实现 201
（一）可视化环境搭建 201
（二）各省月度用电量的趋势对比 205
四、知识拓展——数据可视化是国家和企业数据驱动决策的重要手段 212
五、任务考评 213
六、任务实训 214
 
任务八 基于Spark GraphX 与MLlib 的智能化场景应用
一、任务说明 217
（一）学习目标 217
（二）思维导图 218
二、知识引入 218
（一）初识Spark GraphX 218
（二）初识Spark MLlib 221
三、任务实现 223
（一）Spark GraphX 基于人物数据构建人物关系 223
（二）Spark MLlib 之随机森林及其案例 235
四、知识拓展——图计算和机器学习是大数据处理的高级应用方向 239
五、任务考评 241
六、任务实训 242
 
任务九 综合实践——区域用电分析项目
（一）需求分析 245
（二）模拟数据的生成 245
（三）模型设计 251
（四）数据抽取 252
（五）数据计算 253
（六）数据可视化实现 256
 
参考文献

主编信息

◎王晓燕，副教授，郑州电力高等专科学校，曾多次荣获河南省骨干教师,河南文明教师。获得2021年河南省教学能力大赛二等奖，第二作者身份获得河南省教学成果二等奖1项，主持省级教研项目1项，厅局级科研项目3项，河南省信息化成果获奖8项，发表论文12篇，出版教材多部。
◎袁帅，副教授，郑州电力高等专科学校副院长，全国职业技能大赛裁判、河南省技术能手、河南省青年岗位能手、河南省骨干教师、河南省“双师型”教师。发表论文20余篇，省级、校级教科研课题立结项10余项，获得河南省教学成果二等奖、全国电力职业教育教学成果奖二等奖，主编、参编教材3本。指导学生参加职业技能竞赛、一带一路暨金砖国家技能发展与技术创新大赛、“互联网+”和“挑战杯”创新创业大赛，获国家级、省级以上奖项10余项。

相关图书

  • Web前端技术

    Web前端技术

    主编：冉孟廷

    本书介绍Web前端开发基础知识，共分10个模块，内容包括前端开发技术综述、HTML基础知识、HTML5基础知识、HTML5的进阶应用、CSS样式

    ￥59.9
  • 大数据技术基础

    大数据技术基础

    主编：袁帅 冯明卿

    全书共包括12个模块，分别是大数据概论、Hadoop基础知识、HDFS分布式文件系统、YARN资源管理调度框架、MapReduce分布式并行计算框

    ￥45
  • 办公自动化技术可视化教程 （第2版）（Windows 7+Office 2010）

    办公自动化技术可视化教程 （第2版）（Windows 7+Office 2010）

    主编：邵杰

    本书全面介绍办公自动化工作中所需要掌握的常用办公软件的操作、常用办公设备的使用与维护，以及网络的有关知识。全书采用详实的图

    ￥66
  • 信息技术实验指导（Windows 10+Office 2016）

    信息技术实验指导（Windows 10+Office 2016）

    主编：刘晓瑜 刘淑芳 乔海珍

    本书是《信息技术基础》的配套实验指导书。本书以Windows 10为操作平台，共分为信息技术应用基础、文档处理、电子表格处理、演示

    ￥26
  • 信息技术基础（Windows 10+Office 2016）

    信息技术基础（Windows 10+Office 2016）

    主编：陈淑敏

    本书全面讲解了现阶段信息技术发展的新理念、新方法和新技术，除了讲解基础的计算机办公软件（Word、Excel、PowerPoint）应用以外

    ￥48
  • 信息技术（WPS Office）

    信息技术（WPS Office）

    主编：杨战旗 杨迁迁 张兰

    本书是十四五职业教育河南省规划教材。本书共分为8个项目，分别是信息技术概述、文档处理、电子表格处理、演示文稿制作、计算机网

    ￥55
  • 实用电工技术

    实用电工技术

    主编：程勇

    本书立足于实践和应用能力培养的原则，结合职业资格证书中电工技能要求，确定项目模块和教学内容，同时结合编者多年的项目式教学和

    ￥58
  • 单片机应用技术项目式教程（汇编语言）

    单片机应用技术项目式教程（汇编语言）

    主编：范兴文 狄春红

    本书共 24 个项目，主要内容包括认识单片机、单片机最小系统绘制、点亮一个LED、LED闪烁及延时程序、启停按钮的应用、用调用子程

    ￥48
  • 电气控制技术

    电气控制技术

    主编：轩建举 张坤平

    本书共4 个项目，内容包括三相异步电动机、电动机基本控制线路、电动机 PLC 控制线路、工业控制常用设备。 本书可作为职业院

    ￥49.8
  • 信息技术实验指导（Windows 10+Office 2016）

    信息技术实验指导（Windows 10+Office 2016）

    主编：凌明胜 朱利华

    本书是《信息技术》（北邮，朱利华 凌明胜）的配套用书。本书包含实验和习题检测两部分。实验部分共包括24个上机实验，以真实典型

    ￥35