小苏子
小苏子PDF在线图书

Spark机器学习 内容简介

Spark机器学习 内容简介

Spark机器学习 目录

Spark机器学习 精彩文摘

Apache Spark是一个分布式计算框架,专为满足低延迟任务和内存数据存储的需求而优化。现有并行计算框架中,鲜有能兼顾速度、可扩展性、内存处理以及容错性,同时还能简化编程,提供灵活、表达力丰富的强大API的,Apache Spark就是这样一个难得的框架。本书介绍了Spark的基础知识,从利用Spark API来载入和处理数据,到将数据作为多种机器学习模型的输入。此外还通过详细的例子和现实应用讲解了常见的机器学习模型,包括推荐系统、分类、回归、聚类和降维。另外还介绍了一些高阶内容,如大规模文本数据的处理,以及Spark Streaming下的在线机器学习和模型评估方法。如果你是一名Scala、Java或Python开发者,对机器学习和数据分析感兴趣,并想借助Spark框架来实现常见机器学习技术的大规模应用,那么本书便是为你而写。有Spark的基础知识,但并不要求你有实践经验。通过学习本书,你将能够:用Scala、Java或Python语言编写你的一个Spark程序;获取公开的机器学习数据集,以及使用Spark对数据进行载入、处理、清理和转换;借助Spark机器学习库,利用协同过滤、分类、回归、聚类和降维等常见的机器学习模型来编写程序;编写Spark函数来评估你的机器学习模型的性能;了解大规模文本数据的处理方法,包括特征提取和将文本数据作为机器学习模型的输入;探索在线学习方法,利用Spark Streaming来进行在线学习和模型评估。《Spark机器学习》每章都设计了案例研究,以机器学习算法为主线,结合实例探讨了Spark 的实际应用。书中没有让人抓狂的数据公式,而是从准备和正确认识数据开始讲起,全面涵盖了推荐系统、回归、聚类、降维等经典的机器学习算法及其实际应用。第1 章 Spark 的环境搭建与运行 11.1 Spark 的本地安装与配置 21.2 Spark 集群 31.3 Spark 编程模型 41.3.1 SparkContext类与SparkConf类 41.3.2 Spark shell 51.3.3 弹性分布式数据集 61.3.4 广播变量和累加器 101.4 Spark Scala 编程入门 111.5 Spark Java 编程入门 141.6 Spark Python 编程入门 171.7 在Amazon EC2 上运行Spark 181.8 小结 23第2 章 设计机器学习系统 242.1 MovieStream 介绍 242.2 机器学习系统商业用例 252.2.1 个性化 262.2.2 目标营销和客户细分 262.2.3 预测建模与分析 262.3 机器学习模型的种类 272.4 数据驱动的机器学习系统的组成 272.4.1 数据获取与存储 282.4.2 数据清理与转换 282.4.3 模型训练与测试回路 292.4.4 模型部署与整合 302.4.5 模型监控与反馈 302.4.6 批处理或实时方案的选择 312.5 机器学习系统架构 312.6 小结 33第3 章 Spark 上数据的获取、处理与准备 343.1 获取公开数据集 353.2 探索与可视化数据 373.2.1 探索用户数据 383.2.2 探索电影数据 413.2.3 探索评级数据 433.3 处理与转换数据 463.4 从数据中提取有用特征 483.4.1 数值特征 483.4.2 类别特征 493.4.3 派生特征 503.4.4 文本特征 513.4.5 正则化特征 553.4.6 用软件包提取特征 563.5 小结 57第4 章 构建基于Spark 的推荐引擎 584.1 推荐模型的分类 594.1.1 基于内容的过滤 594.1.2 协同过滤 594.1.3 矩阵分解 604.2 提取有效特征 644.3 训练推荐模型674.3.1 使用MovieLens 100k 数据集训练模型 674.3.2 使用隐式反馈数据训练模型 684.4 使用推荐模型 694.4.1 用户推荐 694.4.2 物品推荐 724.5 推荐模型效果的评估 754.5.1 均方差 754.5.2 K 值平均准确率 774.5.3 使用MLlib 内置的评估函数 814.6 小结 82第5 章 Spark 构建分类模型 835.1 分类模型的种类 855.1.1 线性模型 855.1.2 朴素贝叶斯模型 895.1.3 决策树 905.2 从数据中抽取合适的特征 915.3 训练分类模型 935.4 使用分类模型 955.5 评估分类模型的性能 965.5.1 预测的正确率和错误率 965.5.2 准确率和召回率 975.5.3 ROC 曲线和AUC 995.6 改进模型性能以及参数调优 1015.6.1 特征标准化 1015.6.2 其他特征 1045.6.3 使用正确的数据格式 1065.6.4 模型参数调优 1075.7 小结 115第6 章 Spark 构建回归模型 1166.1 回归模型的种类 1166.1.1 最小二乘回归 1176.1.2 决策树回归 1176.2 从数据中抽取合适的特征 1186.3 回归模型的训练和应用 1236.4 评估回归模型的性能 1256.4.1 均方误差和均方根误差 1256.4.2 平均绝对误差 1266.4.3 均方根对数误差 1266.4.4 R-平方系数 1266.4.5 计算不同度量下的性能 1266.5 改进模型性能和参数调优 1276.5.1 变换目标变量 1286.5.2 模型参数调优 1326.6 小结 140第7 章 Spark 构建聚类模型 1417.1 聚类模型的类型 1427.1.1 K-均值聚类 1427.1.2 混合模型 1467.1.3 层次聚类 1467.2 从数据中提取正确的特征 1467.3 训练聚类模型 1507.4 使用聚类模型进行预测 1517.5 评估聚类模型的性能 1557.5.1 内部评价指标 1557.5.2 外部评价指标 1567.5.3 在MovieLens 数据集计算性能 1567.6 聚类模型参数调优 1567.7 小结 158第8 章 Spark 应用于数据降维 1598.1 降维方法的种类 1608.1.1 主成分分析 1608.1.2 奇异值分解 1608.1.3 和矩阵分解的关系 1618.1.4 聚类作为降维的方法 1618.2 从数据中抽取合适的特征 1628.3 训练降维模型 1698.4 使用降维模型 1728.4.1 在LFW数据集上使用PCA投影数据 1728.4.2 PCA 和SVD 模型的关系 1738.5 评价降维模型 1748.6 小结 176第9 章 Spark 高级文本处理技术 1779.1 处理文本数据有什么特别之处 1779.2 从数据中抽取合适的特征 1779.2.1 短语加权表示 1789.2.2 特征哈希 1799.2.3 从20 新闻组数据集中提取TF-IDF 特征 1809.3 使用TF-IDF 模型 1929.3.1 20 Newsgroups 数据集的文本相似度和TF-IDF 特征 1929.3.2 基于20 Newsgroups 数据集使用TF-IDF 训练文本分类器 1949.4 评估文本处理技术的作用 1969.5 Word2Vec 模型 1979.6 小结 200第10 章 Spark Streaming 在实时机器学习上的应用 20110.1 在线学习 20110.2 流处理 20210.2.1 Spark Streaming 介绍 20210.2.2 使用Spark Streaming 缓存和容错 20510.3 创建Spark Streaming 应用 20610.3.1 消息生成端 20710.3.2 创建简单的流处理程序 20910.3.3 流式分析 21110.3.4 有状态的流计算21310.4 使用Spark Streaming 进行在线学习 21510.4.1 流回归 21510.4.2 一个简单的流回归程序 21610.4.3 流K-均值 22010.5 在线模型评估 22110.6 小结 2241.1 Spark 的本地安装与配置Spark能通过内置的单机集群调度器来在本地运行。此时,所有的Spark进程运行在同一个Java虚拟机中。这实际上构造了一个独立、多线程版本的Spark环境。本地模式很适合程序的原型设计、开发、调试及测试。同样,它也适应于在单机上进行多核并行计算的实际场景。Spark的本地模式与集群模式完全兼容,本地编写和测试过的程序仅需增加少许设置便能在集群上运行。

赞(0)
未经允许不得转载:小苏子图书 » Spark机器学习 内容简介