广东职业技术学院图书馆书目检索系统

Online Public Access Catalogue

题名/责任者:

Spark性能调优与原理分析/吕云翔，郭宇光编著

出版发行项:

北京:清华大学出版社,2020

ISBN及定价:

978-7-302-55509-4/CNY69.90

载体形态项:

293页;26cm

个人责任者:

吕云翔 (1963-) 编著

个人责任者:

郭宇光 编著

学科主题:

数据处理软件

中图法分类号:

TP274

提要文摘附注:

本书主要介绍了Spark运行原理及性能调优的相关实践，从Spark框架内部及外部运行环境等不同角度分析Spark性能调优的过程。第1章介绍了Linux系统中各种监控工具的使用，对CPU、内存、网络、I/O等方面进行介绍，并提供了集群监控报警的解决方案。第2章介绍了Java虚拟机(JVM)的基本知识、垃极回收机制，以及对JVM运行状态的监控。第3章和第4章介绍了Spark内核架构、任务运行的流程，对各个组件的实现进行了深入的剖析。尤其在Spark内存管理、存储原理、Shuffle阶段，详细介绍了每个实现的细节，这些实现的细节为后期Spark性能调优提供了参数调节的理论依据。第5章介绍了Spark性能调优的详细实践过程，首先介绍了SparkUI和Spark日志的使用，通过这两项可以迅速定位瓶颈问题；然后根据定位的问题，分别从程序调优、资源调优、Shuffle过程调优等不同角度介绍了调优的实践过程。

豆瓣简介：