《Spark内核机制解析及性能调优》

涛涛博士读书 2026-01-20 18:58:15
Spark建立在抽象的RDD之上,要理解Spark,就需要理解 RDD。本书详细讲述了RDD的功能及内部实现的机制,通过剖析源代码引导读者深人理解Spark集群部暑的内部机制、Spark内部调度机制、Executor的内部机制和Shuffle的内部机制,进而讲述了"钨丝计划"的内部机制。本书的最后一章是任何Spark应用者都非常关注的Spark性能调优内容。通过学习本书,可以使读者对Spark内核有更加深人的理解,从而实现对Spark系统深度调优、Spark生产环境下故障的定位和排除,以及Spark的二次开发和系统高级运维。 本书适合于对大数据开发有兴趣的在校学生。同时,对于有分布式计算框架应用经验的人员,本书也可以作为Spark源代码解析的参考书籍。

0 阅读:2
涛涛博士读书

涛涛博士读书

感谢大家的关注