一 性能优化点 # 提升并行度，就意味着有更多的分区，也就意味着有更多的task.当然不是越多越好，结合实际情况 spark，# 对多次使用的RDD进行缓存，可以减少不必要的计算 # 使用序列化的持久化机制，这样可以减少内存占用以及GC开销 # Java虚拟

1.4 程序开发调优Spark 性能优化的第一步，就是要在开发 Spark 作业的过程中注意和应用一些性能优化的基本原则。开发调优，就是要让大家了解以下一些 Spark 基本开发原则，包括：RDD 血统(lineage)设计、算子的合理使用、特殊操作的优化等。在开发过

一、问题 使用spark join两张表（5000w*500w）总是出错，报的异常显示是在shuffle阶段。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 14/11/2712:05:49ERROR storage.DiskBlockObjectWriter: Uncaught exceptionwhilereverting partial writes to f