一 设置shuffle的并行度 我们可以通过属性spark.sql.shuffle.partitions设置shuffle并行度 二 Hive数据仓库建设的时候，合理设置数据类型，比如你设置成INT的就不要设置成BIGINT，减少数据类型不必要的内存开销 三 SQL优化 四 并行的处理查询结果 对于S

一 性能优化点 # 提升并行度，就意味着有更多的分区，也就意味着有更多的task.当然不是越多越好，结合实际情况 spark，# 对多次使用的RDD进行缓存，可以减少不必要的计算 # 使用序列化的持久化机制，这样可以减少内存占用以及GC开销 # Java虚拟

Hive是将符合SQL语法的字符串解析生成可以在Hadoop上执行的MapReduce的工具。 使用Hive尽量按照分布式计算的一些特点来设计sql，和传统关系型数据库有区别， 所以需要去掉原有关系型数据库下开发的一些固有思维。 基本原则： 1：尽量尽早地过滤数据