spark.read.jdbc(）的方式：package com.cn.sparkSqlimport java.util.Propertiesimport org.apache.spark.sql.SparkSessionobject Sparksql_mysql {def main(args: Array[String]): Unit = {val spark: SparkSession = SparkSession.builder().master(&

一 设置shuffle的并行度 我们可以通过属性spark.sql.shuffle.partitions设置shuffle并行度 二 Hive数据仓库建设的时候，合理设置数据类型，比如你设置成INT的就不要设置成BIGINT，减少数据类型不必要的内存开销 三 SQL优化 四 并行的处理查询结果 对于S

有不少读者反馈，参考上篇文章《Hive 终于等来了 Flink》部署 Flink 并集成 Hive 时，出现一些 bug 以及兼容性等问题。虽已等来，却未可用。所以笔者增加了这一篇文章，作为姊妹篇。回顾在上篇文章中，笔者使用的 CDH 版本为 5.16.2，其