摘要：为了解决过多依赖 Hive 的问题, SparkSQL 使用了一个新的 SQL 优化器替代 Hive 中的优化器, 这个优化器就是 Catalyst。 本文分享自华为云社区《Spark 开源新特性：Catalyst 优化流程裁剪》，作者：hzjturbo 。 1. 问题背景 上图是典型的Spark

摘要：结构上Hive On Spark和SparkSQL都是一个翻译层，把一个SQL翻译成分布式可执行的Spark程序。 本文分享自华为云社区《Hive on Spark和Spark sql on Hive有啥区别？》，作者：dayu_dls 。 结构上Hive On Spark和SparkSQL都是一个翻译层

作者是通过metastore方式实现spark连接hive数据库，所以首先启动metastore:hive --service metastore另外需要将core-site.xml、hdfs-site.xml、hive-site.xml三个文件复制到的spark/conf文件夹下。image.pngpython socketserver？hive-site.cml中要包含metastore的地址

前言：Spark的运行模式指的是Spark应用程序以怎样的方式运行，单节本地点运行还是多节点集群运行，自己进行资源调度管理还是依靠别人进行调度管理。Spark提供了多种多样，灵活多变的部署模式。spark大型项目实战、一、部署模式这是spark官方给出的ma

Sprak中，线程之前的交互采用eventLoop模型。 当JobGenerate中的clock达到触发新一次job生成的时间后，并不会直接驱动graph去生成job，而是通过往eventLoop中发送一个JobGenerate事件以触发job生成事件的产生。 private val eventQueue: BlockingQueue[E]

Spark的中，通过netty实现了类似akka的actor机制。 在spark中，一个EndPointData就类似一个akka中的actor。 private class EndpointData(val name: String,val endpoint: RpcEndpoint,val ref: NettyRpcEndpointRef) {val inbox = new Inbox(ref, endpoint)

Spark 系列（一）—— Spark 简介 一、简介 Spark 于 2009 年诞生于加州大学伯克利分校 AMPLab，2013 年被捐赠给 Apache 软件基金会，2014 年 2 月成为 Apache 的顶级项目。相对于 MapReduce 的批处理计算，Spark 可以带来上百倍的性能提升&#x