Scala安装。这一阵刚刚接触scala，主要也是用在spark上~完全小白一个，看着Scala感觉与python很像，想着可能比较容易上手，结果……真是需要处理一个就得查一个啊，用python或Java很容易写出来的代码，用scala得查半天，晕死……为

【摘要】 在Spark SQL中使用CarbonData 【准备CarbonData】 在浏览器地址栏输入以下链接,点击"download"按钮下载已经准备好的CarbonData jar包 链接：https://github.com/QiangCai/carbonjars/blob/master/master/apache-carbondata-2.1.0-SNAPSHOT-bin-spark2

摘要：本文主要是通过Spark代码走读来了解spark-submit的流程。 1.任务命令提交 我们在进行Spark任务提交时，会使用“spark-submit -class .....”样式的命令来提交任务，该命令为Spark目录下的shell脚本。它的作用是查询spark-home，调用spark-clas

摘要：为了解决过多依赖 Hive 的问题, SparkSQL 使用了一个新的 SQL 优化器替代 Hive 中的优化器, 这个优化器就是 Catalyst。 本文分享自华为云社区《Spark 开源新特性：Catalyst 优化流程裁剪》，作者：hzjturbo 。 1. 问题背景 上图是典型的Spark

1、各个大大小小的Maillist、官方论坛 2、参考：http://spark.apache.org/community.html#events 目前在中国有4个meetup活动，分别在北京，杭州，上海和深圳，去http://meetup.com上报名参加即可，每次活动都会请到企业内部人员进行实践

作者是通过metastore方式实现spark连接hive数据库，所以首先启动metastore:hive --service metastore另外需要将core-site.xml、hdfs-site.xml、hive-site.xml三个文件复制到的spark/conf文件夹下。image.pngpython socketserver？hive-site.cml中要包含metastore的地址

最近研究了一下时间序列预测的使用，网上找了大部分的资源，都是使用python来实现的，使用python来实现虽然能满足大部分的需求，但是python有一点缺点按就是只能使用一台计算资源进行计算，如果数据量大的时候，就有可能不能胜任，

前言：Spark的运行模式指的是Spark应用程序以怎样的方式运行，单节本地点运行还是多节点集群运行，自己进行资源调度管理还是依靠别人进行调度管理。Spark提供了多种多样，灵活多变的部署模式。spark大型项目实战、一、部署模式这是spark官方给出的ma

mapWithState()可以保存流的状态，并能做到当前rdd和前一段时间的rdd进行比较或者聚合。 当stream调用mapWithState()方法的时候，将会返回一个MapWithStateDStreamImpl。 @Experimental def mapWithState[StateType: ClassTag, MappedType: ClassTag](spec:

JobGenerator中有一个timer成员，根据配置中的时间间隔不断产生GenerateJobs事件来触发job的产生，以成为job产生的起点。Timer通过clock来作为构建时间的依据。oracle定时执行sql、 val clock = {val clockClass = ssc.sc.conf.get("spark.streaming