JobGenerator中有一个timer成员，根据配置中的时间间隔不断产生GenerateJobs事件来触发job的产生，以成为job产生的起点。Timer通过clock来作为构建时间的依据。oracle定时执行sql、 val clock = {val clockClass = ssc.sc.conf.get("spark.streaming

一、问题 使用spark join两张表（5000w*500w）总是出错，报的异常显示是在shuffle阶段。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 14/11/2712:05:49ERROR storage.DiskBlockObjectWriter: Uncaught exceptionwhilereverting partial writes to f