JStorm中的并行( parallelismction )介绍

 2023-09-16 阅读 13 评论 0

摘要:JStorm中的并行( parallelismction )介绍 JStrom中。一个计算任务通过多台机器使得计算分解为多个独立并行执行在集群内执行的任务(tasks)。从而得到水平扩展。JStorm中,一个任务(task)就是一个能够执行在集群内不论什么节

JStorm中的并行( parallelismction )介绍

JStrom中。一个计算任务通过多台机器使得计算分解为多个独立并行执行在集群内执行的任务(tasks)。从而得到水平扩展。

JStorm中,一个任务(task)就是一个能够执行在集群内不论什么节点的一个spout或一个bolt实例。


 要了解这个并行怎样工作的。我们首先要了解在JSorm集群内运行一个拓扑所涉及到的4个重要概念:
 

 - 节点(Nodes)/机器(machines):一个JStorm集群包括一到多个节点,这个节点执行一个work。


 - Workers(JVMs):这些是执行在一个节点的独立的JVM进程。

oracle并行parallel,每一个节点能够配置执行一个到多个workers,即多少个JVM进程。


 - Executors(threads):这是执行在一个worker JVM进程的java线程。

Strom中,多个tasks能够执行在一个线程中。

假设没有覆盖相关配置,Strom会一个task一个线程。JStrom中,一个task一个线程。和Storm不一样了。


 - Tasks(bolt/spout实例):Tasks是spouts和bolts的实例,实例方法中的
 nextTuple()和execute()方法会被线程调用。

java parallelStream,
 


----------

----------

配置拓扑的workers

=======

一个拓扑(topology)能够配置多个workers(jvm进程),配置方式:

 

    

> Config config = new Config();
config.setNumWorkers(2);

上面的配置,我们设置了2个workers。默认配置是1,所以我们通常会配置这个參数,以合理利用集群资源。


 
 

Jstorm 的组成(The Components of Jstorm)

=======

 
在Jstorm集群中,集群节点分为两类:主控节点(master node ) 和工作节点(worker nodes)。



主控节点执行者一个守护进程(daemon)称之为Nimbus,它主要负责向集群其他工作节点(worker nodes)分发提交来的代码及分配任务(tasks)。而且监视者每一个任务的成功与失败。

工作节点(worker nodes)也执行者一个守护进程(daemon)称之为Supervisor。它执行一个拓扑(topology)的一部分。

java怎么实现并行、在Jstorm中,一个拓扑(topology)执行在非常多机器上的很多工作节点(worker nodes)上。
Jstorm中各节点被设计成无状态的,而它们组成的集群状态被保存在Zookeeper集群上。所以这些节点能够失败或重新启动而不影响整个系统的健康执行。

Nimbus  --->  Zookeeper --->  Supervisor

相关 博文:JStorm中消息确保处理机制 http://blog.csdn.net/doctor_who2004/article/details/47710331

 JStorm/Strom配置executors和tasks(线程和实例) http://blog.csdn.net/doctor_who2004/article/details/47709945

转载于:https://www.cnblogs.com/yutingliuyl/p/6915994.html

版权声明:本站所有资料均为网友推荐收集整理而来,仅供学习和研究交流使用。

原文链接:https://hbdhgg.com/1/69447.html

发表评论:

本站为非赢利网站,部分文章来源或改编自互联网及其他公众平台,主要目的在于分享信息,版权归原作者所有,内容仅供读者参考,如有侵权请联系我们删除!

Copyright © 2022 匯編語言學習筆記 Inc. 保留所有权利。

底部版权信息