Apache Storm - 集群架构

  • 简述

    Apache Storm 的主要亮点之一是它是一个容错、快速且没有“单点故障”(SPOF)的分布式应用程序。我们可以根据需要在尽可能多的系统中安装 Apache Storm,以增加应用程序的容量。
    下面我们来看看 Apache Storm 集群是如何设计的以及它的内部架构。下图描述了集群设计。
    zookeeper
    Apache Storm 有两种类型的节点,Nimbus(主节点)和Supervisor(工作节点)。Nimbus 是 Apache Storm 的核心组件。Nimbus 的主要工作是运行 Storm 拓扑(topology)。Nimbus 分析拓扑并收集要执行的任务。然后,它将任务分配给可用的主管。
    主管将有一个或多个工作进程。主管将任务委托给工作进程。工作进程将根据需要生成尽可能多的执行程序并运行任务。Apache Storm 使用内部分布式消息系统来进行 nimbus 和主管之间的通信。
    组件 描述
    Nimbus Nimbus 是 Storm 集群的主节点。集群中的所有其他节点称为worker 节点. 主节点负责在所有工作节点之间分发数据,将任务分配给工作节点并监控故障。
    Supervisor 遵循 nimbus 指令的节点称为监督者。一个supervisor有多个工作进程,它管理工作进程以完成 nimbus 分配的任务。
    worker 进程 工作进程将执行与特定拓扑相关的任务。工作进程不会自行运行任务,而是创建executors并要求他们执行特定任务。一个工作进程将有多个执行者。
    Executor 执行程序只不过是工作进程产生的单个线程。executor 运行一个或多个任务,但仅针对特定的 spout 或 bolt。
    Task 任务执行实际的数据处理。所以,它要么是一个spout,要么是一个bolt。
    ZooKeeper 框架
    Apache ZooKeeper 是集群(节点组)使用的一种服务,用于在它们之间进行协调,并使用强大的同步技术维护共享数据。Nimbus 是无状态的,所以它依赖于 ZooKeeper 来监控工作节点的状态。
    ZooKeeper 帮助主管与 nimbus 进行交互。它负责维护 nimbus 和 supervisor 的状态。
    Storm 本质上是无状态的。尽管无状态特性有其自身的缺点,但它实际上帮助 Storm 以尽可能最好和最快的方式处理实时数据。
    不过, Storm并非完全无国籍。它将其状态存储在 Apache ZooKeeper 中。由于该状态在 Apache ZooKeeper 中可用,因此可以重新启动失败的 nimbus 并使其从其离开的位置开始工作。通常,服务监控工具如monit如果有任何故障,将监视 Nimbus 并重新启动它。
    Apache Storm 还有一个高级拓扑,称为Trident Topology具有状态维护,它还提供了像 Pig 这样的高级 API。我们将在接下来的章节中讨论所有这些特性。