Storm 简介

Storm 是一个分布式的，可靠的，容错的数据流处理系统。
它把工作任务委托给不同类型的组件，每个组件负责处理一项简单特定的任务。
Storm 集群的输入流由一个被称作 spout 的组件管理，spout 把数据传递给 bolt， bolt 要么把数据保存到某种存储器，要么把数据传递给其它的 bolt。一个 Storm 集群就是在一连串的 bolt 之间转换 spout 传过来的数据。

应用案例

在 Storm 集群中，有两类节点：主节点 master node 和工作节点 worker nodes。

主节点运行着一个叫做 Nimbus 的守护进程。这个守护进程负责在集群中分发代码，为工作节点分配任务，并监控故障。

Supervisor守护进程作为拓扑的一部分运行在工作节点上。一个 Storm 拓扑结构在不同的机器上运行着众多的工作节点。

因为 Storm 在 Zookeeper 或本地磁盘上维持所有的集群状态，守护进程可以是无状态的而且失效或重启时不会影响整个系统的健康（见图1-2）

在系统底层，Storm 使用了 zeromq(0mq, zeromq(http://www.zeromq.org ))。这是一种先进的，可嵌入的网络通讯库，它提供的绝妙功能使 Storm 成为可能。下面列出一些 zeromq 的特性。

• 一个并发架构的 Socket 库
• 对于集群产品和超级计算，比 TCP 要快
• 可通过 inproc（进程内）, IPC（进程间）, TCP 和 multicast(多播协议)通信
• 异步 I / O 的可扩展的多核消息传递应用程序
• 利用扇出(fanout), 发布订阅（PUB-SUB）,管道（pipeline）, 请求应答（REQ-REP），等方式实现 N-N 连接

注意: Storm 只用了 push/pull sockets

Storm 的特性

在所有这些设计思想与决策中，有一些非常棒的特性成就了独一无二的 Storm。