storm ui指标有哪些

Storm UI 指标有哪些

Apache Storm 是一个分布式实时计算系统，广泛应用于实时数据处理、流式计算等场景。Storm 提供了一个用户界面（UI），用于监控和管理 Storm 集群的运行状态。通过 Storm UI，用户可以查看拓扑（Topology）的运行情况、任务的执行状态、资源的消耗情况等。本文将详细介绍 Storm UI 中常见的指标及其含义，帮助用户更好地理解和监控 Storm 集群的运行状态。

1. 拓扑概览（Topology Summary）

在 Storm UI 的首页，用户可以看到所有正在运行的拓扑的概览信息。每个拓扑的概览信息包括以下几个关键指标：

1.1 拓扑名称（Topology Name）

拓扑的名称，通常由用户在提交拓扑时指定。

1.2 拓扑状态（Status）

拓扑的当前状态，常见的状态包括： - ACTIVE：拓扑正在正常运行。 - INACTIVE：拓扑处于非活动状态，可能被手动暂停。 - KILLED：拓扑已被终止。

1.3 运行时间（Uptime）

拓扑从启动到当前时间的运行时长。

1.4 任务数（Num Workers）

拓扑中运行的 Worker 进程数量。Worker 是 Storm 集群中执行任务的进程，每个 Worker 可以运行多个任务。

1.5 任务数（Num Executors）

拓扑中正在运行的 Executor 数量。Executor 是 Storm 中执行任务的线程，每个 Executor 可以执行一个或多个任务。

1.6 任务数（Num Tasks）

拓扑中正在运行的任务数量。任务是 Storm 中实际执行数据处理的最小单位。

1.7 吞吐量（Throughput）

拓扑的吞吐量，通常以每秒处理的消息数（messages per second）表示。

1.8 延迟（Latency）

拓扑处理消息的平均延迟时间，通常以毫秒为单位。

2. 拓扑详情（Topology Details）

点击某个拓扑的名称，可以进入该拓扑的详情页面。详情页面提供了更详细的指标信息，帮助用户深入了解拓扑的运行情况。

2.1 Spout 指标

Spout 是 Storm 拓扑中的数据源组件，负责从外部数据源读取数据并将其发送到拓扑中。Spout 的常见指标包括：

• Emitted：Spout 发送的消息总数。
• Transferred：Spout 发送的消息中，成功传输到下游 Bolt 的消息数量。
• Complete Latency：Spout 发送的消息从发出到被完全处理的平均延迟时间。
• Acked：Spout 发送的消息中，被成功确认（Acked）的消息数量。
• Failed：Spout 发送的消息中，处理失败的消息数量。

2.2 Bolt 指标

Bolt 是 Storm 拓扑中的数据处理组件，负责接收 Spout 或其他 Bolt 发送的数据并进行处理。Bolt 的常见指标包括：

• Emitted：Bolt 发送的消息总数。
• Transferred：Bolt 发送的消息中，成功传输到下游 Bolt 的消息数量。
• Execute Latency：Bolt 处理消息的平均执行时间。
• Process Latency：Bolt 处理消息的平均处理时间，包括执行时间和等待时间。
• Acked：Bolt 处理的消息中，被成功确认（Acked）的消息数量。
• Failed：Bolt 处理的消息中，处理失败的消息数量。

2.3 Worker 指标

Worker 是 Storm 集群中执行任务的进程，每个 Worker 可以运行多个任务。Worker 的常见指标包括：

• Uptime：Worker 的运行时间。
• Heap Used：Worker 进程使用的堆内存大小。
• Heap Size：Worker 进程的堆内存总大小。
• Non-Heap Used：Worker 进程使用的非堆内存大小。
• Non-Heap Size：Worker 进程的非堆内存总大小。
• Num Executors：Worker 中运行的 Executor 数量。
• Num Tasks：Worker 中运行的任务数量。

2.4 Executor 指标

Executor 是 Storm 中执行任务的线程，每个 Executor 可以执行一个或多个任务。Executor 的常见指标包括：

• Emitted：Executor 发送的消息总数。
• Transferred：Executor 发送的消息中，成功传输到下游 Bolt 的消息数量。
• Execute Latency：Executor 处理消息的平均执行时间。
• Process Latency：Executor 处理消息的平均处理时间，包括执行时间和等待时间。
• Acked：Executor 处理的消息中，被成功确认（Acked）的消息数量。
• Failed：Executor 处理的消息中，处理失败的消息数量。

2.5 Task 指标

Task 是 Storm 中实际执行数据处理的最小单位。Task 的常见指标包括：

• Emitted：Task 发送的消息总数。
• Transferred：Task 发送的消息中，成功传输到下游 Bolt 的消息数量。
• Execute Latency：Task 处理消息的平均执行时间。
• Process Latency：Task 处理消息的平均处理时间，包括执行时间和等待时间。
• Acked：Task 处理的消息中，被成功确认（Acked）的消息数量。
• Failed：Task 处理的消息中，处理失败的消息数量。

3. 集群概览（Cluster Summary）

Storm UI 还提供了集群的概览信息，帮助用户了解整个 Storm 集群的运行状态。集群概览的常见指标包括：

3.1 Supervisor 数量（Num Supervisors）

集群中正在运行的 Supervisor 数量。Supervisor 是 Storm 集群中的工作节点，负责启动和管理 Worker 进程。

3.2 Worker 数量（Num Workers）

集群中正在运行的 Worker 进程数量。

3.3 任务数（Num Executors）

集群中正在运行的 Executor 数量。

3.4 任务数（Num Tasks）

集群中正在运行的任务数量。

3.5 吞吐量（Throughput）

集群的吞吐量，通常以每秒处理的消息数（messages per second）表示。

3.6 延迟（Latency）

集群处理消息的平均延迟时间，通常以毫秒为单位。

4. 日志和错误信息（Logs and Errors）

Storm UI 还提供了查看拓扑和 Worker 的日志信息的功能，帮助用户排查问题。用户可以通过 Storm UI 查看以下日志信息：

• Topology Logs：拓扑的日志信息，包括 Spout 和 Bolt 的日志。
• Worker Logs：Worker 进程的日志信息，包括 Worker 的启动日志、错误日志等。
• Error Logs：拓扑和 Worker 的错误日志信息，帮助用户快速定位问题。

5. 总结

Storm UI 提供了丰富的指标信息，帮助用户监控和管理 Storm 集群的运行状态。通过 Storm UI，用户可以查看拓扑的运行情况、任务的执行状态、资源的消耗情况等。本文详细介绍了 Storm UI 中常见的指标及其含义，希望能够帮助用户更好地理解和监控 Storm 集群的运行状态。

在实际使用中，用户可以根据这些指标来优化拓扑的性能，调整资源配置，排查问题等。通过合理利用 Storm UI 提供的指标信息，用户可以确保 Storm 集群的高效稳定运行。