可观察性

了解如何监控 RDI

RDI 使用 Prometheus exporter 终端节点报告有关其作的指标。 您可以使用 Prometheus 连接到终端节点以查询指标并绘制简单的图表,或使用 Grafana 连接到终端节点以生成更复杂的可视化和 仪表 板。

RDI 公开了两个终端节点,一个用于 CDC 收集器指标,另一个用于 另一个用于流处理器指标。 以下各节更详细地介绍了这些量度集。 请参阅 架构概述 有关这些概念的介绍。

注意:
如果您不使用 Prometheus 或 Grafana,您仍然可以看到 RDI 指标与 Redis Insight 中的 RDI 监控屏幕或redis-di status命令。

收集器指标

收集器指标的终端节点为https://<RDI_HOST>/metrics/collector-source

这些指标分为三组:

  • Pipeline state:有关 pipeline 模式和连通性的指标
  • 数据流计数器:每个源表的数据细分计数器
  • 处理性能:RDI 微批量的处理速度

流处理器指标

流处理器指标的终端节点为https://<RDI_HOST>/metrics/rdi

RDI 报告引入管道的两个主要阶段(快照阶段和变更数据捕获 (CDC) 阶段)的指标。(有关更多信息,请参阅管道生命周期文档)。下表显示了 RDI 报告。

度量 阶段
捕获表 双
连接 疾病预防控制中心
上一个事件 双
LastTransactionId 疾病预防控制中心
MilliSecondsBehindSource (毫秒落后源) 疾病预防控制中心
MilliSecondsSinceLastEvent 双
NumberOfCommittedTransactions 疾病预防控制中心
NumberOfEventsFiltered 事件数 双
QueueRemainingCapacity 双
QueueTotalCapacity 双
RemainingTableCount 快照
RowsScanned 快照
快照已中止 快照
快照已完成 快照
快照持续时间以秒为单位 快照
快照暂停 快照
SnapshotPausedDurationInSeconds 快照
快照运行 快照
SourceEventPosition 疾病预防控制中心
TotalNumberOfCreateEventsSeen 疾病预防控制中心
TotalNumberOfDeleteEventsSeen 疾病预防控制中心
TotalNumberOfEventsSeen 事件 双
TotalNumberOfUpdateEventsSeen 疾病预防控制中心
TotalTableCount 快照

RDI 日志

RDI 使用 fluentd 和 logrotate 来传送和轮换日志 用于其 Kubernetes (K8s) 组件。 因此,每当容器化组件被 RDI作器进程或 K8s 删除时, 日志可供您检查。 默认情况下,RDI 将日志存储在主机 VM 文件系统中,网址为/opt/rdi/logs. 日志至少被记录INFO级别,并在它们达到 100MB 大小时进行旋转。 默认情况下,RDI 会保留最近 5 个日志轮换文件。 日志采用简单的文本格式,这使您可以使用多种不同的可观测性工具对其进行分析。 您可以使用redis-di configure-rdi命令。

Dump 支持包

如果您需要向 Redis 支持发送一组全面的取证数据,那么您应该 运行redis-di dump-support-package命令。有关更多信息,请参阅故障排除。