锐捷S5750C交换机CPU利用率高

关键词:

接口异常、CPU高、光模块、pt_notify.0

一、故障现象描述

S5750C-28GT4XS-H出现CPU利用率高达87.9%的情况,并产生日志告警。具体日志如下:
*Mar 7 20:52:39: %RG_SYSMON-4-CPU_WATERMARK_HIGH: TOP 1: pid is 2618, task name is pt_notify.0, run in core 0, cpu usage 87.9%

二、故障排查分析

  1. 通过LOG打印以及“show process cpu nonzero hide”命令,判断是pt_notify进程导致CPU高
  1. 通过show int link-stat-change sta查看接口UP/DOWN统计,发现没有频繁的接口UP/DOWN
  1. 由于上层未看到接口有频繁的UP/DOWN,因此进入设备底层看show int 判断底层Link中断统计,看link计数持续在增加,判断有接口存在频繁震荡,需要继续排查可能的原因2和3。
  1. 通过查看在用光接口的光衰都处于正常的状态,排除可能原因2,继续排查可能原因3。
  2. 设备有个端口插了光模块但是并未接上光纤使用,当把对应光模块拔除之后,CPU利用率恢复正常,说明这个端口的光模块接触不良导致接口存在频繁震荡。

三、故障根因说明

通过上述分析,CPU升高的原因是设备上的光模块和端口接触不良,导致设备pt_notify进程CPU利用率高。

四、故障解决方案

更换对应异常光模块。

五、故障总结

故障信息收集方式总结
show process cpu nonzero hide 判断具体CPU高的进程
show int link-stat-change sta查看接口是否有频繁UP/DOWN的现象
通过系统底层查看接口link的通告统计
run-system-shell
debug-ssa
show int (间隔5s一次,一次收集多次)多次
阅读剩余
THE END