机房里那台跑了多年的HP DL380G9突然在iLO里同时亮起“Degraded”和“storage Failed”的时候很多运维第一反应都是“完了阵列挂了”。我处理过不少类似案例结论往往是iLO降级和存储失败这两个报错很多时候并不是硬盘一次性全毁而是传感器误报、缓存电容老化、系统电池电压低这些“小毛病”叠加出来的。真正需要换硬件的情况只占一部分更多时候通过日志定位、固件更新、重置状态就能恢复。这篇文章就把我的排查思路和实操过程完整拆开尽量让遇到同样报错的人少走弯路。先说清楚一件事HP DL380G9虽然是老平台但目前在机房里依然大量服役。它的iLOIntegrated Lights-Out带外管理芯片承担着远程开关机、硬件监控、日志记录这些关键职责。当iLO页面里出现“Degraded”字样很多新手会误以为整台服务器都要报废了其实这个状态表示的是某个被监控的组件或者某个冗余能力出了问题范围可能小到一颗主板纽扣电池大到电源模块真正故障。而“storage Failed”这个报错通常来自Smart Storage AdministratorSSA或者系统健康面板它直接指向的是磁盘阵列控制器、物理硬盘、逻辑盘或者缓存模块出现了失败状态。这两个报错同时出现很容易让人误判成“存储控制器损坏导致系统降级”。但在我的经验里两者一起出现时往往是可以分离处理的两个独立故障。这篇文章就是围绕这种组合报错来写的从原理到诊断、从工具到实操、从恢复重建到验证观察尽量形成一套可以直接照着做的流程。不管你是负责老旧服务器的运维还是刚接手这类二手平台的小白这篇内容都能帮你理清思路。1. 先搞清楚报错在说什么iLO Degraded与storage Failed的本质1.1 iLO Degraded到底是指什么iLO是惠普服务器上一颗独立的带外管理处理器它有自己的网络接口、存储芯片和固件相当于服务器主板上“另有一台小电脑”。即使操作系统完全没有启动只要接上电源和网线iLO就能独立工作让你通过浏览器进行远程管理。这也是为什么机房服务器出问题时运维第一件事就是打开iLO页面看状态。iLO的健康摘要页面会显示一个整体状态通常有“OK”“Degraded”“Failed”三档。当显示Degraded时说明iLO自身功能正常但某个被监控的组件或冗余能力未能达到最佳状态。常见触发因素包括某个风扇故障或转速异常导致散热冗余丢失两个电源模块中有一个未安装、未通电或者发生故障导致电源冗余丢失温度传感器、电压传感器读数异常可能是传感器故障也可能是环境温度过高或者主板供电异常系统电池CMOS纽扣电池电压过低影响主板时间和部分非易失数据iLO本身的电池故障导致iLO时间和一些配置信息无法保持硬件清单发生变化后没有正确清虚比如之前拔过内存、硬盘等部件iLO里残留了旧记录iLO固件本身的bug导致的误报这里面系统电池电压低是最容易被忽略的。DL380G9的RTC电池不仅负责保存BIOS时间还会影响硬件监控的最终判断。电池电压不足时某些传感器数据可能被标记为不可靠iLO健康状态就会降级。我见过不少机器换了主板电池之后Degraded状态自动恢复成OK了。1.2 storage Failed这个报错来自哪里storage Failed这个字样一般出现在两个地方一是iLO的存储状态摘要里二是进入SSA界面后看到的阵列状态。SSA是HPE官方的存储管理工具既可以安装在操作系统里也可以在iLO里直接启动在线版本。它的主要作用就是让你看清阵列控制器、逻辑盘、物理硬盘的健康状态。在DL380G9上存储失败通常对应以下几种情况某块物理硬盘故障导致RAID5或RAID1等逻辑盘进入降级状态如果故障盘超过冗余能力逻辑盘就会彻底失败逻辑盘本身状态显示为Failed可能是元数据损坏、控制器无法识别或者有盘离线时间过长阵列控制器Smart Array P440ar/P840等检测到闪存缓存模块FBWC异常常见的是电容失效或者充电不足硬盘背板、线缆或者控制器接口接触不良RAID配置信息丢失控制器无法正常识别逻辑盘在G9这一代机器上FLBWC缓存模块电容老化是高发问题。电容的作用是在服务器突然断电时给缓存芯片提供临时电力让缓存里的数据可以顺利写入硬盘。如果电容老化充不满电或者电量维持不住控制器为了保证数据安全会把阵列状态标记为失败或者降级。这种情况反映在SSA里就是控制器状态异常、缓存模块状态异常但物理硬盘本身可能是健康的。1.3 两个报错为什么会同时出现严格来说iLO Degraded和storage Failed是两个独立的事件但在一台运行多年的服务器上它们经常前后脚出现。这不是巧合而是存在一些共同诱因。最常见的共同诱因是系统电池电压偏低。RTC电池电压过低时iLO会报告Degraded同时阵列控制器读取某些时间戳和状态信息时也可能出现异常间接影响对硬盘、缓存模块健康状态的判断。另一个常见诱因是电源或者散热问题。如果其中一个电源模块没有插好或者故障了iLO会报告电源冗余丢失状态变成Degraded如果这个电源正好也负责给某个硬盘背板分区供电那么这类问题还可能导致部分硬盘掉线进而触发storage Failed。风扇故障也是类似道理温度升高会让控制器更警惕一些传感器读数异常也会被写入日志看似两者同时发生实际是环境恶化后一起爆发。还有一种情况是纯粹的时间巧合。机器用了多年电池、电容、硬盘的寿命都在下降某个时间点先后出问题。所以处理的时候一定要分开排查不能看到storage Failed就直接认为iLO的Degraded也是存储引起的。2. 动手前的准备工具、日志与诊断路径2.1 收集证据iLO的IML日志、AHS日志与当前健康状态在拔盘、换零件之前先把证据收集齐这是排障的基本素养。用到的主要工具和数据来源有这些iLO Web管理界面这个打开浏览器就能访问需要iLO地址和管理员账号Integrated Management LogIML这是iLO里最重要的日志记录了硬件错误、传感器越界、电源事件、固件升级历史等信息用时间线划分得非常清晰Active Health System LogAHS这份日志记录了更多细粒度的健康数据可以用iLO里“Active Health System”页面下载也可以让HPE支持工具去解析Smart Storage AdministratorSSA可以查看和控制所有阵列相关的状态在iLO里可以直接启动在线版本或者下载离线启动镜像ssacli命令行工具如果系统已经装好ESXi、Linux或者Windows直接用系统里的命令行看会更方便在iLO页面上先看“系统信息”-“健康摘要”这里会列出CPU、内存、风扇、电源、温度等所有传感器的当前状态。如果有红色的故障项定位到具体组件如果有黄色降级项也逐一记录下来。然后进“集成管理日志”页面重点看最近几天内有没有硬件错误事件特别是有没有电压、温度、电源、电池相关的记录。AHS日志更适合事后做深度分析里面包含每秒级别的传感器数据和几十种硬件状态的变化。如果现场时间紧张可以先下载一份备用等处理完再慢慢比对。2.2 我推荐的诊断顺序我的习惯是先看iLO日志再进SSA看阵列状态最后把所有问题列成一个清单再动手。无论两个报错看起来多严重都尽量不要在没确认状态的情况下直接重启服务器或者拔硬盘那样反而可能让原本健康的阵列彻底瘫痪。推荐的排查顺序如下打开iLO首页记录当前健康状态哪些传感器是红色或黄色的打开IML日志按时间排列找到最近一次报错的时间和事件描述登录操作系统如果可以或者通过iLO远程控制台观察系统是否仍然正常运行打开SSA查看控制器、逻辑盘、物理硬盘、缓存模块的具体状态对照IML日志时间戳看存储失败发生前是否有电源、温度、电池相关的先兆事件根据问题清单决定处理优先级先处理会导致数据丢失的高危项再处理只需要重置或者更换小零件的问题这个顺序之所以可靠是因为它让证据引导行动而不是凭感觉直接开干。很多故障如果只看结果不看过程很容易把一个小问题误判成硬件报废。3. 实操排障从iLO Degraded到storage Failed的完整处理流程3.1 第一步定位iLO Degraded的根因并处理进入iLO的“系统信息”-“健康摘要”页面后把每一项传感器状态都过一遍。常见情况和对策如下如果显示某个风扇故障打开服务器顶盖检查对应风扇位置看看风扇是否停转或者转速异常。G9的风扇是机箱前半部分的一组热插拔模块单独拆装非常方便。更换风扇后健康状态会在几分钟内自动更新为OK。如果显示电源模块异常先检查两个电源模块的指示灯确认是不是有一个没有通电、没有插好、或者已经故障。如果电源本身有故障灯建议直接更换同型号电源模块。如果只是没插好重新插紧后即可。如果电源策略本来就设定为“无冗余”那就要在iLO的电源管理里调整设置或者接受当前状态。如果显示“系统电池”或者“RTC电池”电压低通常是主板上的纽扣电池没电了。G9主板上有一颗型号为CR2032的电池位置一般在内存插槽附近需要断开服务器电源并打开机箱才能更换。更换的时候注意不要短路主板换完重新开机进入BIOS确认时间正确iLO的健康状态会逐步恢复正常。如果显示的是“iLO电池”异常这指的是iLO芯片用来维持自身时间和大容量存储信息的小型充电电池或电容。G9上这个部件如果损坏通常不是简单更换电池能解决的可能需要主板级别的维修或备件更换。不过这种情况比系统电池故障少见得多真遇到了建议先升级iLO固件试试很多误报可以通过固件更新修掉。如果IML日志里频繁出现传感器误报比如温度数据在一秒内跳变几十度、电压数据无规律波动很可能是固件bug或者传感器接触不良。先把机器断电打开机箱检查主板上的传感器触点清理灰尘重新开机看状态。如果问题依旧就把iLO固件升级到官方最新版本。我见过一台机器在升级iLO固件后所有传感器报警全部消失Degraded状态自动恢复为OK。如果以上都查完了还是找不到原因最后的通用手段是在iLO管理界面里执行“虚拟电源按钮”操作彻底关闭服务器电源再重新通电开机让所有传感器重新初始化。这个方法能清除不少临时性误报但对真实硬件故障无效。如果重新通电后Degraded状态马上又出现那就需要继续深挖硬件了。3.2 第二步定位storage Failed的根因并分离问题处理完iLO层面的报警后马上转到存储侧。打开SSA之前先通过操作系统里的ssacli或者hpssacli命令行快速看一眼ssacli ctrl slot0 show config这个命令会列出控制器信息、逻辑盘状态和物理盘状态。输出里的几个关键标识很直观逻辑盘状态如果是“OK”那问题不大如果是“Degraded”说明某个盘掉了如果是“Failed”则说明逻辑盘已经完全不可用物理盘状态如果是“Online”表示正常出现“Predictive Failure”意味着盘已经监测到某些磁道问题虽然还能用但随时可能挂出现“Failed”就是已经彻底离线了。如果系统进不去也没装ssacli那就直接在iLO界面进入SSA在线版。路径一般是“远程控制台”-“媒体”里挂载SSA镜像或者iLO中直接启动嵌入式的HTML5 SSA入口。看到storage Failed后关键要做的是区分以下三种场景第一种逻辑盘状态Failed物理盘也有一块或多块显示Failed。这种情况最单纯就是物理盘损坏导致逻辑盘失效。如果RAID级别允许例如RAID6你甚至可以直接换盘重建如果是RAID5坏一块以上就比较危险了。处理方式是找到故障盘的物理槽位更换新硬盘然后等待控制器自动或手动触发重建。第二种逻辑盘状态Degraded物理盘显示Predictive Failure或者Failed。这种情况不算彻底失败赶紧找到故障盘用同容量、同类型的新盘替换然后触发重建。重建期间阵列性能会下降但数据还在。第三种物理盘都显示Online或者Unconfigured Good但控制器状态异常或者缓存模块状态显示“0% charge”或者“Failed”。这一般是缓存模块电容老化或者充电不足导致的。遇到这个就需要弄清楚控制器是不是因为缓存数据不可靠而锁定了逻辑盘。常见处理思路是如果是电容老化更换缓存的备用电池模块有些机器是单独的电池模块有些是集成在PCIe卡上如果只是充电不足给服务器断电等待一段时间再通电让电容充一会儿电很多情况下状态就会恢复。但注意如果缓存里有未落盘的数据断电前尽量让系统正常关机或者等电容充电到一定比例后再操作。3.3 第三步恢复阵列并触发重建假设你已经确定了故障盘并更换了新盘或者清理完缓存模块状态之后阵列单元仍然显示Degraded或Failed那就需要进入SSA手动处理。如果是逻辑盘处于“Failed”但物理盘全部在线且健康可以尝试在SSA里对逻辑盘执行“Extend”或者“Controller Rebuild”或者在命令行中使用ssacli ctrl slot0 ld 1 modify reenable这个命令可以重新使能处于失败状态的逻辑盘。如果逻辑盘是降级状态目标就是替换故障盘后让控制器自动进入重建。大部分情况下新盘插入后控制器会自动检测并开始重建SSA或者命令行下可以看到重建进度。ssacli ctrl slot0 show rebuild如果控制器没有自动触发重建手动指定物理盘ssacli ctrl slot0 pd 1 modify rebuild重建过程需要时间取决于磁盘容量和IO负载。比如一块4TB的SATA盘在负载不高的情况下可能需要五六个小时企业级SAS盘快一些。重建期间尽量不要再做大规模读写更不能再拔盘否则会再次掉线甚至导致重建失败数据彻底损坏。如果逻辑盘是Failed状态物理盘有Failed盘需要先让新盘被识别再重新配置逻辑盘。这里要特别提醒千万别在没确认数据可放弃的情况下执行“删除逻辑盘”操作。如果你的数据已经备份或者这个逻辑盘就是临时存储那直接在SSA里删掉重建最快。否则优先尝试换盘重建和手动启用逻辑盘实在不行再考虑数据恢复工具或者联系专业数据恢复服务。3.4 第四步验证与持续观察阵列重建完成后不要急着关页面。回到iLO健康摘要确认所有传感器状态是否已经从黄色或红色恢复成“OK”。再进一次IML日志查看是否有新的恢复记录正常情况下日志里会新增“控制器已恢复”“逻辑盘状态恢复为OK”之类的信息。然后验证一遍存储系统是否能正常读取数据。在操作系统里对逻辑盘进行读写测试简单做法是复制一个大文件进去再读出来比对校验值。测试数据不要影响生产数据可以在逻辑盘的空闲空间里操作。最后还需要观察一段时间。如果是电容老化问题可能在几周后再次出现充电不足的告警如果是硬盘预测性故障新盘也会有自己的寿命周期如果是固件问题更新后暂时恢复也可能在某个特定条件下再次触发误报。建议把服务器加入监控系统重点关注iLO的传感器状态、系统日志里的存储事件以及每块硬盘的SMART信息。发现问题时早点处理比等到爆炸再救场要轻松得多。4. 高频问题与避坑经验速查4.1 常见现象与对应处理速查表为了让你在处理现场能快速对照我把常见的现象、可能原因和处理动作整理成了一个速查表方便截图或者打印放机房现象常见原因处理动作iLO显示Degraded电源冗余丢失第二个电源未插电、电源故障、电源策略为非冗余检查电源指示灯重新插紧或更换调整电源策略iLO显示Degraded风扇故障单个风扇停转或转速过低更换对应风扇模块清理灰尘iLO显示Degraded系统电池电压低CR2032纽扣电池没电断电更换主板电池重设BIOS时间iLO显示Degraded传感器读数无规律跳变固件bug或传感器接触不良升级iLO固件清理传感器触点灰尘iLO健康正常但storage Failed缓存模块电容老化或充电不足断电静置让电容充电或更换缓存电池模块storage Failed某个物理盘状态Failed硬盘物理损坏找到对应槽位更换同容量同类型硬盘并触发重建storage Failed逻辑盘状态Degraded故障盘已掉线但逻辑盘还能用尽快换盘启动重建避免再次掉盘storage Failed所有物理盘在线但逻辑盘Failed逻辑盘元数据异常或缓存状态异常先尝试enable逻辑盘再检查缓存模块状态必要时联系数据恢复阵列重建成功后iLO仍然旧报警iLO页面缓存或者事件记录未刷新刷新页面清空IML日志或在iLO里执行“清除所有日志”后观察这些处理动作都是我实际验证过有效的通用思路但每一台机器都有自己具体的固件版本和硬件配置动手之前先确认官方手册或备件兼容性避免误操作。4.2 几条实操避坑笔记第一不要在系统运行时直接拔插硬盘就算机器支持热插拔我也建议先通过软件把硬盘“下线”或者“准备移除”确认盘位无误后再物理拔出。没有这一步很容易因静电、接口接触不良或者误拔导致更多问题。第二换盘之前一定要核对盘位和序列号。DL380G9的硬盘托架上有LED指示灯故障盘一般会亮橙色或者闪烁。但有些时候指示灯因背板故障不亮这时就靠SSA里的信息了在SSA里选中故障盘通常会有“Locate”按钮点亮对应槽位的定位灯这是最稳妥的方式。第三FBWC电容问题处理时别太着急。如果你刚给服务器断电又重新通电电容初始充电状态显示0%是正常的需要一段时间。这种情况下如果立即开机并快速进入SSA可能会看到缓存模块状态异常等你等个十到二十分钟再看状态往往会恢复到正常百分比。我的经验是如果物理盘都健康逻辑盘也没动过那就在电容充上电后再重新评估。第四对老旧机器来说升级固件是解决怪问题的灵药之一。无论是iLO固件、系统ROMBIOS还是阵列控制器的固件都建议从官方渠道下载最新稳定版。升级前看好release notes确认没有已知回归问题并且确保服务器通电稳定电池状态正常最好是接上UPS再进行升级。升级过程中断电对阵列控制器和iLO来说都是灾难。第五重置iLO或者清除IML日志不会影响阵列数据但会让你失去宝贵的诊断信息。我一般建议在彻底恢复健康状态之前先保留IML日志和AHS日志即使要清也先把日志导出到本地。等到一切恢复正常了再清掉日志给自己一个干净的起点。最后说一个我从多次事故里学到的经验遇到Degraded和storage Failed这种组合报错千万不要慌更不要第一时间去评价硬件“彻底报废”然后急着下单备件。先把日志拉出来把状态记录完整分步排查很多问题其实只是电池、电容、固件这类边缘因素。真正需要换盘换控制器的时候有了前期的完整记录你和备件方沟通起来也更清楚能少走很多弯路。希望这篇内容能帮你在下次看到这两个报错时心里有底手里有招。