“挑”灯看故障 服务器故障解决实例

发表于:2007-07-13来源:作者:点击数: 标签:
我们有一台Sun E250 服务器 ,主要用作WWW发布用。一直以来运行比较稳定,但是前一段时间重启了该服务器一次后,发现这台服务器前面板的6个LED指示灯中中间的那两个指示灯常亮,而以前没有发现这种现象,基本上可以定位为告警指示。我到SUN的网站上下载了E25

我们有一台Sun E250服务器,主要用作WWW发布用。一直以来运行比较稳定,但是前一段时间重启了该服务器一次后,发现这台服务器前面板的6个LED指示灯中中间的那两个指示灯常亮,而以前没有发现这种现象,基本上可以定位为告警指示。我到SUN的网站上下载了E250服务器的手册,查了一下,了解到那个扳手一样的LED指示灯(图1)

 

 

 

 

图1

在系统运行时亮表示检测到系统错误(任何可能的错误)。那个温度计一样的LED指示灯(图2)亮表示系统温度过高。

 

 

 

图2

知道了LED指示灯带给我们的错误信息以后,我们就开始从机房的环境温度、操作系统故障这两方面来着手解决问题。

机房环境温度:

我们机房是采用中央空调和独立空调两套空调系统,可以有效的保证室内的环境温度,即使在夏天最热的时候,也可以将温度调节到二十度左右,而且和这台WWW服器并排放在一齐的还有两台同型号的服务器,它们就没有温度过高的告警。

操作系统故障:

通过查看/var/adm下的messages文件,发现确实有温度过高的日志记录

 

Aug 31 19:17:18 ns unix: WARNING:
            TEMPERATURE WARNING: 63 degrees celsius at location CPU0
            Aug 31 19:23:33 ns unix: NOTICE:
            TEMPERATURE NORMAL: all sensors back to normal readings

再查看/var/log目录下的syslog文件,发现有大量重复的告警信息出现,如下:

 

Aug 31 14:35:45 ns sendmail[19588]: NOQUEUE:
            [202.112.174.17] did not issue
            MAIL/EXPN/VRFY/ETRN during connection to MTA

由此可以基本上判断出是由于这个主机被当作了垃圾邮件的转发器,被某些恶意主机大量利用sendmail程序发送邮件造成了系统负担过重(我们的邮件服务器(同样是是Solaris操作系统,已经利用增加SMTP认证功能有效的杜绝了垃圾邮件的转发,但是这台WWW服务器默认启动了sendmail邮件服务,但是又没有实现SMTP认证功能。在Solaris7中文版中是无法成功的配置SMTP认证的,我们的邮件服务器是在升级到Solaris8以后才配置成功SMTP认证,我们的WWW服务器目前还没有升级到Solaris8,这个漏洞造成了WWW服务器的负担过重,而这个频繁使用的进程竟然是发送垃圾邮件),好了,知道这个问题,我们就可以从手解决了。

第一步,利用ps -ef | grep sendmail查出sendmail的进程号,再用“kill 进程号”命令杀掉sendmail进程。

第二步,不让sendmail进程随系统启动自动启动,用以下命令实现:

 

cd /etc/rc2.d
            mv S88sendmail s88sendmail

以上两步完成后,再去WWW服务器那儿一看,告警指示灯就不亮了,经过了近一个星期的观察,也没有再出现类似的告警。这个问题成功解决。

原文转自:http://www.ltesting.net