admin 管理员组

文章数量: 887021

一、 处理linux系统故障的思路

作为一名优秀的linux运维工程师,一定要有一套清晰、明确的解决故障思路,当问题出现时,才能迅速定位、解决问题,在开始本文学习之前,我根据多年工作和处理问题和故障的经验,总结出了一套处理问题的一般思路,供大家参考:1、 重视报错提示信息:每个错误的出现,都是给出错误提示信息,一般情况下这个提示基本定位了问题的所在,因此一定要重视这个报错信息,如果对这些错误信息视而不见,问题永远得不到解决。

2、 查阅日志文件:有时候报错信息只是给出了问题的表面现象,要想更深入的了解问题,必须查看相应的日志文件,而日志文件又分为系统日志文件(/var/log)和应用的日志文件,结合这两个日志文件,一般就能定位问题所在。

3、 分析、定位问题:这个过程是比较复杂的,根据报错信息,结合日志文件,同时还要考虑其它相关情况,最终找到引起问题的原因。

4、 解决问题:找到了问题出现的原因,解决问题就是很简单的事情了。

从这个流程可以看出,解决问题的过程就是分析、查找问题的过程,一旦确定问题产生的原因,故障也就随之解决了。看似简单明了的思路,但是真正能重视这个思路的、按照这个思路处理问题的却很少,衷心的希望大家在处理故障的时候,能静下心来,先整理思路,然后有目的的去处理问题。

二、 忘记linux root密码或进入单用户方法

这个问题出现的几率是很高的,也是linux运维最基础的技能,要解决这个问题,在linux下非常简单,只需重启linux系统,然后引导进入linux的单用户模式(init 1)就可以搞定了,由于单用户模式是不需要输入登录密码的,因此,可以直接登录系统,修改root密码即可解决问题。

目前企业线上环境,最常用的Linux就是centos6.x和7.x版本,那么这里首先以RHEL/Centos6.x版本为例,介绍下如何进入单用户并重置root密码,操作步骤如下:

1、 重启系统,待linux系统启动到grub引导菜单时,按esc键,找到当前系统引导选项,如图所示:如果有多个可用内核,这里就有多个引导选项。

2、 通过方向键将光标放到需要使用的系统引导内核选项上,然后按键盘字母“e”,进入编辑状态,如图所示:

3、然后通过上下键,选中带有kernel指令的一行,继续按键盘字母“e”,编辑该行,在行末尾加个空格,然后添加single,类似下图所示:

4、 修改完成,按回车键,返回到刚才的界面。

5、 最后按键盘“b”,系统开始引导。

这样系统就启动到了单用户模式下,这里的单用户与windows下的安全模式类似,在单用户模式下,只是启动最基本的系统,网络以及应用服务均不启动。单用户模式启动完毕,系统会自动进入到命令行状态下,然后直接执行命令“passwd”,接着敲回车,系统会提示输入新的root密码两次,最后会看到修改密码成功的提示,这样就完成了root密码的修改。如果需要正常启动系统,现在只需输入“init 3”,就进入了多用户模式。用root用户重新登录系统,看看设置的新密码是否生效。

在RHEL/Centos7.x版本之后,Linux的机制发生了较大变化,在系统引导方面,使用了grub2代替了之前的grub引导,init初始化程序也更换成了systemd初始化,随之带来的root密码重置的方法也有所改变,,下面就介绍一下在Centos7.5版本中,忘记root密码的处理方法,操作步骤如下:

1、 重启系统,待linux系统启动到grub2引导菜单时,找到当前系统引导选项,如果有多个可用内核,这里就有多个引导选项,按e键,如下图所示:

2、 按e键后,出现如下图所示界面,通过方向键将光标放到linux16引导行所在行尾,然后添加以下内容:init=/bin/sh

3、 添加完成,按键Ctrl+x启动shell引导,最后进入单用户模式。

4、 挂载根分区为可读写模式,执行如下命令:mount -o remount,rw /

然后,就可以执行“passwd”命令重置密码了,这里有一点需要注意,如果系统中开启有selinux,还需在根分区创建autorelabel文件,否则系统无法正常启动,操作命令如下:

touch /.autorelabel

5、密码修改完成后,直接执行reboot命令已经无效,此时需要输入全路径命令,操作如下:exec /sbin/init

这样就完成了密码重置,正常登录系统,查看密码是否修改成功。

三、 linux系统无法启动的解决办法

导致linux无法启动的原因有很多,常见的原因有如下几种:1、 文件系统配置不当,比如/etc/inittab文件、/etc/fstab文件等配置错误或丢失,导致系统错误,无法启动。

2、 非法关机,导致root文件系统破坏,也就是linux根分区破坏,系统无法正常启动

3、 Linux内核崩溃,从而无法启动

4、 系统引导程序出现问题,比如grub丢失或者损坏,导致系统无法引导启动。

5、 硬件故障,比如主板、电源、硬盘等出现问题,导致linux无法启动。

从这些常见的故障可知,导致系统无法启动的主要有两个问题,硬件原因和操作系统原因,对于硬件出现的问题,只需通过更换硬件设备,即可解决,而对于操作系统出现的问题,虽然出现的问题可能千差万别,不过在多数情况下都可以用相对简单统一的一些方法来恢复系统,下面我们就针对上面提出的几个问题,结合RHEL/Centos Linux系统环境,给出一些常用的、普遍的解决问题的方法。

3.1、/etc/fstab文件丢失,导致系统无法启动

/etc/fstab文件存放了系统中文件系统的相关信息,如果正确的配置了该文件,那么在linux启动时,系统会读取此文件,自动挂载linux的各个分区,如果此文件配置错误,或者丢失,就会导致系统无法启动,具体的故障现象是在检测mount partition时出现:starting system logger

此后系统启动就停止了。

针对这个问题,我们的第一思路就是想办法恢复/etc/fstab这个文件的信息,只要恢复了此文件,系统就能自动挂载每个分区,正常启动。可能很多读者首先想到的是将系统切换到单用户模式下,然后手动挂载分区,最后结合系统信息,重建/etc/fstab文件。但是这种方法是行不通的,因为fatab文件丢失导致linux无法挂载任何一个分区,即使linux还能切换到单用户下,那么此时的系统也只是一个read-only的文件系统,无法向磁盘写入任何信息。

我们介绍另外一个方法,就是利用linux rescue修复模式登录系统,进而获取分区和挂载点信息,重构/etc/fstab文件。

这里以Centos6.9为例,其它版本方法类似,首先将系统第一章光盘放入光驱,设置BOIS从光驱启动,这样系统就从光驱引导,如下图所示,选择“Rescue installed system”一项,然后回车,系统开始引导进入rescue模式。

接着系统自动开始引导,进入下图所示画面:

这里是选择模式使用的语言,可以按照自己需要设定,我们这里选择“English“,然后按tab键,选中“ok”,回车进入下一步。

下面进入的是键盘选择界面,如下图所示,这里选择默认的“us”即可。

下面进入网络配置界面,如下图所示:

这里是选择是否启用网络,由于系统已经无法启动,我们已经在linux系统上进行操作了,启用网络与否都无所谓。这里选择不启用。

下面到了最关键的步骤了,如下图所示,修复模式会自动将系统的所有分区挂载到/mnt/sysimage目录下,选择“Continue”,则修复环境进入到read-write状态下,可以对分区进行读写操作,选择“Read-Only”,修复环境进入到只读模式,由于我们要重建fstab文件到/etc目录下,因此选择“Continue”进入可读写模式下。

下面是一个友情提示界面,如下图所示,由于fstab文件丢失,修复模式找不到任何可挂载的分区,从这里可知,修复模式在这里也读取/etc/fstab文件,回车,进入下一步。

下面是选择下一步要执行的动作,如下图所示,这里选择“shell Start shell”进入修复模式命令行。

最后,就进入了修复环境下,可以进行操作了。如下图所示

上面详细演示了如何进入linux的修复模式,其实很多情况下,linux无法启动时,都可以通过这个方式登录系统进行修复和更改操作。

下面是恢复/etc/fstab文件的详细过程,首先查看一下系统分区情况,如下所示:bash-4.1# fdisk -l

Disk /dev/sda: 42.9 GB, 42949672960 bytes

255 heads, 63 sectors/track, 5221 cylinders

Units = cylinders of 16065 * 512 = 8225280 bytes

Device Boot Start End Blocks Id System

/dev/sda1 * 1 25 200781 83 Linux

/dev/sda2 26 1300 10241437+ 83 Linux

/dev/sda3 1301 1682 3068415 83 Linux

/dev/sda4 1683 5221 28427017+ 5 Extended

/dev/sda5 1683 1873 1534176 83 Linux

/dev/sda6 1874 2064 1534176 83 Linux

/dev/sda7 2065 2255 1534176 83 Linux

/dev/sda8 2256 2382 1020096 83 Linux

/dev/sda9 2383 2484 819283+ 82 Linux swap / Solaris

/dev/sda10 2485 5221 21984921 83 Linux

因为分区并没有损坏,通过fdisk命令可以查看到系统分区的完整信息,但是每个分区对应的label name信息我们还不知道,下面通过tune2fs命令查看每个分区对应的label name:bash-4.1# tune2fs -l /dev/sda1 |grep mounted

Last mounted on: /boot

bash-4.1# tune2fs -l /dev/sda2 |grep mounted

Last mounted on: /usr

bash-4.1# tune2fs -l /dev/sda3 |grep mounted

Last mounted on: /

bash-4.1# tune2fs -l /dev/sda5 |grep mounted

Last mounted on: /var

bash-4.1# tune2fs -l /dev/sda6 |grep mounted

Last mounted on: /tmp

bash-4.1# tune2fs -l /dev/sda7 |grep mounted

Last mounted on: /home

bash-4.1# tune2fs -l /dev/sda8 |grep mounted

Last mounted on: /opt

bash-4.1# tune2fs -l /dev/sda10 |grep mounted

Last mounted on: /data

这样,就得到了所有分区的挂载点信息,接下来就可以构造一个fstab文件了。小技巧:可以参考其它系统中fstab文件的格式,结合本系统的分区和挂载点信息,构造出自己的fstab文件来。

由于fstab文件是存放在系统根目录下的,因此需要挂载原来系统的根分区,从上面可知根分区对应的设备名为/dev/sda3,接着在修复模式创建的临时根分区下创建一个

挂载点,然后挂载原来系统的根分区。操作过程如下所示:bash-4.1# pwd

/

bash-4.1# mkdir temp

bash-4.1# mount /dev/sda3 /temp

bash-4.1# df

Filesystem 1K-blocks Used Available Use% Mounted on

/dev 515644 0 515644 0% /dev

/tmp/loop0 79872 79872 0 100% /mnt/runtime

/dev/sda3 2972268 259916 2558932 10% /temp

这样以来,原有根分区的文件全部挂载到了/temp目录下,接着就可以创建我们需要的fstab文件了。

重构好的fstab文件内容如下:bash-4.1# cat /temp/etc/fstab

LABEL=/ / ext4 defaults 1 1

LABEL=/boot /boot ext4 defaults 1 2

devpts /dev/pts devpts gid=5,mode=620 0 0

tmpfs /dev/shm tmpfs defaults 0 0

LABEL=/home /home ext4 defaults 1 2

LABEL=/opt /opt ext4 defaults 1 2

proc /proc proc defaults 0 0

sysfs /sys sysfs defaults 0 0

LABEL=/data /data ext4 defaults 1 2

LABEL=/usr /usr ext4 defaults 1 2

LABEL=/var /var ext4 defaults 1 2

LABEL=SWAP-sda9 swap swap defaults 0 0

配置完毕,保存退出,然后重启系统,看系统是否能正常启动。bash-4.1#reboot

3.2、CentOS下误删除/boot目录修复方法

这个问题经常发生在新手、研发身上,误删除的原因很多,但是并不重要,作为专业背锅侠,要的就是误删除后怎么回复,一起来看下这个现象吧,看下图:

出现这个情况,可能的原因有:系统引导出现问题、/boot目录误删除、grub配置错误。

不管是什么原因,这里给个终极方法,也就是一定能解决问题的方法,保证大家屡试不爽。要解决这个问题,还是要用到一个centos的U盘镜像或者光盘镜像,通过系统镜像进入rescue修复模式,然后就可以大展拳脚了。

下面看看如何在centos7.x版本下,进入rescue修复模式,然后修复系统引导。

首先通过系统镜像盘进入系统引导模式,如下图所示:

然后选择Troubleshooting,回车进入下图界面:

这里选择"Rescue a Centos system", 回车,进入如下界面:

这是进入rescue修复模式的几个选项,跟centos6.x版本类似,这里选择数字1,进入可读、写模式。

等待片刻,即可进入下图所示界面:

敲回车,进入命令行模式,然后执行chroot命令,如下图所示:

这样,就变更多了root目录下,相当于进入到了真实系统环境下了。

接着,将系统镜像挂载到任意一个目录下,这里挂载到/mnt下,挂载系统镜像的目的是将系统镜像作为yum源,然后安装系统丢失的内核模块,并安装grub2引导程序。bash-4.2# mount /dev/cdrom /mnt

下面开始创建一个yum源仓库,用于从本地系统镜像中读取rpm包,进行内核模块的安装。如下图所示:

重点来了,第一步是重新安装内核,这里使用yum 的reinstall命令,千万别用install来安装,执行如下命令:bash-4.2# yum reinstall kernel

这样,内核模块安装完成了,接下来,还需要重新安装grub2,并重新生成 grub2 配置文件 grub.cfg,执行如下图所示操作:

执行完成后,两次执行exit命令退出后,系统会自动重启,完成boot引导的修复,不出意外的话,系统已经可以畅通无阻的启动了。

四、 Linux系统无响应(死机)问题分析Linux服务器在长期运行后,难免出现无响应现象,俗称“死机”。在系统死机后,屏幕一般会输出故障信息,键盘失去响应,这种情况的常见处理办法就是重启系统,不过在重启前,要重点关注下屏幕的输出信息,因为其提示的可能是引起死机的主要原因,对解决问题是有很大帮助的。

其实还有另一个方法,就是通过串口直连线连接客户机和服务器,将服务器的出错详细信息发送到客户机上。

引起服务器死机的原因有很多,但主要有两个方面:软件问题和硬件问题。下面总结了造成Linux系统死机的常见原因和解决问题的思路:1)系统硬件问题,主要是有SCSI卡、主板、RAID卡、HBA卡、网卡、硬盘等硬件设备导致的。在这种情况下需要定位硬件故障细节,通过更换硬件来解决问题。

2)外围硬件问题,主要是网络问题导致的。此时就需要检查网络设备、网络参数等方面查找和解决问题。

3)软件问题,主要是系统内核bug、应用软件bug、驱动程序bug等。在这种情况下就需要从升级内核、修复程序bug、更新驱动程序等方面来解决问题。

4)系统设置问题:主要是系统参数设置不当导致,可以通过恢复系统到默认状态,关闭防火墙等方面来解决问题。

五、其它故障的一般解决方案

如果是linux的引导程序出现问题,那么也可以通过光盘引导或U盘引导的方式进入linux rescue模式,然后修改对应的引导程序或者重新安装引导程序。

如果linux内核崩溃或者丢失,同样可以先进入linux rescue模式下,然后加载root分区,最后重新编译内核。

如果出现了最坏的情况,文件系统破坏严重,同时内核也崩溃,那么此时重新安装系统反而比较容易,在这种情况下可以先将linux上有用的数据和文件备份转移到其它设备,然后对整个文件系统进行全新安装。

在这里我们不可能对每个出现的问题,都给出详细的解决方案,问题都是千差万别的,每个问题的处理都不尽相同,本专栏要传授给大家的是当linux系统出现问题后,解决问题的一般思路和通用策略,熟练掌握了这些技巧,处理任何linux问题都能游刃有余。

本文标签: 单用户 系统故障 模式 收藏 Linux