• 一、服务器入侵现象

• 二、服务器排查和处理
• 2.1、服务器被入侵的可能原因
• 2.2、排查和处理步骤

• 三、本次入侵需要带来启示的点

• 四、本次服务器被入侵的一些启示

一、服务器入侵现象

二、服务器排查和处理

2.1、服务器被入侵的可能原因

1. 服务器 ssh 密码 设置得很简单。

2. 腾讯云安全组范围放得很大。

3. 使用了宝塔，宝塔面板的密码也是很简单的密码(应该不是这个入侵入口)。

2.2、排查和处理步骤

ps -ef / top 找出占用进程最大的服务
问题现象
ps/top 命令 已经被替换了。

查找详细的入侵痕迹 last 或者 grep 'Accepted' /var/log/secure。
问题现象
我们在这里就可以看到，有一些境外IP 34.215.138.2 成功登录了，这些 IP不是我们的正常登录。 在 /var/log/secure 日志里，我看到了 IP 34.215.138.2 尝试登录不到500次 就已经破解成功了。
处理措施
这里我们立马采取了第一个措施，
在腾讯云安全组限制了 SSH 的登录IP， 之前的安全组 SSH 是放行所有IP。
将 SSH ROOT 密码修改。
/root/.ssh/authorized_keys 备份，并清空。
这时我们就遇到了权限的问题，这个晚点展开讲，因为我们已经限制了源IP， 所以这个我们可以晚点来处理。

查看最近新增的一些用户
问题现象
cat /etc/passwd
处理措施
锁定用户

我这里不计划去找进程（已经在新建一台版本一致的系统， 来拷贝 top 和 ps 命令，需要一小会，我们趁这个时间，先看看其他），因为之前朋友重启过服务器，发现服务器启动过一会才会负载较高。我认为入侵者应该放了一些定时任务和启动脚本里面。
问题现象
定时任务
crond 读取配置文件会从以下几个路径读取：
• /var/spool/cron/ , 由crontab -e 进行写入，配置文件无需指定用户
• /etc/crontab ，只能root 进行编辑，配置文件需指定用户
• /etc/cron.d/ ,在此文件夹下创建定时任务文件，配置文件需指定用户
• /etc/cron.*
/var/spool/cron/ 未找到(后面会说到这里有障眼法)
/etc/crontab 未找到(后面会说到这里有障眼法)
但是我在 /var/log/cron 一直看到有任务执行。每间隔5分钟。
处理措施
这里我们先做的操作就是，先把 /usr/lib/mysql/mysql 和 /sbin/httpss 给删除。删除的时候还是提示没有权限。我们知道这些文件应该是加琐了，所以我开始解锁，我们发现 chattr 也被替换和锁住了。 所以不能操作下去了。
开机启动脚本
/etc/rc.local ， 我们也发现了一个脚本。
但是这个文件好像不存在的，我们就把这个给注释了。

还原更改了 top、ps、chattr、lsattr.
首先我们从相同版本的机器拷贝了 chattr、lsattr， 我们得先操作这个， 因为我们的 top 和 ps 都被锁住了。
我将文件上传至 /tmp 目录，然后增加可执行权限，然后先给 /usr/bin/chattr 解除锁定。
执行完之后，发现还是不能替换 /usr/bin/chattr。 最后耗费了一段时间才反应到，入侵者可能不仅仅加锁了文件还加锁了 /usr/bin/。
解锁目录
这下才能把 /usr/bin/chattr 给替换掉。
接下来参考这些，我们把 top 和 ps 、lsattr 给还原了。
部分截图

三、本次入侵需要带来启示的点

ps 、top 、chattr 、lsattr
在这些命令被替换了，并且我们想还原又还原不了的场景，我们可以拷贝同版本的机器相同的命令放在其它目录，用这些命令来解除入侵者将它已经替换并锁定了文件。 注意有些入侵者不仅会在文件层面加锁，还会在当前的文件的目录这一层加锁。我之前在这个上面困惑了一段时间。

文件内容隐藏
上文中，我执行 crontab -l 和 cat 查看 /etc/cron.d/ 下面的文件。发现文件没有内容。
其实不知道使用了什么特殊字符还是什么隐藏了， 其实是存在定时任务的。
示例：

其中一个脚本。
我们可以看到这个脚本其实一直在 更改 /etc/ld.so.preload 的内容。 并且在关闭一些扫描软件和系统的服务。
我已经删除了 /usr/local/lib/libprocesshider.so 文件，之后每次执行命令会有这个报错。
我在清空文件 /etc/ld.so.preload 之后，我发现好了一会后，还是出现这个，我再看 /etc/ld.so.preload 文件，里面又写了 /usr/local/lib/libprocesshider.so ，我怀疑还有定时任务，但是我找了一会定时任务，还是没有找到。 后面在查看异常进程的时候，我看到了这个进程
发现这个脚本的就是一直在循环执行上面内容。 将这个进程 kill 后，然后删除脚本。

四、本次服务器被入侵的一些启示

用好云厂家的安全组。对一些关键端口，放行规则尽量最小/

服务器相关的一些密码尽量增加复杂性。

增加对一些关键文件的监控. (通过监控软件监控 md5值)
• /etc/passwd
• /etc/shadow
• /etc/group
• /root/.bash_history
• /root/.ssh/authorized_keys
• /etc/ssh/sshd_config
• /etc/profile
• /var/spool/cron/root
• /etc/crontab
• /etc/ld.so.preload
• /etc/rc.local
• lsof
• ps
• netstat
• top
• ls
• pstree
• last
• history
• sudo
• password
• chattr
• lsattr

服务器入侵之后，我们需要怎么处理才是最好的。
服务器如果有开放SSH 远程登录，可以设置限制登录(安全组、或者服务)，只放行自己的IP. 查找详细的入侵痕迹 last 或者 grep 'Accepted' /var/log/secure
服务器如果可以关闭外网，就关闭外网。 在安全组层面设置下，或者路由或者NAT。
首先看下 ps/top 命令有没有被篡改， 如果有的话， 从其他正常的机器上拷贝至服务器上。 然后执行查看异常进程。也要查询下 /etc/ld.so.preload 是否有被篡改。如果有的的话，记得清空里面的内容，然后将对应的文件删除或者重命名。
如果上述没有找到，可以通过 netstat 间接查看异常的连接从而查询异常进程。
检查开机启动 和 crontab 相关的内容 。
检查异常进程。