Linux 集群被黑，中了 XMR-STAK 木马。。求问应该怎么办

[joeaaa]

被黑的是 GPU 集群，只有 master 节点被黑，其他的 slave 完好。 没有安装 redis，初步估计是弱密码撞成功的。。

目前已经做了以下几步

1. pkill 了 XMR-STAK 进程
2. 修改了 sshd_config 一些规则
3. 修改了 hosts.allow, hosts.deny
4. 关闭了 cron 自动任务
5. 对 XMR 的矿池地址在 iptables 配置 drop

Google 了一些解决方案，检查了 root 下的 /.ssh/known_hosts, authorized_keys, 等等没有发现异常，/tmp/下也是正常。

唯独使用 top 时会出来一些 PID 靠后的进程，出现几秒就没了，我觉得应该是守护进程。 同时，在 /usr/bin 下有三个文件也是删了又会浮现，但文件名也是随机 /init.d/下面也是有一个随机文件名不能完全删除，会自动重命名出现。

头疼。。。

[FifiLyu]

把所有进程信息整理出来，一个个排除嫌疑。明显是有隐藏的进程没被发现。解决掉此进程就成功一大半了。

另外一个最简单的办法，检查开机启动有无异常，检查后重启，以此杀掉未知进程。

[Greenm]

看你这个描述，有 master 节点，应该是啥数据集群吧，hadoop，spark 之类的？

[hcymk2]

扫描下 Rootkit

[PureWhiteWu]

真的，重装吧。。。。
你永远不知道漏了啥。。。
以后你用着也提心吊胆的。

[joeaaa]

@FifiLyu 嗯，找到了个关键的进程，把它冻结后一顿删，然后 OK 了。
参考了一个前辈的教程。http://www.cnblogs.com/red-code/p/5599393.html

谢谢~

[joeaaa]

@Greenm 对 用 GPU 加速计算的

[joeaaa]

@hcymk2 谢谢 我先了解下 rootkit 是干嘛的，刚搜了下感觉很厉害

[Greenm]

@joeaaa 别只盯着没装 redis 就万事大吉了，怎么就没想过是 spark 或者 hadoop 的问题呢？

https://github.com/rapid7/metasploit-framework/pull/10954
https://github.com/rapid7/metasploit-framework/pull/10027

暴露在公网，没认证很容易被搞的。

[joeaaa]

@PureWhiteWu 里面有一大堆授权许可，还有存储池的证书。。第一个念头也是重装的，后来想了下太麻烦了。。


以后的 master 节点还是要虚拟化，挂了一个再开另一个。和小时候的网吧一样。

[joeaaa]

@Greenm 嗯，有可能。。。 现在扫描器也是火力全开。。

[Greenm]

Spark 和 Hadoop 都有未授权远程代码执行的问题，上面的两个链接是我写的利用代码。 如果被黑了第一时间需要考虑怎么进来的，看看自己监听了哪些端口，一一排查，把洞先堵住在说。

另外被黑了也不要慌，上面劝你重装的不负责，在公司业务被黑了也重装么，损失谁来担。

仔细一点，多排查一下启动项之类的东西，总能解决的。

[PureWhiteWu]

@joeaaa 那问你一个问题，假设你的 master 机器硬盘坏了，所有数据丢失，你会怎么办？

[joeaaa]

@Greenm 是的，服务不能 down。先把漏洞堵着是第一位的。 谢谢老哥！

[joeaaa]

@PureWhiteWu 看坏的程度吧，现在用的存储系统搭配 nvram，整套集群做了异地物理备两份。 现在也有人说用 docker，不是很懂。。