记一次服务器重启后失联的教训

发布于 2022-08-15  70 次阅读


服务器失联可是宝贵的经验,得好好记下来呢。来自小白的傻逼操作导致了此次事件的发生,以后应该不会这么傻逼了。把自己气笑了哈哈哈哈。

起因是登录Ubuntu系统是提示 There is 1 zombie process。

我当时也有许多东西需要重启才能应用。很想当然的重开了服务器。reboot!

SSH连上实例后发现博客Cloudflare:Error 523: origin is unreachable。

当 Cloudflare 无法联系您的源站 Web 服务器时,会发生 523 错误。这通常在 Cloudflare 和源站 Web 服务器之间的网络设备没有通向源站 IP 地址的路由时发生。

我不可能重启了一下把DNS打爆了吧?肯定是VPS的问题。

然后我怀疑我的IP被墙了(虽然我不这么觉得的)

上去一检测 ,出现了一个奇怪的问题:

国内检测结果:ICMP可用;TCP不可用。

国外检测结果:ICMP可用;TCP不可用。

如果IP被墙了,应该是国内ICMP&TCP不可用而国外ICMP&TCP可用。

而且在使用CDN的情况下源站IP不可能泄露,那么可能是防火墙的问题。

我上去开放了所有端口,好了这回就可以了。

iptables -P INPUT ACCEPT
iptables -P FORWARD ACCEPT
iptables -P OUTPUT ACCEPT
iptables -F

但是博客依然不可用,登上去面板也是失败。

再次SSH一下主机,检查了面板情况,清除了登录入口和域名的绑定,从而让我使用IP登录。

很好,这次可以进入面板了。等等 ,为什么博客还是挂的?

找了一圈,原来是Nginx没启动,报错误:

nginx: [emerg] unknown directive "lua_shared_dict" in /www/server/panel/vhost/nginx/btwaf.conf:1 nginx: configuration file /www/server/nginx/conf/nginx.conf test failed

好好的就突然报错了,肯定不是配置文件的问题。

直接卸载Nginx防火墙和网站监控报表。

重新打开博客,提示您的网站重定向次数过多。

为什么?一般来说是Cookie导致的问题,设置-清除历史记录。

依然重定向次数过多。草!

这时我后知后觉想起来Cloudflare里我把SSl策略调到了关闭,不使用HTTPS。

而我的博客强制使用HTTPS,导致了疯狂重定向。

把SSL级别拉到完全。端到端加密,使用服务器上的自签名证书。

事后总结,如果服务器失联,首先查看SSH,如果SSH失联,是IP被墙或者实例关机。

在出问题时,应该关闭代理,SSL调整为关闭,并且使用开发模式,暂时绕过Cloudflare的缓存。实时查看对您的源服务器进行的更改。

检查服务器时应该关闭所有防火墙开放所有端口,恢复后再逐一恢复。

Nginx防火墙之类的不是什么好东西,但是存在DDOS把Cloudflare打穿的情况,需要权衡利弊。

Nginx是个好东西,谷歌也是个好东西,Nginx出问题可以问问谷歌娘,她会提供帮助的。