ubuntu 환경에서 docker container가 갑자기 stop 되는 문제 해결

증상

웹사이트에 접속이 안된다는 연락을 받고

서버에 접속을 해서 확인해 보았는데 container가 stop 상태로 되어 있었다

 

원인

원인을 파악하기 위해 언제부터 웹사이트가 접속이 안됐는지 로그들을 살펴보았다

06:40:03 이때부터 접속이 안 되는 것으로 확인이 됐고 이 시점부터 확인을 해보았다

 

서버 모니터링 값을 보았을땐 특이한 이상한 점은 보이지 않았으며 (cpu나 트래픽 등 거의 없었음)

php 로그에선 06:38:16 시점에 종료가 되는 로그가 찍혀있었다

[27-Jul-2021 06:38:16] NOTICE: Terminating ...

[27-Jul-2021 06:38:16] NOTICE: exiting, bye-bye!

 

/var/log/syslog 로그를 봤을 때 느낌이 왔다

Jul 27 06:38:10 ip-172-24-31-195 systemd[1]: Starting Daily apt upgrade and clean activities...
Jul 27 06:38:16 ip-172-24-31-195 systemd[1]: Stopping Docker Application Container Engine...
Jul 27 06:38:16 ip-172-24-31-195 dockerd[1497]: time="2021-07-27T06:38:16.279747135+09:00" level=info msg="Processing signal 'terminated'"

 

Daily apt upgrade를 하는 과정에 docker를 중단을 시킨 것이 원인이었다

sudo systemctl list-timers

06:38:10에 apt-daily-ugrade.timer 서비스가 실행되는 것을 확인

 

해결

서버 환경은 ubuntu18.04를 사용하고 있음으로

Daily apt upgrade를 하는 서비스를 비활성화하는 것으로 해결을 하였다

sudo systemctl list-timers

sudo systemctl stop apt-daily-upgrade.timer
sudo systemctl disable apt-daily-upgrade.timer
sudo systemctl daemon-reload