[EC2] 인스턴스가 예기치 않게 재부팅 되는 이유

Prerequisite

• 예기치 않게 인스턴스가 자동으로 재부팅된다.
• 재부팅되어 복구되는 시점까지의 모니터링 지표값이 누락되어 표시되지 않는다.
  
• CloudTrail 에 해당 인스턴스에 대해 재부팅 관련 이벤트 로그가 확인되지 않는다.
• 재부팅 이후 몇시간 뒤에 Health Dashboard 에 "EC2 instance reboot maintenance scheduled" 이벤트가 잡힌다.
  

  

  Description

  Amazon EC2 has detected degradation of the underlying hardware hosting your EC2 instance associated with your AWS account in the ap-northeast-2 region. These instances are listed in the Affected Resources Tab. This instance is scheduled for maintenance and will be rebooted any time between 2023-01-09 16:00:00 UTC and 2023-01-09 18:00:00 UTC.

  You can find more information on maintenance events scheduled for your EC2 instances in the AWS Management Console https://console.aws.amazon.com/ec2/v2/home?region=ap-northeast-2#Events

  You can define weekly recurring event windows for scheduled events that may occur in the future. For more information on event windows see the EC2 user guide : https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/event-windows.html You can also customize your event notification to include tags associated with your EC2 instances. For more information on customizing event notifications see the EC2 user guide : https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/monitoring-instances-status-check_sched.html#customizing_scheduled_event_notifications

  * What will happen to my instance during this maintenance event?

  During maintenance, the instance will be rebooted. The reboot generally takes a few minutes to complete. After the reboot, your instance retains its IP address, DNS name, and any data on local instance-store volumes.

  * What will happen when I stop and start the instance?

  You can stop and start the instance at any time before the scheduled start time of the scheduled reboot event. This will migrate the instance to a new host and the instance will not have to undergo the scheduled maintenance. *Please note that the data on any local instance-store volumes will not be preserved when you stop and start your instance.* For more information about stopping and starting your instance see the EC2 User Guide https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/Stop_Start.html.

  * Why does my instance require maintenance?

  EC2 routinely performs maintenance on the underlying systems in order to strengthen the security, reliability and operational performance of the EC2 service for our customers. Additional information about maintenance events can be found at https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/monitoring-instances-status-check_sched.html.

  If you have any questions or concerns, you can contact the AWS Support Team on the community forums and via AWS Premium Support at: https://console.aws.amazon.com/support.

Process

• 예기치 않은 재부팅이나 재시작이 발생하는 몇가지 이유들
  1. 인스턴스가 상태 확인 중 하나 또는 둘 다에서 실패한 경우
  2. 인스턴스를 호스팅하는 기본 하드웨어에 결함이 있어 인스턴스를 다시 시작하여 새로운 하드웨어로 이전된 경우
  3. 인스턴스에서 재부팅이 필요한 예약된 유지 관리로 인해 발생한 경우
  4. 사용자 또는 서버 내부의 애플리케이션이 인스턴스를 재부팅했을 경우
  5. 커널 버그로 인한 경우
• 1번은 StatusCheckFailed 지표가 남아있지 않았음으로 해당되지 않음
• 3번은 예정된 유지 관리 일정이 없었음으로 해당되지 않음
• 4번은 CloudTrail 상으로 사용자가 인스턴스를 재부팅한 이력이 없음으로 해당되지 않음 (애플리케이션 재부팅은 별도 체크가 필요하나 가능성 희박)
• 5번도 가능성이 희박함
• 따라서 2번 호스팅하는 기본 하드웨어에 결함으로 재시작된 경우로 판단된다.
• AWS 추가 확인 내용
  • 하드웨어의 결함으로 장애 조치된 장비는 폐기되고, 그 뿐아니라 동일한 시기에 셋업된 동일 모델의 장비들도 모두 폐기하고 신규 장비로 교체 된다고 한다.
  • 인스턴스가 재시작된 이후 "EC2 instance reboot maintenance scheduled" 이벤트가 잡히는 연유는 이때문인 것으로 판단된다.

Reference

• https://aws.amazon.com/ko/premiumsupport/knowledge-center/ec2-instance-automatic-reboot-cause/