[EC2] EC2 Status Check Failed

Prerequisite

EC2 상태 확인 지표 (매 1분마다 상태 확인)

• StatusCheckFailed_System
  
  • 네트워크 연결 문제
  • 시스템 전원 문제
  • 물리적 호스트의 소프트웨어 문제
  • 물리적 호스트의 하드웨어 문제
• StatusCheckFailed_Instance
  
  • 잘못 구성된 네트워킹 또는 시작구성
  • 소진된 메모리
  • 손상된 파일 시스템
  • 호환되지 않는 커널
• StatusCheckFailed
  
  • 위 2개 CheckFailed의 OR 조건

Process

StatusCheckFailed_System의 경우

• Health Dashboard 에서 인스턴스의 호스트에 대한 AWS의 예정된 중요 유지 관리를 확인합니다.
  해당 장비의 예상치 못한 문제로 재부팅이 되는 경우가 발생할 수도 있습니다.
  만약 재부팅이 발생했다면 해당 재부팅과 관련된 내용은 Health DashBoard에 장비 반출 등의 이슈 등이 포함되어 보여질 수 있으며, 인스턴스의 Schduled Event로 보여지게 됩니다.
  일반적으로 물리장비의 급작스런 이슈로 인한 이슈일 경우, Health Dashboard상에 내용이 공지되지 않습니다.
  
  
  
• AWS가 문제를 해결할 때 까지 기다립니다.
  (Health DashBoard에 표기된 일정에 인스턴스는 Stop 또는 재부팅이 이루어지면서 신규 호스트로 이전이 됩니다.)
• 위 방법 이외 일정 내에 직접적으로 인스턴스 재시작 또는 종료 후 호스트를 교체하여 문제를 해결합니다.
• Auto-recovery를 통해 자동 복구가 가능합니다. (인스턴스ID, 프라이빗 IP, EIP 모두 유지됩니다.)
  재부팅 등이 적용되므로 연결되어진 세션은 모두 끊어지게 됩니다.
  아래와 문제가 발생했을 때 적용될 수 있습니다.
  • 네트워크 연결 끊김
  • 시스템 전원 중단
  • 물리적 호스트의 소프트웨어 문제
  • 네트워크 연결성에 영향을 주는 물리적 호스트의 하드웨어 문제

 

StatusCheckFailed_Instance의 경우

• 인스턴스의 상태 확인에 실패하면 인스턴스를 재부팅하거나, 운영 체제를 수정하여 해결할 수 있습니다.
• System Check Failed와는 다르게 다음과 같은 이유로 자동적인 재부팅이 적용되지 않습니다.
  즉, 다음과 같은 원인적인 부분이 해결되지 않는 한 자동재부팅 루핑이 걸릴 수 있어 System Check Failed와는 다르게 자동 재부팅이 적용되지 않습니다.
  • 잘못 구성된 네트워킹 또는 시작구성
  • 소진된 메모리
  • 손상된 파일 시스템
  • 호환되지 않는 커널

Rebooting 시 주의사항

• EIP를 사용하지 않는 경우, 인스턴스 중지 시 Public IP가 변경됩니다.
• 인스턴스에 인스턴스 스토어 볼륨이 있는 경우, 인스턴스가 중지되면 볼륨의 모든 데이터가 손실됩니다.
• 인스턴스가 AutoScling Group에 속해 있을 경우, AutoScaling Group에서 인스턴스를 분리한 후 재시작 등의 작업을 하고 다시 AutoScaling Group에 추가해야 합니다.
  
  해당 작업은 AutoScaling Group의 Set to Standby를 이용하면 Target Group에서 Gracefull 하게 인스턴스를 분리할 수 있으며, 기존 인스턴스를 Standby로 변경하면서 신규 인스턴스로 대체할 수 있는 옵션이 있어 이를 이용하면 신규 인스턴스로의 자동대체가 가능합니다.
  

Reference

• https://docs.aws.amazon.com/ko_kr/AWSEC2/latest/UserGuide/viewing_metrics_with_cloudwatch.html (인스턴스에 사용 가능한 CloudWatch 지표 나열)
• https://www.reddit.com/r/aws/comments/azvtwb/statuscheckfailed_instance_vs_statuscheckfailed/ (StatusCheckFailed_Instance Vs StatusCheckFailed_System CW metrics?)
• https://bobcares.com/blog/ec2-status-check-failed/ (EC2 status check failed – How to fix)
• https://docs.aws.amazon.com/ko_kr/AWSEC2/latest/UserGuide/ec2-instance-recover.html (인스턴스 복구)
• https://aws.amazon.com/ko/premiumsupport/knowledge-center/ec2-instance-automatic-reboot-cause/ (EC2 인스턴스가 자체적으로 재부팅되거나 다시 시작된 이유가 무엇인가요?)
• https://aws.amazon.com/ko/premiumsupport/knowledge-center/deleteontermination-ebs/ (Amazon EC2 인스턴스를 종료할 때 Amazon EBS 볼륨이 삭제되지 않도록 하려면 어떻게 해야 하나요?)
• https://chucoding.tistory.com/16 ([AWS EC2] 어떤 Storage를 추가해야될까?? (Storage 종류 분석))