회고 - 데이터베이스 롤백 실패경험

2025년 하반기 기억에 남은 업무 중 하나는 긴급 데이터베이스 롤백입니다. 우리는 AWS RDS Aurora를 사용하고 있었습니다.

평화로운 어느 날 오후, 갑자기 알람이 짧은 시간에 엄청나게 많이 울렸습니다.

 

다행히 몇십 분 안에 데이터베이스 문제를 확인했습니다. 의도하지 않은 쿼리가 실행되어 수백만 건의 데이터가 오염된 상태였습니다. DBA는 데이터베이스 롤백을 결정했습니다. DBA는 두 가지 롤백 계획을 동시에 진행했습니다. A 계획이 메인이었고, 실패할 경우 대비하여 B 계획을 동시에 실행하기로 했습니다.

 

제가 맡은 B 계획은 PITR로 데이터를 복원한 후, 문제가 있는 테이블만 RDS S3 import/export로 교체하는 방법이었습니다. RDS backup 기능이 활성화되어 있어 PITR은 성공했지만, RDS S3 import/export가 설정문제로 계속 실패했습니다.

 

다행히 A 계획이 성공하여 데이터베이스 롤백은 완료되었습니다. 하지만 제가 실행한 B 계획이 왜 실패했는지 계속 궁금했습니다. 그래서 장애가 발생한 그 주에 RDS S3 import/export를 블로그와 영상으로 정리했습니다.

• 블로그 - https://malwareanalysis.tistory.com/879

RDS S3 Import/export

 

 

•  영상:

1편: https://youtu.be/FW2voayS620

 

2편: https://youtu.be/529IkbRXI70