쿠버네티스 관리자가 혼자 쿠버네티스 업그레이드 할 수 있을까?

24.10 3주차에 EKS를 업그레이드를 하고 느낀 것들을 이 글에 적습니다.

 

쿠버네티스 소개

제 팀이 관리하는 쿠버네티스는 1개가 넘는데 이 글에서 언급하는 쿠버네티스는 여러 팀이 같이 사용하는 쿠버네티스 입니다. 

 

선택한 업그레이드 전략

올해 저는 1개 클러스터를 in-place로 업그레이드 한 적이 있습니다. 그리고 몇 개 클러스터는 blue/green방식으로 진행했습니다.

 

이 글에서 언급하는 쿠버네티스는 blue/green을 선택했습니다. 처음에는 in-place를 선택했지만 "롤백" 우선순위가 높다는 것을 생각하여 blue/green으로 선택했습니다. 그리고 실제로 쿠버네티스 업그레이드 후 롤백했습니다.

 

쿠버네티스 업그레이드는 잘 되었다. 하지만,

쿠버네티스 업그레이드는 잘 되었지만 롤백을 했습니다. 왜 롤백을 했을까요? 서비스에서 에러가 발생했기 때문입니다.

 

쿠버네티스, 네트워크 등 인프라 문제가 아닌 서비스 문제가 발생해서 제가 할 수 있는 건 없었습니다. 서비스 담당자가 오류를 확인했고 롤백을 하니 오류가 사라졌습니다.

 

다음에 업그레이드 할 때는,

여러 팀이 사용하는 쿠버네티스를 다음에 in-place로 전략으로 업그레이드 한다면  pod옮기는 작업은 서비스팀에게 직접 요청할려고 합니다. 왜냐하면 저의 입장에서는 서비스 동작을 알지 못해 오류가 나도 고칠 수 없기 때문입니다. 고작 제가 체크할 수 있는 부분은 쿠버네티스, 네트워크, 보안 등의 분야만 체크할 수 있지 서비스 로직오류는 체크할 수 없습니다.

 

pod옮기는 작업을 서비스팀에 요청하면 가장 중요한거는 커뮤니케이션 능력일 것 같습니다. 서비스팀이 잘 옮길 수 있도록 일정 조율과 가이드를 잘 제공해야 합니다.

 

이 글을 쓴 후 2년차 때 있었던 마이그레이션 경험이 떠올랐습니다. 도커 컨테이너로 관리되고 있는 서비스를 쿠버네티스로 옮기는 작업이 있었습니다. 당시 인프라 담당자는 쿠버네티스를 설치만 하고 서비스 마이그레이션 작업은 하지 않았습니다. 대신 가이드만 제공하고 서비스 담당자에게 직접 서비스를 쿠버네티스에 옮기도록 요청했습니다. 당시 저는 인프라 엔지니어가 직접할 수 있음에도 불구하고 왜 안하지라는 생각이 들었는데, 지금 와서 생각해보니 서비스 담당자가 직접 서비스를 옮기는게 안전하게 옮기는 방법인 것을 깨달았습니다.