최근에 느끼는 kubernetes의 장점

Kubernetes가 아닌 환경에 배포해보니 Kubernetes의 여러 장점을 느꼈습니다.

 

1. Controller와 Scheduler가 이미 있다

 

처음 Kubernetes를 공부하고 실제 업무에 적용했을 때 아래 점들이 신기했습니다. 시간이 지나면서 이런 점들이 당연하다고 생각하게 됐습니다.

• YAML만 있으면 알아서 배포되네
• Pod가 비정상 상태면 알아서 재시작되네!

 

Kubernetes가 아닌 환경에 가보니 제가 처음 느꼈던 점은 당연한 게 아니었습니다. 배포를 위한 Controller를 별도로 개발해야 했고, 비정상 상태 애플리케이션을 감지해서 조치하는 로직도 개발이 필요했습니다. 다행히 AWS는 Kubernetes처럼 Controller와 Scheduler를 제공해서 개발하지 않았지만, 이런 기능이 없는 환경이라면 직접 개발하고 최적화하는 데 많은 시간을 썼을 것 같습니다.

 

2. Kubernetes만 있으면 돌아간다

두 번째로 느낀 Kubernetes의 장점은 Kubernetes만 있으면 시스템이 작동한다는 점입니다.

 

"Kubernetes만 있으면 돌아간다"는 게 무슨 뜻일까 생각해봤습니다. 제 생각에는 하이브리드 환경, 멀티 클라우드 환경에서 Kubernetes를 쓰면 운영이 편하기 때문입니다. 말 그대로 온프레미스든 클라우드든 어떤 환경이든 Kubernetes만 설치되어 있으면 기존 방식 그대로 배포하고 운영할 수 있습니다. 운영 관점에서 환경을 고려하지 않아도 되는 게 엄청난 장점입니다. 물론 인프라 관점에서는 전혀 다른 이야기지만, 플랫폼 관점에서 Kubernetes는 큰 장점입니다.

 

최근 Kubernetes 환경을 기준으로 설계한 다른 회사 팀을 만난 적이 있습니다. 다른 회사의 MLOps 팀을 만나 업무 이야기를 들을 수 있었습니다. 그 팀은 2022년부터 MLOps 시스템을 설계 및 구축하고 지금까지 운영 중이었는데, 당시 설계 원칙이 "Kubernetes만 있으면 우리가 만든 시스템이 돌아가게 한다"였습니다.

 

이 설계 원칙을 만든 이유는 온프레미스와 클라우드를 함께 사용하는 환경이기 때문입니다. 각 환경에 맞게 설계하려면 많은 시간이 필요한데, 그만큼 시간을 투자하기 어려워 "Kubernetes만 있으면 돌아간다"는 원칙으로 설계했습니다. 다행히 2025년 기준으로 많은 AI 애플리케이션이 Kubernetes에 최적화되어 있어 좋은 선택이었다고 생각합니다.