무한루프 걸리는 쿠버네티스 job 디버깅 과정

제가 일하는 곳은, 데이터 분석가가 사내 플랫폼을 이용하여 분석코드를 실행합니다. 자원이 많이 필요할 때 사내 플랫폼 자원을 빌려 써 문제를 해결합니다!. 플랫폼은 데이터분석가 코드를 쿠버네티스 JOB으로 실행합니다.

 

그런데, 어떤 데이터분석가가 고객센터에 문의글을 올렸습니다. 가끔씩 작업이 안끝나고 무한루프상태에 빠져있다고 말이죠.

 

처음에는 쿠버네티스 버그 또는 플랫폼 자체 버그인줄 알았습니다. 하지만, 디버깅을 해보니 분석가가 사용하는 외부모듈에서 문제가 있는 것 같아, 해당 모듈 개발자에게 문의를 했습니다. 질답결과 데이터를 조회하는 로직에서, 알수 없는 이유로 데이터를 못받으면 무한루프에 빠질 수 있을 가능성을 발견했습니다. 감사하게도 모듈개발자가 테스트해본다고 했습니다

 

 

사실, 혼자 힘으로 쿠버네티스 또는 사내 플랫폼 기능을 계속 분석했더라면 아마도 영영 풀지 못할 문제라고 생각합니다. 다른 사람에게 질문하는 것도 매우 업무에 중요한 일인것 같습니다. 그리고, 쿠버네티스 JOB에 timeout 설정을 건의해봐야겠습니다.

infintie_loop.drawio

0.00MB