악분의 블로그

이전 상황제가 운영하는 EKS에서 간헐적으로 pod간 통신이 안되는 증상이 있었습니다. 원인을 찾아보니 VPC CNI의 network policy기능에서 pod간 통신이 안되는 버그를 만났습니다. 패치버전이 있지만 계속 버그 이슈가 있어, 고민 끝에 network policy를 당분간 사용하지 않기로 했습니다. 쿠버네티스 네트워크 통신이 불안정하면 서비스 품질에 영향이 있기 때문입니다. 장애 재현은 저의 유투브를 참고하시면 됩니다.   버그 설명VPC CNI는 bpf를 사용하여 network policy네트워크 기능을 구현했습니다. 리눅스 conntrack 기능을 자체 구현한 것으로 보이는데 일정확률로 conntrack을 업데이트하지 못하는 상황이 발생합니다. github issue에서 올라온 설명으로는..

1. 들어가며팟캐스트 썸네일을 어떻게 만들지 고민을 많이 했습니다. 주제가 잘 보이면서 팟캐스트라는 것을 표현하고 싶었습니다. 많은 고민을 한 결과 아래처럼 완성이 되었습니다.2. 사용한 도구 목록제가 사용한 도구는 4가지입니다.pinterestchatgpt 4.oadobe fireflyadobe express 3. 생성과정전체 썸네일 작업은 adobe express를 사용했습니다.  처음에 구도를 생각했습니다. 팟캐스트를 표현하는 그림을 왼쪽에 표현하고 팟캐스트 목록은 오른쪽에 두었습니다. 그 다음, 그림에 대해 고민을 시작했습니다. "그림을 어떻게 그리지?" 평소에 유투브를 통해 인공지능을 사용하여 이미지 생성하는 방법을 알고 있어, 인공지능을 사용하기로 했습니다. 어떤 인공지능을 사용할지 고민했습니..

이 글은 pod 장애를 최소화하기 위한 쿠버네티스 설정을 이야기합니다. 세부 설정 방법은 생략하고 어떤 설정이 Pod안정성과 관련있는지 설명합니다. 짧은 기간이지만 제가 약 10개월동안 서비스를 운영하면서 중요하게 느꼈던 쿠버네티스 pod 안전성 설정을 정리했습니다.팟캐스트(오디오)로도 이 글을 들을 수 있습니다.https://audioclip.naver.com/channels/5158/clips/10 pod 안정성을 높이는 설정 (by 악분)이번 팟캐스트는 pod 안정성을 높이는 쿠버네티스 설정을 살펴봅니다.audioclip.naver.com 1. pod 안정성이란pod 안전성은 pod에 문제가 발생하더라도 서비스 중단을 최소화하는 것을 의미합니다. 이상적으로 pod안정성이 높으면, pod에 문제가 있..

1. EKS 업그레이드 종류EKS버전 업그레이드는 in-place와 blue-green 2가지 방법이 있습니다.bluegreen: 업그레이드된 EKS를 새로 생성하고 서비스를 이동하는 방법in-place: 현재 버전 EKS에서 버전 업그레이드 하는 방법 2. 나의 쿠버네티스 업그레이드 버전 경험저는 온프레미스에는 in-place방법으로 쿠버네티스 버전을 업그레이드 했었고 EKS는 blue-green방법으로 업그레이드를 했었습니다. 온프레미스는 서버 개수가 제한이 있어서 in-place방법으로 했었고 EKS는 언제든지 서버를 생성할 수 있어서 blue-green으로 버전 업그레이드 했습니다. 3. EKS in-place방법을 고민한 이유2가지 EKS 업그레이드 각각 장단점이 있습니다. 서비스 장애 없이 안..

1. 들어가며EKS 노드 운영비용을 줄이기 위해, karpenter에 on-demand:spot 비율로 노드를 생성하게 설정했습니다. 하지만 약 2달간 잘 동작했던 karpenter에서 갑자기 배포가 안되는 장애가 발생했습니다.  이 글은 어떤 원인 때문에 karpenter 장애가 발생했는지 설명합니다. 이 글을 읽기 위해 karpenter on-demand:spot비율 설정을 알아야 합니다. 설정 방법은 저의 이전 글을 참고해주세요. 이 글에서 재현한 장애 예제는 저의 github에 공개되어 있습니다.gitbub 주소: https://github.com/choisungwook/karpenter/tree/main/karpenter_provisioner/example-17 2.장애 증상패치내역을 배포하기 ..

1. 들어가며EKS 노드 운영 비용을 줄이기 위해 on-demand인스턴스와 spot인스턴스를 분배합니다. karpenter 또한 새로 생성한 노드에 대해 on-demand, spot인스턴스 비율을 정할 수 있습니다. 2. 설정방법karpenter는 capacity-spread설정을 사용하여 on-demand, spot인스턴스를 분배합니다. 아래 예제는 on-demand:spot 비율을 1:2로 설정합니다. capacity-spread로 비율을 설정할 때 capacity-type을 설정해야 합니다.# on-demand 설정apiVersion: karpenter.sh/v1beta1kind: NodePoolmetadata: name: on-demandspec: template: spec: ..