악분의 블로그

model registry를 배포하려고 했던 이유kubeflow model registry에 저장된 AI모델을 웹 브라우저에서 확인하고 싶어 model registry ui를 배포했습니다. 하지만 ARM을 지원하는 컨테이너 이미지가 없다.2025.8.18(월)기준 head 브랜치에 있는 kubeflow model registry ui를 배포했지만, pod에서 이미지를 찾을 수 없다는 에러가 났습니다.Failed to pull image "ghcr.io/kubeflow/model-registry/ui:v0.2.21": rpc error: code = NotFound desc = failed to pull and unpack image "ghcr.io/kubeflow/model-registry/ui:v0.2..

에러 발생이유MacOS 또는 ARM CPU를 사용할때, kubeflow에서 illegal instruction (core dump)에러가 발생할 수 있습니다. 이 에러는 사용하는 컨테이너 이미지가 ARM을 지원하지 않을 때 발생합니다. 대표적으로 tensorflow가 ARM을 지원하지 않습니다.@dsl.component( base_image='tensorflow/tensorflow:2.19.0')def load_and_preprocess_data( 해결방법커스텀 컨테이너 이미지를 만들어서 해결해야 합니다.- 예시 PR: https://github.com/choisungwook/portfolio/pulls

이 글은 vscode에서 notebook(ipynb) 코드를 파이썬 코드로 변환하는 방법을 설명합니다. 1. vscode에서 ipynb파일을 엽니.2. ipynb파일 상단 메뉴에서 "..."을 클릭하고 Export메뉴를 클릭합니다. 3. Python Script를 선택하여 ipynb파일 내용을 파이썬 코드로 변경합니다.

개요이 글은 쿠버네티스 환경에서 사내 데이터과학자 만든 AI모델을, 사내에서 같이 사용할 수 있는 방법을 설명합니다.데모 영상(19초)에서 보는 것 처럼, chatGPT와 거의 비슷한 웹 페이지에 사내에서 개발한 AI모델을 공유함으로써, 회사원들이 쉽게 사내 AI를 사용하는게 목표입니다.데모영상: https://youtu.be/zmH1NWH8GbU?feature=shared&t=19 이전 글에서 설명한 것처럼 LM studio 등을 사용하면 AI 모델을 로컬에서 사용할 수 있습니다. 하지만 회사는 혼자서 일하는게 아니고 다른 사람과 협업을 하기 때문에, LM studio같이 AI 모델을 같이 사용할 수 있는 환경이 필요합니다.LM studio 설명: https://malwareanalysis.tisto..

우연히 ISMS-P 심사 인터뷰를 하로 갔습니다. ISMS-P 인증은 정보보호 및 개인정보보호 관리체계 인증을 의미하며, 기업이나 기관의 정보보호 및 개인정보보호를 위한 일련의 조치와 활동이 인증기준에 적합함을 한국인터넷진흥원(KISA) 또는 인증기관이 증명하는 제도입니다. 진행방식은 정말 면접처럼 진행했습니다. 서비스에 대해 소개를 하면 심사위원이 소개받은 서비스에 대해 한개한개 물어봅니다. 그리고 약관이 매우 중요합니다. 예를 들어 회원가입 약관을 모두 읽어보시고 법적으로 지켜야하는 약관을 전부 체크하십니다. 필수/선택 약관이 있는지, 개인정보처리수탁자가 명시되어 있는지 등을 봅니다. 기대했던 것 중에 암호 알고리즘 등을 물어볼 줄 알았는데 기술적인 것은 안물어봤습니다. ISMS-P 인증 심사 인터뷰..

들어가며안녕하세요. 이 글은 Github Pull Request에서 올라간 파일 중에 쿠버네티스 설정이 있으면, Github Copilot으로 리뷰 받는 방법을 설명합니다. Github Copilot code review를 사용하고 있다는 전제로 설명합니다. 요약copilot-instructions.md파일에 검사 받고 싶은 규칙을 마크다운 포맷으로 적으면, Copilot이 마크다운에 명시된 규칙대로 쿠버네티스 설정을 리뷰합니다.Pull Request예제는 저의 github repo에서 확인할 수 있습니다.Pull Request 리뷰 예제: https://github.com/choisungwook/portfolio/pull/210 원리Github copilot은 copilot-instructions...

주의사항Datadog에서 cloudwatch 메트릭기반으로 알람을 설정하면 실시간이 보장이 되지 않습니다. 그 이유를 예제와 함께 살펴보시죠.예제Datadog에서 AWS Cloudwatch ALB메트릭을 기반으로 알람을 설정했습니다. 알람은 1분마다 평가하고 평가지연 등 다른 옵션을 설정하지 않았습니다.만약 12:05분에 ALB Error Rate 알람 조건이 만족한다면, Datadog에서는 알람이 언제 울릴까요? 정답과 그 이유정답은 12:10이나 12:20분입니다.Datadog은 기본 설정으로 10분마다 cloudwatch 메트릭을 수집합니다. 따라서 12:05분의 ALB메트릭은 12:10이 지나야 datadog에 cloudwatch메트릭이 있습니다. 만약, cloudwatch 자체 지연이 발생한다..

MLOps 개론을 공부하기 위해 자료조사를 했었고, Datacamp가 MLOps 입문 공부하기 좋다고 생각했습니다. 강의 하나하나가 실습 위주 주 강의와 적당한 분량(2~4시간)이어서 맘에 들었습니다. 그리고 MLOps에 대한 간단한 로드맵을 제공하고 Datacamp 강의와 엮고 있어서 자료조사시간을 단축시켜줬습니다.- https://www.datacamp.com/blog/mlops-roadmap 1년 구독비용은 $330, 한국돈으로 약 40만원 입니다.

Python 패키지 관리를 위해 uv를 사용하다가 3시간 동안 삽질한 경험을 공유하고자 합니다. 새로운 파이썬 가상환경을 만들었는데도 패키지 설치가 계속 실패하는 상황이었는데, 알고 보니 uv의 workspace 개념 때문이었습니다. 문제 상황제가 겪은 디렉터리 구조는 다음과 같았습니다. 언뜻 보기에는 별개의 두 uv 프로젝트처럼 보이지만, 실제로는 그렇지 않았습니다.parent-directory/├── pyproject.toml├── uv.lock└── child-directory/ └── pyproject.tomluv Workspace란?uv에서는 workspace라는 개념이 있습니다. uv 프로젝트 하위에 또 다른 uv 프로젝트를 생성하면, 하위 프로젝트는 자동으로 상위 프로젝트의 worksp..

이 글은 kubernetes에서 pod가 GPU를 사용하는 원리를 설명합니다. 그리고 pod가 GPU를 사용하기 위한 쿠버네티스 설정을 다룹니다. 1. pod가 GPU를 사용 = 프로세스가 GPU를 사용kubernetes에서 GPU를 사용하려면 GPU operator, Container Toolkit 등 많은 컴퍼넌트들이 등장장하여, "왜 pod가 GPU를 사용하는데 이렇게 많은 컴퍼넌트가 필요하지?"라는 의문을 가지게 됩니다.' 제 생각에는 pod = 프로세스라는 것을 이해하면 컴퍼넌트가 많이 필요한지 이해하기 쉽다고 생각합니다. pod는 결국 운영체제 입장에서 프로세스이기 때문에, pod가 GPU를 사용한다는 것은 프로세스가 GPU를 사용한다는 것과 같습니다. 결국, pod가 GPU를 사용하는 원..