악분의 블로그

개요안녕하세요. 이 글에서는 이전 글에 이어 Auto Scaling Group(이하 ASG)을 활용한 EC2 인스턴스 배포 파이프라인에 대해 설명합니다.- 이전 글 AWS Auto Scaling Group 주요기능: https://malwareanalysis.tistory.com/870 이 글에서는 다음 주제들에 대한 내용을 다룹니다.EC2 인스턴스 배포 파이프라인에서 ASG가 담당하는 역할은 무엇이며, 왜 ASG를 사용하는 것이 좋을까요?Launch Template을 수정하면 자동으로 인스턴스가 배포될까요, 아니면 추가 작업이 필요할까요?인스턴스 새로고침(Instance Refresh)은 어떤 API를 통해 실행하며, 파이프라인 로직은 어떻게 구성되나요?MinHealthyPercentage와 MaxHe..

개요이 글은 AWS Auto Scaling Group(이하, ASG)의 주요 기능에 대해 정리했습니다. ASG는 EC2 인스턴스를 그룹으로 관리하며, Auto Scaling이나 비정상 노드 자동 교체 등 EC2 인스턴스 관리를 위한 AWS 리소스입니다. 이 글에서는 다음 주제들에 대한 내용을 다룹니다.ASG를 사용하면 좋은 4가지 사례는 무엇인가요?Launch Template과 Launch Configuration의 차이점은 무엇이며, 어느 것을 사용하는 것이 권장되나요?ASG의 Desired capacity, Min capacity, Max capacity는 각각 무엇을 의미하며 어떤 역할을 하나요?Dynamic Scaling의 3가지 정책(Target tracking, Step scaling, Sim..

개요이 글은 AWS EC2인스턴스에서 실행한 user-data가 잘 실행되었는지 확인하는 방법을 설명합니다. 확인하는 방법EC2인스턴스 쉘에서 cloud-init status라는 명령어를 사용하면 user-data가 성공적으로 실행되었는지 확인할 수 있습니다. user-data 실행에 실패한 경우 status가 Failed로 표시됩니다.sudo cloud-init status --long 원리user-data는 cloud-init이라는 오픈소스에서 실행합니다. AWS에서 관리하는 AMI는 OS 부팅 후 cloud-init이 자동으로 실행되며, 이 cloud-init이 user-data 스크립트를 실행합니다. 그러므로 cloud-init의 상태를 확인함으로써 user-data의 실행 성공 여부를 알 수 있..

요즘 하는 업무는 과장하면 80%이상 모르는 영역입니다. AI가 점점 업무의 영역으로 스며들었기 때문에 자연스럽게 모르는 영역이 많아졌습니다. 제가 생각하는 앞으로의 업무는 좋거나 싫거나 AI는 빠질 수 없을 것 같습니다. 따라서 앞으로 일하는 방향은 2가지로 생각합니다.AI를 활용하여 문제를 해결AI와 관련된 사람과 협업 [AI를 활용하여 문제를 해결]검색, TroubleShooting, 지식습득, 글쓰기 등 요즘 저의 모든 업무는 AI가 필수가 되었습니다. Gemini, Cluade(code), NotebookLM, perplexity, copilot, amazon Q을 사용하여 업무와 개인공부에 활용중입니다. 특히 저는 질문이 많은 편인데 AI가 선생님이 되어서 저의 많은 질문을 답변해주고 있습니다..

최근 몇 달동안 팀원 중 한명이 모든 노드에 보안 패키지를 설치하는 것을 여러번 하는 것을 봤습니다. 정확한 노드 개수는 모르나 몇 백대에서 몇천대인걸로 보였습니다. AWS 클라우드에 실행되는 노드는 SSM(Systems Manager)을 사용하여 작업을 진행하고 있어서, 개인적으로 어떻게 SSM으로 노드에 패키지를 설치하고 SSM의 동작원리가 궁금했습니다. 그래서 이번 기회에 AWS SSM의 대표적인 기능 몇개를 정리했습니다. AWS SSM이란?SSM(Systems Manager, 이하 SSM)은 중앙에서 AWS, on-premise, multi cloud의 인스턴스를 관리하는 서비스입니다. 모든 노드에 같은 설정을 해야할 때 일일이 모든 서버에 접속해서 작업하려면 많은 시간이 걸립니다. 그리고 휴먼 ..

Kubeflow pipeline이란?kubeflow pipeline은 workflow를 실행하고 상태를 관리합니다. workflow는 목표를 달성하기 위한 작업의 묶음을 말합니다. AI생태계에서는 데이터 수집, 데이터 전처리, AI모델 학습 등을 pipeline으로 실행합니다. 아래 그림은 AI모델을 만들고 model registry에 업로드하는 pipeline입니다.pipeline 사용은 필수가 아니지만 단점보다 장점이 많기 때문에, pipeline을 사용하지 않은 것 상황보다 pipeline을 사용하는 상황이 많습니다.pipeline을 사용하면 여러가지 장점이 있지만 대표적인 2가지 장점을 소개합니다.1. 이력관리 그리고 재현성 확보: pipeline을 다시 실행하면 동일한 결과를 얻을 수 있는 재현..

kubeflow volume이란?kubeflow는 kubernetes pvc를 대시보드에서 관리(생성, 수정, 삭제)할 수 있습니다. 또한, pvc에 있는 데이터를 조회할 수 있고 업로드, 다운로드 기능을 제공합니다. pvc는 kubeflow에서 volume이라고 부릅니다. volume이 필요한 이유volume은 notebook에서 작업할때 작업 데이터를 영구 저장할때 필요합니다. notebook이외에 데이터셋을 영구저장할 때 사용합니다. volume 생성과 notebook에 volume 마운트volume 생성은 매우 쉽습니다. 이름, 용량, access mode를 설정하면 됩니다. 생성한 볼륨은 notebook 생성 또는 기존 notebook에 설정페이지에서 existing volume 메뉴에서 설정..

kubeflow notebook이란?Kubeflow notebook은 코드를 작성하고 실행할 수 있는 환경을 제공합니다. jupyter lab, vscode, R studio 3가지 중 한개를 선택하고 웹 브라우저로 접속해야 합니다. notebook은 pod로 실행됩니다. notebook 장점사용자는 kubeflow 대시보드에서 notebook이 사용할 컨테이너 이미지, 자원(cpu, memory, gpu), volume, affinity, toleration을 손쉽게 설정할 수 있습니다. affinity, toleration은 kubeflow 관리자가 미리 설정한 값만 지정할 수 있습니다. notebook 실행 원리notebook은 notebook controller가 CRD로 관리합니다. 사용자..

저는 맥북 M3를 사용하고 있습니다. 맥북에서 kubeflow를 며칠동안 테스트를 하고 있고 지금도 테스트하고 있는데, 맥북이 엄청 버벅거립니다. 파이프라인 실행도 안하는데 엄청 버벅거리는데, 알 수 없는 영역에서 성능이 과부하 걸린 것 같습니다. 그리고 맥북 M3는 ARM을 사용하기 때문에 tensorflow 등 ARM을 지원하지 않는 오픈소스를 사용할 수 없습니다. 억지로 사용하려면 ARM이 호돤되는 컨테이너 이미지를 직접 만들어야 합니다. AMD 컨테이너를 실행할 수 있도록 Rosetta 옵션을 활성화 했지만 실행이 안됩니다. ㅜ.ㅜ 맥북에서 며칠동안 kubeflow 등 MLOps를 테스트해보니, MLOps 입문자에게 맥북은 MLOps에 부적합한 것 같습니다. 그래서 저는 집에 있는 nvidia ..

kubeflow동작을 이해하기 위해 열심히 만든 AI모델을 kserver로 배포했었습니다.apiVersion: serving.kserve.io/v1beta1kind: InferenceServicemetadata: annotations: sidecar.istio.io/inject: "false" name: mnist-model-registry namespace: kubeflow-user-example-comspec: predictor: timeout: 600 tensorflow: storageUri: "..." serviceAccountName: serving kserver가 실행한 pod는 계속 오류가 있어 10시간동안 열심히 삽질을 했습니다. container가 R..