악분의 블로그

Kubernetes가 아닌 환경에 배포해보니 Kubernetes의 여러 장점을 느꼈습니다. 1. Controller와 Scheduler가 이미 있다 처음 Kubernetes를 공부하고 실제 업무에 적용했을 때 아래 점들이 신기했습니다. 시간이 지나면서 이런 점들이 당연하다고 생각하게 됐습니다.YAML만 있으면 알아서 배포되네Pod가 비정상 상태면 알아서 재시작되네! Kubernetes가 아닌 환경에 가보니 제가 처음 느꼈던 점은 당연한 게 아니었습니다. 배포를 위한 Controller를 별도로 개발해야 했고, 비정상 상태 애플리케이션을 감지해서 조치하는 로직도 개발이 필요했습니다. 다행히 AWS는 Kubernetes처럼 Controller와 Scheduler를 제공해서 개발하지 않았지만, 이런 기능이 없..

ArgoCD v3.2 패치내용이 공개되었습니다. 가장 주목할 변경사항은 Application path에서 "." 또는 ""(공백)을 더 이상 사용할 수 없다는 점입니다.릴리즈 노트: https://argo-cd.readthedocs.io/en/latest/operator-manual/upgrading/3.1-3.2/?utm_source=chatgpt.com 예시로, v3.1까지는 아래와 같은 ArgoCD 설정이 유효했으나 v3.2부터는 오류가 발생합니다.apiVersion: argoproj.io/v1alpha1kind: Applicationmetadata: name: guestbookspec: source: repoURL: 'https://github.com/example/guestbook.gi..

문제상황이미지가 포함되어 있는 notion글을 복사하고 티스토리에 붙여넣으면 아래와 같이 에러가 발생합니다.오류 메세지: “업로드가 실패했습니다. 이미지 파일만 업로드 할 수 있습니다.” 에러가 발생한 원인은 마크다운에서 이미지를 처리하는 방식 때문입니다. Notion 글을 복사해 티스토리나 다른 플랫폼에 붙여넣으면 내용이 마크다운 형식으로 변환됩니다. 마크다운에서 이미지는 사용자 PC 기준으로 경로를 저장합니다. Notion은 자체 서버 기준으로 상대 이미지 경로를 저장하는 것으로 보입니다. 따라서 Notion에 있는 이미지를 다른 곳에 붙여넣으면 해당 경로가 존재하지 않아 이미지를 찾을 수 없게 됩니다. 이때 티스토리는 존재하지 않는 이미지를 감지하면 유효성 검사에 실패하고 에러 메시지를 표시합니다...

개요안녕하세요. 이 글에서는 이전 글에 이어 Auto Scaling Group(이하 ASG)을 활용한 EC2 인스턴스 배포 파이프라인에 대해 설명합니다.- 이전 글 AWS Auto Scaling Group 주요기능: https://malwareanalysis.tistory.com/870 이 글에서는 다음 주제들에 대한 내용을 다룹니다.EC2 인스턴스 배포 파이프라인에서 ASG가 담당하는 역할은 무엇이며, 왜 ASG를 사용하는 것이 좋을까요?Launch Template을 수정하면 자동으로 인스턴스가 배포될까요, 아니면 추가 작업이 필요할까요?인스턴스 새로고침(Instance Refresh)은 어떤 API를 통해 실행하며, 파이프라인 로직은 어떻게 구성되나요?MinHealthyPercentage와 MaxHe..

개요이 글은 AWS Auto Scaling Group(이하, ASG)의 주요 기능에 대해 정리했습니다. ASG는 EC2 인스턴스를 그룹으로 관리하며, Auto Scaling이나 비정상 노드 자동 교체 등 EC2 인스턴스 관리를 위한 AWS 리소스입니다. 이 글에서는 다음 주제들에 대한 내용을 다룹니다.ASG를 사용하면 좋은 4가지 사례는 무엇인가요?Launch Template과 Launch Configuration의 차이점은 무엇이며, 어느 것을 사용하는 것이 권장되나요?ASG의 Desired capacity, Min capacity, Max capacity는 각각 무엇을 의미하며 어떤 역할을 하나요?Dynamic Scaling의 3가지 정책(Target tracking, Step scaling, Sim..

개요이 글은 AWS EC2인스턴스에서 실행한 user-data가 잘 실행되었는지 확인하는 방법을 설명합니다. 확인하는 방법EC2인스턴스 쉘에서 cloud-init status라는 명령어를 사용하면 user-data가 성공적으로 실행되었는지 확인할 수 있습니다. user-data 실행에 실패한 경우 status가 Failed로 표시됩니다.sudo cloud-init status --long 원리user-data는 cloud-init이라는 오픈소스에서 실행합니다. AWS에서 관리하는 AMI는 OS 부팅 후 cloud-init이 자동으로 실행되며, 이 cloud-init이 user-data 스크립트를 실행합니다. 그러므로 cloud-init의 상태를 확인함으로써 user-data의 실행 성공 여부를 알 수 있..

요즘 하는 업무는 과장하면 80%이상 모르는 영역입니다. AI가 점점 업무의 영역으로 스며들었기 때문에 자연스럽게 모르는 영역이 많아졌습니다. 제가 생각하는 앞으로의 업무는 좋거나 싫거나 AI는 빠질 수 없을 것 같습니다. 따라서 앞으로 일하는 방향은 2가지로 생각합니다.AI를 활용하여 문제를 해결AI와 관련된 사람과 협업 [AI를 활용하여 문제를 해결]검색, TroubleShooting, 지식습득, 글쓰기 등 요즘 저의 모든 업무는 AI가 필수가 되었습니다. Gemini, Cluade(code), NotebookLM, perplexity, copilot, amazon Q을 사용하여 업무와 개인공부에 활용중입니다. 특히 저는 질문이 많은 편인데 AI가 선생님이 되어서 저의 많은 질문을 답변해주고 있습니다..

최근 몇 달동안 팀원 중 한명이 모든 노드에 보안 패키지를 설치하는 것을 여러번 하는 것을 봤습니다. 정확한 노드 개수는 모르나 몇 백대에서 몇천대인걸로 보였습니다. AWS 클라우드에 실행되는 노드는 SSM(Systems Manager)을 사용하여 작업을 진행하고 있어서, 개인적으로 어떻게 SSM으로 노드에 패키지를 설치하고 SSM의 동작원리가 궁금했습니다. 그래서 이번 기회에 AWS SSM의 대표적인 기능 몇개를 정리했습니다. AWS SSM이란?SSM(Systems Manager, 이하 SSM)은 중앙에서 AWS, on-premise, multi cloud의 인스턴스를 관리하는 서비스입니다. 모든 노드에 같은 설정을 해야할 때 일일이 모든 서버에 접속해서 작업하려면 많은 시간이 걸립니다. 그리고 휴먼 ..

Kubeflow pipeline이란?kubeflow pipeline은 workflow를 실행하고 상태를 관리합니다. workflow는 목표를 달성하기 위한 작업의 묶음을 말합니다. AI생태계에서는 데이터 수집, 데이터 전처리, AI모델 학습 등을 pipeline으로 실행합니다. 아래 그림은 AI모델을 만들고 model registry에 업로드하는 pipeline입니다.pipeline 사용은 필수가 아니지만 단점보다 장점이 많기 때문에, pipeline을 사용하지 않은 것 상황보다 pipeline을 사용하는 상황이 많습니다.pipeline을 사용하면 여러가지 장점이 있지만 대표적인 2가지 장점을 소개합니다.1. 이력관리 그리고 재현성 확보: pipeline을 다시 실행하면 동일한 결과를 얻을 수 있는 재현..

kubeflow volume이란?kubeflow는 kubernetes pvc를 대시보드에서 관리(생성, 수정, 삭제)할 수 있습니다. 또한, pvc에 있는 데이터를 조회할 수 있고 업로드, 다운로드 기능을 제공합니다. pvc는 kubeflow에서 volume이라고 부릅니다. volume이 필요한 이유volume은 notebook에서 작업할때 작업 데이터를 영구 저장할때 필요합니다. notebook이외에 데이터셋을 영구저장할 때 사용합니다. volume 생성과 notebook에 volume 마운트volume 생성은 매우 쉽습니다. 이름, 용량, access mode를 설정하면 됩니다. 생성한 볼륨은 notebook 생성 또는 기존 notebook에 설정페이지에서 existing volume 메뉴에서 설정..