악분의 블로그

개요이 글은 쿠버네티스 환경에서 사내 데이터과학자 만든 AI모델을, 사내에서 같이 사용할 수 있는 방법을 설명합니다.데모 영상(19초)에서 보는 것 처럼, chatGPT와 거의 비슷한 웹 페이지에 사내에서 개발한 AI모델을 공유함으로써, 회사원들이 쉽게 사내 AI를 사용하는게 목표입니다.데모영상: https://youtu.be/zmH1NWH8GbU?feature=shared&t=19 이전 글에서 설명한 것처럼 LM studio 등을 사용하면 AI 모델을 로컬에서 사용할 수 있습니다. 하지만 회사는 혼자서 일하는게 아니고 다른 사람과 협업을 하기 때문에, LM studio같이 AI 모델을 같이 사용할 수 있는 환경이 필요합니다.LM studio 설명: https://malwareanalysis.tisto..

25년 7월 우연히 제팀이 관리하는 서비스 중 하나가 ISMS-P 인증 대상이어서, 심사 인터뷰를 하로 갔습니다. ISMS-P 인증은 정보보호 및 개인정보보호 관리체계 인증을 의미하며, 기업이나 기관의 정보보호 및 개인정보보호를 위한 일련의 조치와 활동이 인증기준에 적합함을 한국인터넷진흥원(KISA) 또는 인증기관이 증명하는 제도입니다. 진행방식은 정말 면접처럼 진행했습니다. 서비스에 대해 소개를 하면 심사위원이 소개받은 서비스에 대해 한개한개 물어봅니다. 그리고 약관이 매우 중요합니다. 예를 들어 회원가입 약관을 모두 읽어보시고 법적으로 지켜야하는 약관을 전부 체크하십니다. 필수/선택 약관이 있는지, 개인정보처리수탁자가 명시되어 있는지 등을 봅니다. 기대했던 것 중에 암호 알고리즘 등을 물어볼 줄 알았..

들어가며안녕하세요. 이 글은 Github Pull Request에서 올라간 파일 중에 쿠버네티스 설정이 있으면, Github Copilot으로 리뷰 받는 방법을 설명합니다. Github Copilot code review를 사용하고 있다는 전제로 설명합니다. 요약copilot-instructions.md파일에 검사 받고 싶은 규칙을 마크다운 포맷으로 적으면, Copilot이 마크다운에 명시된 규칙대로 쿠버네티스 설정을 리뷰합니다.Pull Request예제는 저의 github repo에서 확인할 수 있습니다.Pull Request 리뷰 예제: https://github.com/choisungwook/portfolio/pull/210 원리Github copilot은 copilot-instructions...

아침 7시 40분쯤 메신저에서 긴급이라는 메세지가 보였습니다. 서비스 장애가 생겼다는 메세지였습니다. 출근하기 위해 현관문 앞까지 나갔는데 장애라는 키워드를 보자마자 다시 집에 들어가서 노트북을 열었습니다. 실제 서비스 장애가 있었지만 애플리케이션 에러가 없어 조금 늦게 장애를 발견했습니다. 장애가 난 아키텍처는 아래 그림과 같습니다. 애플리케이션은 스프링부트이고 EKS pod에서 실행되고 있었습니다. 클라이언트는 on premise에 위치하고 EKS pod API를 호출하기 위해 public ALB를 사용합니다. 몇십분이 지나서야 EKS에는 이상이 없는 것을 확인했습니다. 대신 ALB에 메트릭 이상현상이 있었습니다. ALB requests가 어느 순간부터 0이었습니다. ALB설정은 수정을 안했는데 어느..

주의사항Datadog에서 cloudwatch 메트릭기반으로 알람을 설정하면 실시간이 보장이 되지 않습니다. 그 이유를 예제와 함께 살펴보시죠.예제Datadog에서 AWS Cloudwatch ALB메트릭을 기반으로 알람을 설정했습니다. 알람은 1분마다 평가하고 평가지연 등 다른 옵션을 설정하지 않았습니다.만약 12:05분에 ALB Error Rate 알람 조건이 만족한다면, Datadog에서는 알람이 언제 울릴까요? 정답과 그 이유정답은 12:10이나 12:20분입니다.Datadog은 기본 설정으로 10분마다 cloudwatch 메트릭을 수집합니다. 따라서 12:05분의 ALB메트릭은 12:10이 지나야 datadog에 cloudwatch메트릭이 있습니다. 만약, cloudwatch 자체 지연이 발생한다..

MLOps 개론을 공부하기 위해 자료조사를 했었고, Datacamp가 MLOps 입문 공부하기 좋다고 생각했습니다. 강의 하나하나가 실습 위주 주 강의와 적당한 분량(2~4시간)이어서 맘에 들었습니다. 그리고 MLOps에 대한 간단한 로드맵을 제공하고 Datacamp 강의와 엮고 있어서 자료조사시간을 단축시켜줬습니다.- https://www.datacamp.com/blog/mlops-roadmap 1년 구독비용은 $330, 한국돈으로 약 40만원 입니다.