kubeflow volume이란?

 

 

kubeflow volume이란?

kubeflow는 kubernetes pvc를 대시보드에서 관리(생성, 수정, 삭제)할 수 있습니다. 또한, pvc에 있는 데이터를 조회할 수 있고 업로드, 다운로드 기능을 제공합니다. pvc는 kubeflow에서 volume이라고 부릅니다.

 

volume이 필요한 이유

volume은 notebook에서 작업할때 작업 데이터를 영구 저장할때 필요합니다. notebook이외에 데이터셋을 영구저장할 때 사용합니다.

 

volume 생성과 notebook에 volume 마운트

volume 생성은 매우 쉽습니다. 이름, 용량, access mode를 설정하면 됩니다.

 

생성한 볼륨은 notebook 생성 또는 기존 notebook에 설정페이지에서 existing volume 메뉴에서 설정합니다.

 

volume 데이터 관리

volume데이터는 "Open PVC Viewer" 기능을 통해 조회할 수 있습니다. 조회 뿐만 아니라 업로드, 다운로드, 이동, 삭제를 할 수 있습니다.

 

open PVC viewer는 pod로 실행됩니다.

 

 

관리자가 관리해야할 것

관리자가 volume을 관리하기 위해서 2가지를 고민할 것 같습니다.

1. 동적 프로비저닝을 활성화할 것인가?
동적 프로비저닝의 장점은 pv를 관리 안해도 됩니다. pvc가 생성되면 자동으로 pv를 만들기 때문입니다. 하지만, AI모델을 만들때 사용하는 데이터 크기는 작게는 몇10GB에서 많게는 테라단위까지 가기 때문에, 동적 프로미저닝으로 pv를 자동으로 생성하게 할지 고민해야 합니다.

2. pvc viewer를 활성화 할 것인가?
많은 회사는 사내 데이터를 허용된 곳 말고는 업로드하는 것을 막고 있습니다. 특히 AWS와 같은 public cloud는 더더욱 막고 있습니다. 따라서 데이터를 업로드하고 다운로드할 수 있는 pvc viewer가 보안 정책에 어긋날 수 있기 때문에 pvc viewer를 사용할때는 보안정책에 어긋나지 않은지 확인해야 합니다.