LM studio 설치와 LLM 모델 다운로드

1.  개요

이 글은 LM studio 설치방법과 LM studio에서 허깅스페이스에 공개된 모델 설치하는 방법을 설명합니다.

 

2.  LM studio

LM studio는 LLM 모델을 로컬에서 쉽게 사용할 수 있게 도와주는 데스크탑앱니다. 마치 docker를 쉽게 사용할 수 있도록 도와주는 docker desktop과 비슷한 기능을 제공합니다.

• 허깅스페이스에 공개된 LLM 모델 검색과 다운로드
• 로컬 LLM 서버 실행
• LLM 모델로 채팅

 

3.  LM studio 설치

LM studio 공식 홈페이지에서 설치 파일을 다운로드 하고 실행합니다.

• LM studio 공식 홈페이지 링크: https://lmstudio.ai/
  

 

4.   허깅 스페이스에 공개된 모델 다운로드

LM studio 왼쪽 메뉴에서 돋보기 아이콘을 클릭합니다.

 

 

1. 허깅 스페이스에 공개된 모델 또는 닉네임을 입력합니다.
2. 모델을 클릭합니다.
3. 모델을 확인합니다. 특히 모델 용량을 확인해주세요.
4. 모델을 확인하고 다운로드 받습니다.
   

 

5.    로컬 서버 실행

로컬 서버는 가지고 있는 모델을 API로 호출할 수 있도록 서버로 실행합니다. 개발할 때 사용하거나 다른 도구와 연동(예: obsidian)할 때 사용합니다.

1. LM studio 왼쪽 메뉴에서 터미널 아이콘을 클릭합니다.
2. 서버 모드를 활성화 합니다.
3. 서버 주소를 확인합니다.
   

 

참고자료

• https://youtu.be/u-JFAn5atVE?feature=shared