LiteLLM QuickStart - 모델 등록하고 호출해보기

이 글은 LiteLLM에서 OpenAI 모델을 등록해보고 호출하는 QuickStart입니다. LiteLLM 설정 하나하나를 깊게 파기보다, LiteLLM에 모델을 등록과 호출과정을 “이렇게 흘러가는구나”를 훓어봅니다.

 

모델 등록

모델 등록은 LiteLLM이 호출할 수 있는 모델을 설정하는 과정입니다.

 

좌측 메뉴에서 Models + Endpoints → Add Model을 선택합니다. 아래 값을 입력한 뒤 Add Model을 누릅니다.

 

필드를 입력합니다.
- provider: OpenAI
- LiteLLM Model Name: OpenAI 모델, 이 예제에서는 gpt-4.1-nano 사용
- Mode(option): Chat, 채팅에 잘 대답하도록 설정
- OpenAI API key: OpenAI 플랫폼에서 발급한 API key, Open AI key는 LiteLLM에서만 사용하고 클라이언트는 사용하지 않습니다. 클라이언트에는 뒤에서 만들 virtual key를 사용합니다.

 

필드를 입력한 뒤 Test connect를 눌러 OpenAI 모델이 실제로 호출되는지 확인합니다.

 

호출이 되면 오른쪽 아래 Add model 버튼을 눌러 모델을 등록합니다.

 

모델 조회

등록한 모델은 All model에서 확인할 수 있습니다.

 

모델 호출 테스트

Playground는 LitemLLM API key없이 UI에서 곧바로 호출을 확인하는 자리입니다. 아래 API 호출로 넘어가기 전에, 등록한 모델이 응답을 돌려주는지 먼저 확인합니다.

 

Virtual key로 모델 호출

LiteLLM에 등록한 모델을 외부에서 호출하려면 virtual key가 필요합니다. virtual key는 LiteLLM이 발급하는 access token입니다.

 

virtual key 생성

왼쪽 메뉴의 Virtual keys에서 key를 생성합니다.

 

Owned by는 you를 선택하고, key 이름을 입력, 모델을 선택합니다. 그리고 Create key 버튼을 눌러 key를 생성합니다.\

 

key를 생성하면 화면에 key가 출력됩니다. 이때 한 번만 보이므로 안전한 곳에 보관합니다.

 

발급받은 virtual key로 LiteLLM API를 호출합니다. Authorization 헤더에는 provider key가 아니라 virtual key를 넣고, model에는 등록할 때 지정한 Model Name (Public) 값을 넣습니다. 클라이언트가 아는 것은 이 두 값뿐입니다.

curl http://127.0.0.1:4000/v1/chat/completions \
  -H "Authorization: Bearer sk-<virtual-key>" \
  -H "Content-Type: application/json" \
  -d '{"model":"gpt-4o","messages":[{"role":"user","content":"hi"}]}'

 

 

참고자료

• https://docs.litellm.ai/docs/proxy/model_management
• https://docs.litellm.ai/docs/proxy/ui_store_model_db_setting#zero-downtime-updates