LM Studio

# LM Studio 로컬 서버 연동 (OpenAI 호환 API)
from openai import OpenAI

# LM Studio 서버 시작: 앱에서 "Start Server" 클릭
# 기본 주소: http://localhost:1234/v1

client = OpenAI(
    base_url="http://localhost:1234/v1",  # LM Studio 서버
    api_key="lm-studio"  # 아무 값이나 OK (로컬이라 인증 불필요)
)

# 1. 기본 대화
response = client.chat.completions.create(
    model="llama-3.2-3b-instruct",  # LM Studio에 로드된 모델명
    messages=[
        {"role": "system", "content": "당신은 유용한 AI 어시스턴트입니다."},
        {"role": "user", "content": "파이썬으로 피보나치 함수 작성해줘"}
    ],
    temperature=0.7,
    max_tokens=1024
)
print(response.choices[0].message.content)

# 2. Streaming 응답
stream = client.chat.completions.create(
    model="llama-3.2-3b-instruct",
    messages=[{"role": "user", "content": "한국의 수도는?"}],
    stream=True
)
for chunk in stream:
    if chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

# 3. LM Studio SDK (더 많은 기능)
# pip install lmstudio-sdk
from lmstudio import LMStudioClient

lm = LMStudioClient()
models = lm.list_models()  # 로드된 모델 목록
print(f"사용 가능 모델: {models}")

# 비용: $0 (전기세만, GPU 없이도 실행 가능)