Ollama

# Ollama 사용 예제
# 설치: curl -fsSL https://ollama.com/install.sh | sh

# ===== 터미널에서 기본 사용 =====
# ollama pull llama3.2        # 모델 다운로드
# ollama run llama3.2         # 대화 시작
# ollama list                 # 설치된 모델 목록

# ===== Python SDK 사용 =====
# pip install ollama

import ollama

# 1. 기본 채팅
response = ollama.chat(
    model='llama3.2',
    messages=[
        {'role': 'user', 'content': '파이썬으로 퀵소트 구현해줘'}
    ]
)
print(response['message']['content'])

# 2. 스트리밍 응답
for chunk in ollama.chat(
    model='llama3.2',
    messages=[{'role': 'user', 'content': '인공지능이란?'}],
    stream=True
):
    print(chunk['message']['content'], end='', flush=True)

# 3. 시스템 프롬프트 설정
response = ollama.chat(
    model='llama3.2',
    messages=[
        {'role': 'system', 'content': '당신은 친절한 한국어 AI 어시스턴트입니다.'},
        {'role': 'user', 'content': '오늘 날씨 어때?'}
    ]
)

# ===== OpenAI 호환 API 사용 =====
# pip install openai
from openai import OpenAI

client = OpenAI(
    base_url='http://localhost:11434/v1',  # Ollama 서버
    api_key='ollama'  # 아무 값이나 가능
)

response = client.chat.completions.create(
    model='llama3.2',
    messages=[
        {'role': 'user', 'content': 'Hello, how are you?'}
    ]
)
print(response.choices[0].message.content)

# ===== 모델 커스터마이징 (Modelfile) =====
modelfile_content = """
FROM llama3.2
SYSTEM "당신은 한국어 번역 전문가입니다. 영어를 자연스러운 한국어로 번역합니다."
PARAMETER temperature 0.3
"""

# ollama create translator -f Modelfile
# ollama run translator

# ===== 임베딩 생성 =====
embeddings = ollama.embed(
    model='nomic-embed-text',
    input='This is a test sentence'
)
print(f"임베딩 차원: {len(embeddings['embeddings'][0])}")