파인튜닝

# LoRA 파인튜닝 예제
# pip install transformers peft datasets accelerate bitsandbytes

from transformers import (
    AutoModelForCausalLM, AutoTokenizer,
    TrainingArguments, Trainer, DataCollatorForLanguageModeling
)
from peft import LoraConfig, get_peft_model, prepare_model_for_kbit_training
from datasets import load_dataset
import torch

# 4비트 양자화로 모델 로드 (메모리 절약)
model_name = "meta-llama/Llama-2-7b-hf"
tokenizer = AutoTokenizer.from_pretrained(model_name)
tokenizer.pad_token = tokenizer.eos_token

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    load_in_4bit=True,
    device_map="auto",
    torch_dtype=torch.float16,
)

# LoRA 설정
lora_config = LoraConfig(
    r=16,                    # LoRA rank
    lora_alpha=32,           # 스케일링 파라미터
    target_modules=["q_proj", "v_proj", "k_proj", "o_proj"],  # 적용 레이어
    lora_dropout=0.05,
    bias="none",
    task_type="CAUSAL_LM"
)

# PEFT 모델 생성
model = prepare_model_for_kbit_training(model)
model = get_peft_model(model, lora_config)

# 학습 가능한 파라미터 수 확인
trainable_params = sum(p.numel() for p in model.parameters() if p.requires_grad)
total_params = sum(p.numel() for p in model.parameters())
print(f"학습 가능 파라미터: {trainable_params:,} / {total_params:,} ({100 * trainable_params / total_params:.2f}%)")

# 데이터셋 준비 (예: 한국어 지시 데이터)
def preprocess(example):
    prompt = f"### 질문: {example['instruction']}\n\n### 답변: {example['output']}"
    return tokenizer(prompt, truncation=True, max_length=512)

dataset = load_dataset("your_dataset", split="train")
tokenized_dataset = dataset.map(preprocess, remove_columns=dataset.column_names)

# 학습 설정
training_args = TrainingArguments(
    output_dir="./lora-output",
    num_train_epochs=3,
    per_device_train_batch_size=4,
    gradient_accumulation_steps=4,
    learning_rate=2e-4,
    fp16=True,
    logging_steps=10,
    save_steps=100,
)

# 학습 실행
trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=tokenized_dataset,
    data_collator=DataCollatorForLanguageModeling(tokenizer, mlm=False),
)
trainer.train()

# 어댑터 저장
model.save_pretrained("./lora-adapter")

# OpenAI 파인튜닝 API
# pip install openai

from openai import OpenAI
import json

client = OpenAI()

# 1. 학습 데이터 준비 (JSONL 형식)
training_data = [
    {
        "messages": [
            {"role": "system", "content": "당신은 친절한 고객 상담원입니다."},
            {"role": "user", "content": "배송이 언제 오나요?"},
            {"role": "assistant", "content": "주문 번호를 알려주시면 배송 현황을 확인해드리겠습니다."}
        ]
    },
    # ... 더 많은 예시
]

# JSONL 파일로 저장
with open("training_data.jsonl", "w", encoding="utf-8") as f:
    for item in training_data:
        f.write(json.dumps(item, ensure_ascii=False) + "\n")

# 2. 파일 업로드
file = client.files.create(
    file=open("training_data.jsonl", "rb"),
    purpose="fine-tune"
)
print(f"파일 ID: {file.id}")

# 3. 파인튜닝 작업 생성
fine_tune_job = client.fine_tuning.jobs.create(
    training_file=file.id,
    model="gpt-4o-mini-2024-07-18",  # 또는 gpt-3.5-turbo
    hyperparameters={
        "n_epochs": 3,
        "learning_rate_multiplier": 1.0,
    }
)
print(f"작업 ID: {fine_tune_job.id}")

# 4. 작업 상태 확인
job = client.fine_tuning.jobs.retrieve(fine_tune_job.id)
print(f"상태: {job.status}")

# 5. 완료 후 파인튜닝 모델 사용
# fine_tuned_model = "ft:gpt-4o-mini:your-org::xxxx"
# response = client.chat.completions.create(
#     model=fine_tuned_model,
#     messages=[{"role": "user", "content": "배송 문의드립니다"}]
# )