Instruction Tuning

from transformers import AutoModelForSeq2SeqLM, AutoTokenizer, Trainer, TrainingArguments
from datasets import Dataset
import torch

# FLAN-T5 모델 로드
model_name = "google/flan-t5-base"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSeq2SeqLM.from_pretrained(model_name)

# Instruction Tuning 데이터셋 예시
instruction_data = [
    {"instruction": "다음 문장을 요약해줘:", "input": "인공지능은 컴퓨터 과학의 한 분야로, 기계가 인간처럼 학습하고 추론하는 능력을 갖추게 하는 기술입니다.", "output": "AI는 기계에 학습과 추론 능력을 부여하는 기술입니다."},
    {"instruction": "영어로 번역해줘:", "input": "안녕하세요, 만나서 반갑습니다.", "output": "Hello, nice to meet you."},
    {"instruction": "감정을 분류해줘:", "input": "이 영화 정말 최고였어요!", "output": "긍정"},
]

# 데이터 전처리
def preprocess(examples):
    inputs = [f"{ex['instruction']} {ex['input']}" for ex in examples]
    targets = [ex['output'] for ex in examples]

    model_inputs = tokenizer(inputs, max_length=256, truncation=True, padding="max_length")
    labels = tokenizer(targets, max_length=128, truncation=True, padding="max_length")

    model_inputs["labels"] = labels["input_ids"]
    return model_inputs

dataset = Dataset.from_list(instruction_data)
tokenized_dataset = dataset.map(lambda x: preprocess([x]), batched=False)

# 학습 설정
training_args = TrainingArguments(
    output_dir="./flan-t5-instruction-tuned",
    num_train_epochs=3,
    per_device_train_batch_size=4,
    learning_rate=5e-5,
    save_strategy="epoch"
)

trainer = Trainer(model=model, args=training_args, train_dataset=tokenized_dataset)
trainer.train()
print("Instruction Tuning 완료!")