XGBoost

# XGBoost 분류 및 회귀 예제
import xgboost as xgb
import numpy as np
import pandas as pd
from sklearn.datasets import load_breast_cancer, load_diabetes
from sklearn.model_selection import train_test_split, cross_val_score
from sklearn.metrics import accuracy_score, mean_squared_error
import matplotlib.pyplot as plt

# ============================================
# 1. 분류 문제 (Classification)
# ============================================
print("=" * 50)
print("분류 문제: 유방암 진단")
print("=" * 50)

# 데이터 로드
cancer = load_breast_cancer()
X_clf, y_clf = cancer.data, cancer.target
X_train, X_test, y_train, y_test = train_test_split(
    X_clf, y_clf, test_size=0.2, random_state=42
)

# XGBoost 분류기 (scikit-learn API)
clf = xgb.XGBClassifier(
    n_estimators=100,        # 트리 개수
    max_depth=6,             # 트리 최대 깊이
    learning_rate=0.1,       # 학습률 (eta)
    subsample=0.8,           # 행 샘플링 비율
    colsample_bytree=0.8,    # 열 샘플링 비율
    reg_alpha=0.1,           # L1 정규화
    reg_lambda=1.0,          # L2 정규화
    use_label_encoder=False,
    eval_metric='logloss',
    random_state=42
)

# 학습 (early stopping 포함)
clf.fit(
    X_train, y_train,
    eval_set=[(X_test, y_test)],
    verbose=False
)

# 예측 및 평가
y_pred = clf.predict(X_test)
accuracy = accuracy_score(y_test, y_pred)
print(f"테스트 정확도: {accuracy:.4f}")

# 교차 검증
cv_scores = cross_val_score(clf, X_clf, y_clf, cv=5, scoring='accuracy')
print(f"5-Fold CV 정확도: {cv_scores.mean():.4f} (+/- {cv_scores.std()*2:.4f})")

# ============================================
# 2. 회귀 문제 (Regression)
# ============================================
print("\n" + "=" * 50)
print("회귀 문제: 당뇨병 진행도 예측")
print("=" * 50)

# 데이터 로드
diabetes = load_diabetes()
X_reg, y_reg = diabetes.data, diabetes.target
X_train_r, X_test_r, y_train_r, y_test_r = train_test_split(
    X_reg, y_reg, test_size=0.2, random_state=42
)

# XGBoost 회귀 (Native API - DMatrix 사용)
dtrain = xgb.DMatrix(X_train_r, label=y_train_r)
dtest = xgb.DMatrix(X_test_r, label=y_test_r)

params = {
    'objective': 'reg:squarederror',
    'max_depth': 4,
    'eta': 0.1,
    'subsample': 0.8,
    'colsample_bytree': 0.8,
    'seed': 42
}

# Early stopping으로 학습
evals = [(dtrain, 'train'), (dtest, 'eval')]
model = xgb.train(
    params,
    dtrain,
    num_boost_round=500,
    evals=evals,
    early_stopping_rounds=20,
    verbose_eval=False
)

# 예측 및 평가
y_pred_r = model.predict(dtest)
rmse = np.sqrt(mean_squared_error(y_test_r, y_pred_r))
print(f"테스트 RMSE: {rmse:.4f}")
print(f"최적 반복 횟수: {model.best_iteration}")

# ============================================
# 3. 피처 중요도 분석
# ============================================
print("\n" + "=" * 50)
print("피처 중요도 (분류 모델)")
print("=" * 50)

# 피처 중요도 (gain, weight, cover)
importance_types = ['weight', 'gain', 'cover']
for imp_type in importance_types:
    importance = clf.get_booster().get_score(importance_type=imp_type)
    if importance:
        sorted_imp = sorted(importance.items(), key=lambda x: x[1], reverse=True)[:5]
        print(f"\n{imp_type.upper()} 기준 Top 5:")
        for feat, score in sorted_imp:
            print(f"  {feat}: {score:.4f}")

# ============================================
# 4. 하이퍼파라미터 튜닝 가이드
# ============================================
print("\n" + "=" * 50)
print("하이퍼파라미터 튜닝 가이드")
print("=" * 50)

tuning_guide = """
1단계: 트리 구조 (과적합 제어)
   - max_depth: 3~10 (깊을수록 복잡)
   - min_child_weight: 1~10 (높을수록 보수적)

2단계: 샘플링 (분산 감소)
   - subsample: 0.6~0.9 (행 샘플링)
   - colsample_bytree: 0.6~0.9 (열 샘플링)

3단계: 정규화 (과적합 방지)
   - reg_alpha (L1): 0~1
   - reg_lambda (L2): 1~10

4단계: 학습률 및 트리 개수
   - learning_rate: 0.01~0.3
   - n_estimators: learning_rate와 반비례
"""
print(tuning_guide)