SHAP

import shap
import xgboost as xgb
from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split

# 데이터 로드 및 분할
data = load_breast_cancer()
X_train, X_test, y_train, y_test = train_test_split(
    data.data, data.target, test_size=0.2, random_state=42
)

# XGBoost 모델 학습
model = xgb.XGBClassifier(n_estimators=100, max_depth=4)
model.fit(X_train, y_train)

# SHAP Explainer 생성 (TreeSHAP 사용)
explainer = shap.TreeExplainer(model)

# 테스트 데이터에 대한 SHAP 값 계산
shap_values = explainer.shap_values(X_test)

# 전체 피처 중요도 시각화 (Summary Plot)
shap.summary_plot(shap_values, X_test, feature_names=data.feature_names)

# 개별 예측 설명 (Force Plot)
shap.force_plot(
    explainer.expected_value,
    shap_values[0],
    X_test[0],
    feature_names=data.feature_names
)

# Waterfall Plot (단일 샘플 상세 분석)
shap.waterfall_plot(
    shap.Explanation(
        values=shap_values[0],
        base_values=explainer.expected_value,
        data=X_test[0],
        feature_names=data.feature_names
    )
)

# SHAP 값 해석:
# - 양수: 해당 피처가 예측을 높이는 방향으로 기여
# - 음수: 해당 피처가 예측을 낮추는 방향으로 기여
# - 절대값: 기여의 크기

# === DeepSHAP: 딥러닝 모델 설명 ===
import tensorflow as tf

# 딥러닝 모델 생성
deep_model = tf.keras.Sequential([
    tf.keras.layers.Dense(64, activation='relu', input_shape=(30,)),
    tf.keras.layers.Dense(32, activation='relu'),
    tf.keras.layers.Dense(1, activation='sigmoid')
])
deep_model.compile(optimizer='adam', loss='binary_crossentropy')
deep_model.fit(X_train, y_train, epochs=10, verbose=0)

# DeepExplainer 사용
deep_explainer = shap.DeepExplainer(deep_model, X_train[:100])
deep_shap_values = deep_explainer.shap_values(X_test[:10])

# === KernelSHAP: 모델 불가지론 (어떤 모델이든 적용) ===
def model_predict(X):
    """블랙박스 모델의 예측 함수"""
    return model.predict_proba(X)[:, 1]

kernel_explainer = shap.KernelExplainer(model_predict, shap.sample(X_train, 100))
kernel_shap_values = kernel_explainer.shap_values(X_test[:5], nsamples=500)

# === 전역 피처 중요도 (Global Feature Importance) ===
# 모든 샘플에 대한 SHAP 값의 절대값 평균
global_importance = np.abs(shap_values).mean(axis=0)
feature_ranking = sorted(
    zip(data.feature_names, global_importance),
    key=lambda x: x[1], reverse=True
)
print("전역 피처 중요도 Top 5:")
for name, importance in feature_ranking[:5]:
    print(f"  {name}: {importance:.4f}")

# === Dependence Plot: 피처 간 상호작용 분석 ===
shap.dependence_plot(
    "mean radius",
    shap_values, X_test,
    feature_names=data.feature_names,
    interaction_index="mean texture"  # 상호작용 피처
)

# === Force Plot: 개별 예측 설명 ===
# 단일 샘플의 SHAP 값을 막대 그래프로 표시
shap.force_plot(
    explainer.expected_value,
    shap_values[0],
    X_test[0],
    feature_names=data.feature_names,
    matplotlib=True
)

# === Waterfall Plot: 기준값에서 예측까지 ===
# 각 피처가 예측을 어떻게 밀어올리고 내리는지 시각화
shap.waterfall_plot(
    shap.Explanation(
        values=shap_values[0],
        base_values=explainer.expected_value,
        data=X_test[0],
        feature_names=data.feature_names
    )
)

# === Batch 처리 및 저장 ===
# 대규모 데이터셋에서 효율적으로 SHAP 계산
def compute_shap_batch(model, X, batch_size=100):
    """배치 단위로 SHAP 값 계산"""
    all_shap_values = []
    explainer = shap.TreeExplainer(model)

    for i in range(0, len(X), batch_size):
        batch = X[i:i+batch_size]
        shap_values = explainer.shap_values(batch)
        all_shap_values.append(shap_values)

    return np.concatenate(all_shap_values, axis=0)

# SHAP 값 저장 및 로드
import pickle
with open('shap_values.pkl', 'wb') as f:
    pickle.dump(shap_values, f)

# === LLM/Transformer 모델 SHAP ===
# Transformer 기반 모델에도 SHAP 적용 가능
# PartitionExplainer: 토큰 수준 기여도 분석

import shap

def explain_text_classification(text, model, tokenizer):
    """텍스트 분류 모델의 SHAP 분석"""

    def predict_fn(texts):
        inputs = tokenizer(texts, return_tensors='pt', padding=True)
        outputs = model(**inputs)
        return outputs.logits.softmax(dim=-1).detach().numpy()

    explainer = shap.Explainer(predict_fn, tokenizer)
    shap_values = explainer([text])
    return shap_values

# SHAP은 모델 디버깅과 규제 대응의 필수 도구입니다