랜덤 포레스트

# 랜덤 포레스트 분류 및 피처 중요도 분석
from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split, cross_val_score
import pandas as pd
import numpy as np

# 데이터 로드
iris = load_iris()
X, y = iris.data, iris.target
feature_names = iris.feature_names

X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.2, random_state=42
)

# 랜덤 포레스트 모델 생성
rf = RandomForestClassifier(
    n_estimators=100,      # 트리 개수
    max_depth=10,          # 최대 깊이
    min_samples_split=5,   # 분할 최소 샘플
    max_features='sqrt',   # 피처 선택: sqrt(n_features)
    oob_score=True,        # OOB 점수 계산
    random_state=42,
    n_jobs=-1              # 병렬 처리
)

# 학습 및 평가
rf.fit(X_train, y_train)

print(f"테스트 정확도: {rf.score(X_test, y_test):.4f}")
print(f"OOB 점수: {rf.oob_score_:.4f}")

# 교차 검증
cv_scores = cross_val_score(rf, X, y, cv=5)
print(f"5-Fold CV: {cv_scores.mean():.4f} (+/- {cv_scores.std()*2:.4f})")

# 피처 중요도 분석
importance_df = pd.DataFrame({
    'feature': feature_names,
    'importance': rf.feature_importances_
}).sort_values('importance', ascending=False)

print("\n📊 피처 중요도:")
for _, row in importance_df.iterrows():
    bar = '█' * int(row['importance'] * 50)
    print(f"  {row['feature']:20s} {row['importance']:.3f} {bar}")