데이터 거버넌스

# 데이터 거버넌스 프레임워크 구현 예제
from dataclasses import dataclass, field
from datetime import datetime
from typing import List, Optional, Dict
from enum import Enum
import hashlib
import json

class DataClassification(Enum):
    PUBLIC = "public"
    INTERNAL = "internal"
    CONFIDENTIAL = "confidential"
    RESTRICTED = "restricted"  # 개인정보, 민감정보

class LicenseType(Enum):
    CC_BY = "CC-BY-4.0"
    CC_BY_NC = "CC-BY-NC-4.0"
    COMMERCIAL = "Commercial"
    INTERNAL_ONLY = "Internal-Only"

@dataclass
class DatasetGovernance:
    """AI 학습용 데이터셋 거버넌스 메타데이터"""
    dataset_id: str
    name: str
    version: str
    classification: DataClassification
    license: LicenseType

    # EU AI Act 제10조 요구사항
    source: str                          # 데이터 출처
    collection_date: datetime            # 수집 일시
    collection_method: str               # 수집 방법
    legal_basis: str                     # 법적 근거 (동의, 계약 등)

    # 데이터 품질 정보
    record_count: int
    quality_score: float                 # 0.0 ~ 1.0
    bias_assessment: Dict[str, float]    # 편향 평가 결과

    # 접근 제어
    data_steward: str                    # 담당자
    access_groups: List[str]             # 접근 가능 그룹
    retention_period_days: int           # 보존 기간

    # 처리 이력
    preprocessing_steps: List[str] = field(default_factory=list)
    last_updated: datetime = field(default_factory=datetime.now)

    def generate_checksum(self) -> str:
        """데이터 무결성 검증용 체크섬"""
        content = f"{self.dataset_id}:{self.version}:{self.record_count}"
        return hashlib.sha256(content.encode()).hexdigest()[:16]

    def validate_ai_act_compliance(self) -> Dict[str, bool]:
        """EU AI Act 제10조 컴플라이언스 검증"""
        return {
            "has_source_documentation": bool(self.source),
            "has_legal_basis": bool(self.legal_basis),
            "quality_threshold_met": self.quality_score >= 0.8,
            "bias_assessed": len(self.bias_assessment) > 0,
            "access_controlled": len(self.access_groups) > 0,
            "has_steward": bool(self.data_steward),
        }

    def to_audit_log(self) -> str:
        """감사 로그용 JSON 출력"""
        return json.dumps({
            "dataset_id": self.dataset_id,
            "version": self.version,
            "checksum": self.generate_checksum(),
            "compliance": self.validate_ai_act_compliance(),
            "timestamp": datetime.now().isoformat()
        }, indent=2)

# 사용 예시
dataset = DatasetGovernance(
    dataset_id="DS-2024-001",
    name="고객 피드백 분류 데이터셋",
    version="2.1.0",
    classification=DataClassification.CONFIDENTIAL,
    license=LicenseType.INTERNAL_ONLY,
    source="내부 고객센터 시스템",
    collection_date=datetime(2024, 1, 15),
    collection_method="시스템 자동 수집 (동의 기반)",
    legal_basis="개인정보보호법 제15조 제1항 제1호 (동의)",
    record_count=50000,
    quality_score=0.92,
    bias_assessment={"gender": 0.03, "age": 0.05},
    data_steward="김데이터 (data-team@company.com)",
    access_groups=["ai-team", "data-team"],
    retention_period_days=365,
    preprocessing_steps=["PII 마스킹", "중복 제거", "라벨 검증"]
)

# 컴플라이언스 검증
compliance = dataset.validate_ai_act_compliance()
print(f"AI Act 준수 상태: {all(compliance.values())}")