🏗️ 아키텍처 / 규제

거버넌스

Governance

조직의 시스템, 데이터, AI를 관리하기 위한 정책, 프로세스, 역할의 체계입니다. IT 거버넌스, 데이터 거버넌스, AI 거버넌스로 구분되며, EU AI Act 시행으로 AI 거버넌스의 중요성이 급증하고 있습니다.

📖 상세 설명

거버넌스(Governance)는 조직이 목표를 달성하기 위해 자원을 관리하고 의사결정을 내리는 체계적인 프레임워크입니다. IT 분야에서는 IT 거버넌스, 데이터 거버넌스, 최근에는 AI 거버넌스로 확장되어 각 영역의 리스크 관리, 규제 준수, 가치 창출을 담당합니다. 거버넌스 없이는 조직의 기술 자산이 통제 불능 상태가 됩니다.

IT 거버넌스는 1990년대 ISACA의 COBIT 프레임워크에서 시작되었고, 데이터 거버넌스는 GDPR(2018년) 이후 필수가 되었습니다. AI 거버넌스는 2024년 EU AI Act 발효를 기점으로 법적 의무가 되었으며, 2026년부터 고위험 AI 시스템에 대한 규제가 본격 시행됩니다. 한국도 2026년 AI 기본법 시행을 앞두고 있습니다.

거버넌스의 핵심 요소는 3가지입니다. 첫째, 정책(Policy)은 무엇을 해야 하고 하지 말아야 하는지 명문화합니다. 둘째, 프로세스(Process)는 정책을 실행하는 절차를 정의합니다. 셋째, 역할(Role)은 누가 무엇을 담당하는지 명확히 합니다. AI 거버넌스에서는 여기에 모델 카드, 감사 로그, 영향 평가가 추가됩니다.

실무에서 거버넌스는 비용이 아닌 투자입니다. 제대로 된 데이터 거버넌스 없이 AI를 개발하면 편향된 모델이 나오고, AI 거버넌스 없이 서비스를 출시하면 규제 위반으로 최대 전 세계 매출의 7%까지 벌금을 받을 수 있습니다. Gartner에 따르면 2025년까지 대기업 75%가 AI 거버넌스 프레임워크를 도입할 것으로 예측됩니다.

📊 거버넌스 유형 비교

유형 주요 관심사 핵심 프레임워크 법적 근거
IT 거버넌스 IT 투자, 리스크, 가치 COBIT, ITIL, ISO 38500 SOX(미국), K-SOX(한국)
데이터 거버넌스 데이터 품질, 접근, 보안 DAMA-DMBOK, DCAM GDPR, CCPA, 개인정보보호법
AI 거버넌스 공정성, 투명성, 책임성 NIST AI RMF, ISO 42001 EU AI Act, AI 기본법(한국)
클라우드 거버넌스 비용, 보안, 규제 준수 CSA CCM, AWS WAF 클라우드 보안인증(CSAP)

💻 코드 예제

AI 거버넌스 체크리스트와 모델 카드를 자동 생성하는 Python 예제입니다.

# AI 거버넌스 체크리스트 시스템
from dataclasses import dataclass, field
from typing import List, Dict
from datetime import datetime
from enum import Enum

class RiskLevel(Enum):
    UNACCEPTABLE = "unacceptable"  # EU AI Act 금지
    HIGH = "high"                   # 적합성 평가 필수
    LIMITED = "limited"             # 투명성 의무
    MINIMAL = "minimal"             # 자율 규제

class GovernanceStatus(Enum):
    NOT_STARTED = "not_started"
    IN_PROGRESS = "in_progress"
    COMPLETED = "completed"

@dataclass
class GovernanceChecklist:
    """AI 거버넌스 체크리스트 - EU AI Act 준수"""
    ai_system_name: str
    risk_level: RiskLevel
    owner: str
    created_at: datetime = field(default_factory=datetime.now)
    items: Dict[str, GovernanceStatus] = field(default_factory=dict)

    def __post_init__(self):
        if self.risk_level == RiskLevel.HIGH:
            self.items = {
                "data_quality_assessment": GovernanceStatus.NOT_STARTED,
                "bias_detection_completed": GovernanceStatus.NOT_STARTED,
                "training_data_documented": GovernanceStatus.NOT_STARTED,
                "model_card_created": GovernanceStatus.NOT_STARTED,
                "human_oversight_defined": GovernanceStatus.NOT_STARTED,
                "risk_assessment_done": GovernanceStatus.NOT_STARTED,
                "explainability_implemented": GovernanceStatus.NOT_STARTED,
                "technical_documentation": GovernanceStatus.NOT_STARTED,
            }

    def update_status(self, item: str, status: GovernanceStatus):
        if item in self.items:
            self.items[item] = status
            print(f"✅ {item}: {status.value}")

    def get_compliance_score(self) -> float:
        if not self.items:
            return 0.0
        completed = sum(1 for s in self.items.values()
                       if s == GovernanceStatus.COMPLETED)
        return (completed / len(self.items)) * 100

    def get_report(self) -> str:
        score = self.get_compliance_score()
        return f"""
═══════════════════════════════════════════
   AI 거버넌스 준수 보고서
═══════════════════════════════════════════
시스템명: {self.ai_system_name}
위험 수준: {self.risk_level.value.upper()}
담당자: {self.owner}

📊 준수율: {score:.1f}%
{'✅ EU AI Act 준수 완료!' if score == 100 else '⚠️ 추가 조치 필요'}
"""

# 사용 예시
checklist = GovernanceChecklist(
    ai_system_name="AI 채용 추천 시스템",
    risk_level=RiskLevel.HIGH,
    owner="AI Governance Team"
)
checklist.update_status("data_quality_assessment", GovernanceStatus.COMPLETED)
print(checklist.get_report())
# 모델 카드 자동 생성 - AI 거버넌스 필수 문서
from dataclasses import dataclass
from typing import List, Dict
from datetime import datetime

@dataclass
class ModelCard:
    """모델 카드: AI 모델의 투명성 문서"""
    model_name: str
    model_version: str
    developers: List[str]
    intended_use: str
    out_of_scope_use: str
    training_data: Dict[str, str]
    evaluation_metrics: Dict[str, float]
    fairness_analysis: Dict[str, Dict[str, float]]
    limitations: List[str]

    def to_markdown(self) -> str:
        md = f"""# Model Card: {self.model_name}

## 모델 개요
| 항목 | 내용 |
|------|------|
| 모델명 | {self.model_name} |
| 버전 | {self.model_version} |
| 개발자 | {', '.join(self.developers)} |

## 의도된 사용
{self.intended_use}

### 범위 외 사용 (금지)
{self.out_of_scope_use}

## 성능 지표
"""
        for metric, value in self.evaluation_metrics.items():
            md += f"- {metric}: {value:.4f}\n"

        md += "\n## 공정성 분석\n"
        for group, metrics in self.fairness_analysis.items():
            md += f"### {group}\n"
            for metric, value in metrics.items():
                md += f"- {metric}: {value:.4f}\n"

        return md

# 사용 예시
model_card = ModelCard(
    model_name="채용 적합도 예측 모델",
    model_version="2.1.0",
    developers=["AI팀", "HR혁신팀"],
    intended_use="내부 채용 프로세스에서 서류 전형 보조 도구",
    out_of_scope_use="최종 채용 결정의 단독 기준으로 사용 금지",
    training_data={"데이터셋 크기": "100,000 지원서"},
    evaluation_metrics={"Accuracy": 0.847, "F1-Score": 0.823},
    fairness_analysis={"성별": {"TPR 차이": 0.02}},
    limitations=["경력 3년 미만 지원자 예측 정확도 저하"],
)
print(model_card.to_markdown())

🗣️ 실무 대화 예시

💬 경영진 보고에서

"우리 AI 챗봇은 EU AI Act 상 '제한된 위험' 수준으로 분류됩니다. 투명성 의무만 충족하면 되므로, 사용자에게 AI 상호작용임을 명시하는 것으로 규제 준수가 가능합니다. 고위험 AI인 채용 시스템은 별도 적합성 평가가 필요합니다."

💬 기술 회의에서

"데이터 거버넌스 없이 AI 모델 학습하면 안 됩니다. 학습 데이터의 출처, 라이선스, 개인정보 처리 현황을 Data Catalog에 먼저 등록하고, DPO 승인을 받은 후 학습 파이프라인에 연결해주세요."

💬 감사 대응에서

"모델 레지스트리에 모든 버전의 모델 카드가 있고, MLflow로 학습 실험 이력이 추적되고 있습니다. 의사결정 로그는 90일간 보관되며, 편향 모니터링 대시보드에서 실시간 지표를 확인할 수 있습니다."

⚠️ 주의사항

문서만 만들고 실행하지 않음

거버넌스 정책 문서만 있고 실제로 따르지 않으면 규제 위반 시 '의도적 태만'으로 간주되어 벌금이 가중됩니다. 정책은 자동화된 프로세스와 연결되어야 합니다.

IT 부서에만 책임 전가

AI 거버넌스는 기술팀뿐 아니라 법무, 인사, 윤리 위원회의 참여가 필수입니다. EU AI Act는 '조직 전체'의 책임을 명시합니다.

올바른 접근

RACI 매트릭스로 역할을 명확히 하고, 거버넌스 체크리스트를 CI/CD 파이프라인에 통합하세요. 모델 배포 전 자동 검증을 통과해야 프로덕션에 나갈 수 있도록 Gate를 설정합니다.

🔥 실제 사례

Amazon 2018

AI 채용 도구 성차별 문제로 폐기

원인: 10년간의 남성 위주 채용 데이터로 학습, 데이터 거버넌스 부재

영향: 여성 지원자에게 불리한 점수 부여, 시스템 전면 폐기

교훈: 학습 데이터의 편향 검증과 공정성 모니터링이 AI 거버넌스의 핵심

📎 Reuters 기사
Clearview AI 2022

GDPR 위반으로 2000만 유로 벌금

원인: 동의 없이 수십억 장의 얼굴 이미지 수집, 데이터 거버넌스 무시

영향: 프랑스, 이탈리아, 영국 등에서 각각 벌금 부과

교훈: 개인정보 수집 시 명시적 동의와 법적 근거 확보 필수

📎 CNIL 공식 발표

📝 이해도 퀴즈

Q1. EU AI Act에서 '고위험 AI'로 분류되는 시스템이 아닌 것은?

Q2. 모델 카드(Model Card)의 주요 목적은?

Q3. EU AI Act 위반 시 최대 벌금은?

🔗 관련 용어

📚 더 배우기