거버넌스
Governance
조직의 시스템, 데이터, AI를 관리하기 위한 정책, 프로세스, 역할의 체계입니다. IT 거버넌스, 데이터 거버넌스, AI 거버넌스로 구분되며, EU AI Act 시행으로 AI 거버넌스의 중요성이 급증하고 있습니다.
Governance
조직의 시스템, 데이터, AI를 관리하기 위한 정책, 프로세스, 역할의 체계입니다. IT 거버넌스, 데이터 거버넌스, AI 거버넌스로 구분되며, EU AI Act 시행으로 AI 거버넌스의 중요성이 급증하고 있습니다.
거버넌스(Governance)는 조직이 목표를 달성하기 위해 자원을 관리하고 의사결정을 내리는 체계적인 프레임워크입니다. IT 분야에서는 IT 거버넌스, 데이터 거버넌스, 최근에는 AI 거버넌스로 확장되어 각 영역의 리스크 관리, 규제 준수, 가치 창출을 담당합니다. 거버넌스 없이는 조직의 기술 자산이 통제 불능 상태가 됩니다.
IT 거버넌스는 1990년대 ISACA의 COBIT 프레임워크에서 시작되었고, 데이터 거버넌스는 GDPR(2018년) 이후 필수가 되었습니다. AI 거버넌스는 2024년 EU AI Act 발효를 기점으로 법적 의무가 되었으며, 2026년부터 고위험 AI 시스템에 대한 규제가 본격 시행됩니다. 한국도 2026년 AI 기본법 시행을 앞두고 있습니다.
거버넌스의 핵심 요소는 3가지입니다. 첫째, 정책(Policy)은 무엇을 해야 하고 하지 말아야 하는지 명문화합니다. 둘째, 프로세스(Process)는 정책을 실행하는 절차를 정의합니다. 셋째, 역할(Role)은 누가 무엇을 담당하는지 명확히 합니다. AI 거버넌스에서는 여기에 모델 카드, 감사 로그, 영향 평가가 추가됩니다.
실무에서 거버넌스는 비용이 아닌 투자입니다. 제대로 된 데이터 거버넌스 없이 AI를 개발하면 편향된 모델이 나오고, AI 거버넌스 없이 서비스를 출시하면 규제 위반으로 최대 전 세계 매출의 7%까지 벌금을 받을 수 있습니다. Gartner에 따르면 2025년까지 대기업 75%가 AI 거버넌스 프레임워크를 도입할 것으로 예측됩니다.
| 유형 | 주요 관심사 | 핵심 프레임워크 | 법적 근거 |
|---|---|---|---|
| IT 거버넌스 | IT 투자, 리스크, 가치 | COBIT, ITIL, ISO 38500 | SOX(미국), K-SOX(한국) |
| 데이터 거버넌스 | 데이터 품질, 접근, 보안 | DAMA-DMBOK, DCAM | GDPR, CCPA, 개인정보보호법 |
| AI 거버넌스 | 공정성, 투명성, 책임성 | NIST AI RMF, ISO 42001 | EU AI Act, AI 기본법(한국) |
| 클라우드 거버넌스 | 비용, 보안, 규제 준수 | CSA CCM, AWS WAF | 클라우드 보안인증(CSAP) |
AI 거버넌스 체크리스트와 모델 카드를 자동 생성하는 Python 예제입니다.
# AI 거버넌스 체크리스트 시스템
from dataclasses import dataclass, field
from typing import List, Dict
from datetime import datetime
from enum import Enum
class RiskLevel(Enum):
UNACCEPTABLE = "unacceptable" # EU AI Act 금지
HIGH = "high" # 적합성 평가 필수
LIMITED = "limited" # 투명성 의무
MINIMAL = "minimal" # 자율 규제
class GovernanceStatus(Enum):
NOT_STARTED = "not_started"
IN_PROGRESS = "in_progress"
COMPLETED = "completed"
@dataclass
class GovernanceChecklist:
"""AI 거버넌스 체크리스트 - EU AI Act 준수"""
ai_system_name: str
risk_level: RiskLevel
owner: str
created_at: datetime = field(default_factory=datetime.now)
items: Dict[str, GovernanceStatus] = field(default_factory=dict)
def __post_init__(self):
if self.risk_level == RiskLevel.HIGH:
self.items = {
"data_quality_assessment": GovernanceStatus.NOT_STARTED,
"bias_detection_completed": GovernanceStatus.NOT_STARTED,
"training_data_documented": GovernanceStatus.NOT_STARTED,
"model_card_created": GovernanceStatus.NOT_STARTED,
"human_oversight_defined": GovernanceStatus.NOT_STARTED,
"risk_assessment_done": GovernanceStatus.NOT_STARTED,
"explainability_implemented": GovernanceStatus.NOT_STARTED,
"technical_documentation": GovernanceStatus.NOT_STARTED,
}
def update_status(self, item: str, status: GovernanceStatus):
if item in self.items:
self.items[item] = status
print(f"✅ {item}: {status.value}")
def get_compliance_score(self) -> float:
if not self.items:
return 0.0
completed = sum(1 for s in self.items.values()
if s == GovernanceStatus.COMPLETED)
return (completed / len(self.items)) * 100
def get_report(self) -> str:
score = self.get_compliance_score()
return f"""
═══════════════════════════════════════════
AI 거버넌스 준수 보고서
═══════════════════════════════════════════
시스템명: {self.ai_system_name}
위험 수준: {self.risk_level.value.upper()}
담당자: {self.owner}
📊 준수율: {score:.1f}%
{'✅ EU AI Act 준수 완료!' if score == 100 else '⚠️ 추가 조치 필요'}
"""
# 사용 예시
checklist = GovernanceChecklist(
ai_system_name="AI 채용 추천 시스템",
risk_level=RiskLevel.HIGH,
owner="AI Governance Team"
)
checklist.update_status("data_quality_assessment", GovernanceStatus.COMPLETED)
print(checklist.get_report())
# 모델 카드 자동 생성 - AI 거버넌스 필수 문서
from dataclasses import dataclass
from typing import List, Dict
from datetime import datetime
@dataclass
class ModelCard:
"""모델 카드: AI 모델의 투명성 문서"""
model_name: str
model_version: str
developers: List[str]
intended_use: str
out_of_scope_use: str
training_data: Dict[str, str]
evaluation_metrics: Dict[str, float]
fairness_analysis: Dict[str, Dict[str, float]]
limitations: List[str]
def to_markdown(self) -> str:
md = f"""# Model Card: {self.model_name}
## 모델 개요
| 항목 | 내용 |
|------|------|
| 모델명 | {self.model_name} |
| 버전 | {self.model_version} |
| 개발자 | {', '.join(self.developers)} |
## 의도된 사용
{self.intended_use}
### 범위 외 사용 (금지)
{self.out_of_scope_use}
## 성능 지표
"""
for metric, value in self.evaluation_metrics.items():
md += f"- {metric}: {value:.4f}\n"
md += "\n## 공정성 분석\n"
for group, metrics in self.fairness_analysis.items():
md += f"### {group}\n"
for metric, value in metrics.items():
md += f"- {metric}: {value:.4f}\n"
return md
# 사용 예시
model_card = ModelCard(
model_name="채용 적합도 예측 모델",
model_version="2.1.0",
developers=["AI팀", "HR혁신팀"],
intended_use="내부 채용 프로세스에서 서류 전형 보조 도구",
out_of_scope_use="최종 채용 결정의 단독 기준으로 사용 금지",
training_data={"데이터셋 크기": "100,000 지원서"},
evaluation_metrics={"Accuracy": 0.847, "F1-Score": 0.823},
fairness_analysis={"성별": {"TPR 차이": 0.02}},
limitations=["경력 3년 미만 지원자 예측 정확도 저하"],
)
print(model_card.to_markdown())
"우리 AI 챗봇은 EU AI Act 상 '제한된 위험' 수준으로 분류됩니다. 투명성 의무만 충족하면 되므로, 사용자에게 AI 상호작용임을 명시하는 것으로 규제 준수가 가능합니다. 고위험 AI인 채용 시스템은 별도 적합성 평가가 필요합니다."
"데이터 거버넌스 없이 AI 모델 학습하면 안 됩니다. 학습 데이터의 출처, 라이선스, 개인정보 처리 현황을 Data Catalog에 먼저 등록하고, DPO 승인을 받은 후 학습 파이프라인에 연결해주세요."
"모델 레지스트리에 모든 버전의 모델 카드가 있고, MLflow로 학습 실험 이력이 추적되고 있습니다. 의사결정 로그는 90일간 보관되며, 편향 모니터링 대시보드에서 실시간 지표를 확인할 수 있습니다."
거버넌스 정책 문서만 있고 실제로 따르지 않으면 규제 위반 시 '의도적 태만'으로 간주되어 벌금이 가중됩니다. 정책은 자동화된 프로세스와 연결되어야 합니다.
AI 거버넌스는 기술팀뿐 아니라 법무, 인사, 윤리 위원회의 참여가 필수입니다. EU AI Act는 '조직 전체'의 책임을 명시합니다.
RACI 매트릭스로 역할을 명확히 하고, 거버넌스 체크리스트를 CI/CD 파이프라인에 통합하세요. 모델 배포 전 자동 검증을 통과해야 프로덕션에 나갈 수 있도록 Gate를 설정합니다.
원인: 10년간의 남성 위주 채용 데이터로 학습, 데이터 거버넌스 부재
영향: 여성 지원자에게 불리한 점수 부여, 시스템 전면 폐기
교훈: 학습 데이터의 편향 검증과 공정성 모니터링이 AI 거버넌스의 핵심
원인: 동의 없이 수십억 장의 얼굴 이미지 수집, 데이터 거버넌스 무시
영향: 프랑스, 이탈리아, 영국 등에서 각각 벌금 부과
교훈: 개인정보 수집 시 명시적 동의와 법적 근거 확보 필수
Q1. EU AI Act에서 '고위험 AI'로 분류되는 시스템이 아닌 것은?
Q2. 모델 카드(Model Card)의 주요 목적은?
Q3. EU AI Act 위반 시 최대 벌금은?