⚖️ AI 규제/윤리

시스템적 위험

Systemic Risk

GPAI 모델이 사회 전반에 미칠 수 있는 대규모 위험. 추가 의무 부과 기준.

상세 설명

시스템적 위험(Systemic Risk)은 EU AI Act 제3조에서 정의하는 개념으로, GPAI(범용 AI) 모델이 가진 높은 영향력 역량으로 인해 EU 내부 시장에 상당한 영향을 미칠 수 있으며, 건강, 안전, 공공 안보, 기본권, 사회에 실제적 또는 합리적으로 예측 가능한 부정적 영향을 미칠 수 있는 위험을 의미합니다.

시스템적 위험이 있는 GPAI 모델의 판정 기준은 제51조에서 규정합니다. 첫째, 누적 학습 연산량이 10^25 FLOP을 초과하는 경우 자동으로 해당됩니다. 둘째, EU 집행위원회가 개별적으로 지정할 수 있습니다. GPT-4, Claude 3, Gemini Ultra 등 대형 모델들이 여기에 해당합니다.

시스템적 위험 GPAI 제공자는 추가 의무를 부담합니다(제55조): 모델 평가(레드팀 테스트 포함), 시스템적 위험 평가 및 완화, 심각한 사고 추적 및 보고, 사이버보안 보호 확보, 에너지 소비 문서화. 이러한 의무는 일반 GPAI 모델보다 훨씬 엄격합니다.

시스템적 위험의 구체적 예시로는 대규모 허위정보 생성 및 확산, 사이버 공격 자동화, 생물학적 위험물질 합성 지원, 중요 인프라에 대한 위협 등이 있습니다. 이러한 위험은 개별 AI 시스템을 넘어 사회 전체에 영향을 미칠 수 있어 '시스템적'이라고 명명됩니다.

코드 예제

# 시스템적 위험 GPAI 의무사항 관리 예제
from dataclasses import dataclass
from datetime import datetime
from typing import List, Dict
from enum import Enum

class SystemicRiskCategory(Enum):
    MISINFORMATION = "misinformation"
    CYBER_ATTACK = "cyber_attack"
    BIOLOGICAL_RISK = "biological_risk"
    INFRASTRUCTURE = "critical_infrastructure"
    DISCRIMINATION = "large_scale_discrimination"

@dataclass
class SystemicRiskAssessment:
    """시스템적 위험 평가 (EU AI Act 제55조)"""
    model_name: str
    model_version: str
    training_compute_flops: float
    assessment_date: datetime
    risk_categories: List[SystemicRiskCategory]
    risk_scores: Dict[str, float]  # 0-10
    mitigation_measures: List[str]
    red_team_completed: bool
    energy_consumption_kwh: float

    def is_systemic_risk_model(self) -> bool:
        """10^25 FLOP 기준 자동 판정"""
        return self.training_compute_flops >= 10**25

    def get_compliance_status(self) -> Dict:
        """제55조 준수 상태"""
        return {
            "model": self.model_name,
            "is_systemic_risk": self.is_systemic_risk_model(),
            "article_55_requirements": {
                "model_evaluation": self.red_team_completed,
                "risk_assessment": len(self.risk_scores) > 0,
                "mitigation_measures": len(self.mitigation_measures) > 0,
                "energy_documented": self.energy_consumption_kwh > 0
            },
            "overall_compliant": all([
                self.red_team_completed,
                len(self.risk_scores) > 0,
                len(self.mitigation_measures) > 0,
                self.energy_consumption_kwh > 0
            ])
        }

# 사용 예시
assessment = SystemicRiskAssessment(
    model_name="LargeModel-X",
    model_version="v1.0",
    training_compute_flops=3e25,  # 10^25 초과
    assessment_date=datetime.now(),
    risk_categories=[SystemicRiskCategory.MISINFORMATION, SystemicRiskCategory.CYBER_ATTACK],
    risk_scores={"misinformation": 7.5, "cyber_attack": 6.0},
    mitigation_measures=["출력 필터링", "사용자 인증 강화", "워터마킹"],
    red_team_completed=True,
    energy_consumption_kwh=1500000
)

status = assessment.get_compliance_status()
print(f"시스템적 위험 모델: {status['is_systemic_risk']}")
print(f"제55조 준수: {status['overall_compliant']}")

실무 대화

CTO: 우리 신규 LLM이 시스템적 위험 모델에 해당하나요?

ML리드: 학습 연산량이 10^25 FLOP을 넘으면 자동으로 해당됩니다. 우리 모델은 3x10^24라서 현재는 아니에요.

CTO: 다음 버전에서 모델을 키우면?

ML리드: 그러면 제55조 추가 의무가 적용됩니다. 레드팀 테스트, 위험 평가, 에너지 소비 문서화 등을 준비해야 해요.

면접관: EU AI Act에서 시스템적 위험의 의미와 관련 의무를 설명해주세요.

지원자: 시스템적 위험은 GPAI 모델이 사회 전반에 미칠 수 있는 대규모 부정적 영향을 의미합니다. 학습 연산량 10^25 FLOP 이상이면 자동 해당되고, 제55조에 따라 레드팀 테스트, 위험 평가 및 완화, 심각한 사고 보고, 사이버보안 확보, 에너지 소비 문서화 의무가 부과됩니다. GPT-4급 이상의 대형 모델이 대상입니다.

시니어: 모델 카드에 학습 연산량 정보가 없네요.

주니어: 필수인가요?

시니어: EU AI Act 대응상 필요합니다. 10^25 기준 해당 여부 판단에 쓰이고, 에너지 소비 산출의 기초 데이터이기도 해요. FLOP 추정치라도 기록하세요.

주의사항

더 배우기