금지된 AI 관행(Prohibited AI Practices)은 EU AI Act(인공지능법) 제5조에서 규정하는 가장 높은 위험 수준의 AI 활용으로, EU 내에서 전면 금지됩니다. 이러한 관행들은 인간의 존엄성, 기본권, 민주주의 원칙에 심각한 위협을 가하는 것으로 판단되어 어떠한 예외도 허용되지 않습니다(일부 법 집행 예외 제외). 금지 조항은 2025년 2월부터 시행됩니다.
EU AI Act가 금지하는 주요 AI 관행은 다음과 같습니다:
🚫 사회적 점수화 (Social Scoring)
공공기관이 자연인의 사회적 행동이나 개인적 특성을 기반으로 점수를 매기고, 이를 통해 불리한 대우나 권리 제한을 가하는 AI 시스템. 중국의 사회신용시스템과 유사한 형태가 금지됩니다.
🚫 잠재의식 조작 (Subliminal Manipulation)
인간이 인지하지 못하는 방식으로 잠재의식을 조작하여 행동을 왜곡하고 심리적/물리적 해를 끼치는 AI 시스템. 다크 패턴을 넘어서는 수준의 조작 기술이 해당됩니다.
🚫 취약계층 착취 (Exploitation of Vulnerabilities)
나이, 장애, 사회경제적 상황으로 인한 취약성을 악용하여 해당 그룹의 행동을 왜곡하고 해를 끼치는 AI 시스템. 예: 노인이나 어린이를 대상으로 한 기만적 AI 마케팅.
🚫 실시간 원격 생체인식 (Real-time Remote Biometric Identification)
법 집행 목적으로 공공장소에서 실시간 원격 생체인식을 수행하는 AI 시스템. 단, 테러 방지, 실종자 수색 등 극히 제한된 예외 상황에서만 사법적 승인 하에 허용됩니다.
🚫 감정 추론 (Emotion Recognition in Sensitive Contexts)
직장 및 교육 환경에서 감정을 추론하는 AI 시스템. 단, 안전 또는 의료 목적은 예외입니다.
🚫 안면 인식 데이터베이스 무분별 수집
인터넷이나 CCTV에서 무분별하게 안면 이미지를 수집하여 얼굴 인식 데이터베이스를 구축하는 AI 시스템. Clearview AI와 같은 서비스가 해당됩니다.
🚫 예측적 치안 (Predictive Policing based on Profiling)
개인 프로파일링만을 기반으로 범죄 가능성을 예측하는 AI 시스템. 구체적인 행동 증거 없이 인구통계학적 특성으로 범죄를 예측하는 것은 금지됩니다.
벌칙 규정
금지된 AI 관행 위반 시 최대 3,500만 유로 또는 전세계 연간 매출의 7% 중 높은 금액의 과징금이 부과됩니다. 이는 EU AI Act에서 가장 높은 수준의 제재입니다.
이러한 금지 조항은 EU 시민뿐 아니라 EU 시장에 AI 제품/서비스를 제공하는 모든 글로벌 기업에 적용됩니다. 따라서 한국 기업도 EU 시장 진출 시 반드시 이 규정을 준수해야 합니다.
💻 코드 예제
AI 시스템이 금지된 관행에 해당하는지 체크하는 컴플라이언스 검사 코드 예제입니다.
# EU AI Act 금지 관행 컴플라이언스 체크 예제
from dataclasses import dataclass
from typing import List, Optional
from enum import Enum
class ProhibitedPractice(Enum):
SOCIAL_SCORING = "social_scoring"
SUBLIMINAL_MANIPULATION = "subliminal_manipulation"
VULNERABILITY_EXPLOITATION = "vulnerability_exploitation"
REALTIME_BIOMETRIC = "realtime_biometric_identification"
EMOTION_RECOGNITION_WORK = "emotion_recognition_workplace"
FACIAL_SCRAPING = "untargeted_facial_scraping"
PREDICTIVE_POLICING = "predictive_policing_profiling"
@dataclass
class AISystemProfile:
name: str
uses_biometric: bool = False
biometric_realtime: bool = False
biometric_location: str = "" # "public", "private"
targets_vulnerable_groups: bool = False
vulnerable_group_types: List[str] = None
uses_social_scoring: bool = False
scoring_entity: str = "" # "public", "private"
uses_emotion_recognition: bool = False
emotion_context: str = "" # "workplace", "education", "medical", "safety"
collects_facial_data: bool = False
facial_data_source: str = "" # "internet", "cctv", "consented"
uses_predictive_policing: bool = False
prediction_basis: str = "" # "behavior", "profiling"
def check_prohibited_practices(system: AISystemProfile) -> List[dict]:
"""EU AI Act Article 5 금지 관행 체크"""
violations = []
# 1. 사회적 점수화 체크
if system.uses_social_scoring and system.scoring_entity == "public":
violations.append({
"practice": ProhibitedPractice.SOCIAL_SCORING,
"severity": "PROHIBITED",
"article": "Article 5(1)(c)",
"description": "공공기관의 사회적 점수화는 금지됩니다.",
"penalty": "최대 3,500만 EUR 또는 매출 7%"
})
# 2. 실시간 원격 생체인식 체크
if (system.uses_biometric and system.biometric_realtime
and system.biometric_location == "public"):
violations.append({
"practice": ProhibitedPractice.REALTIME_BIOMETRIC,
"severity": "PROHIBITED",
"article": "Article 5(1)(h)",
"description": "공공장소 실시간 원격 생체인식은 금지됩니다.",
"exception": "테러 방지 등 제한적 예외 존재 (사법 승인 필요)"
})
# 3. 취약계층 착취 체크
if system.targets_vulnerable_groups:
violations.append({
"practice": ProhibitedPractice.VULNERABILITY_EXPLOITATION,
"severity": "PROHIBITED",
"article": "Article 5(1)(b)",
"description": f"취약계층({system.vulnerable_group_types}) 대상 착취적 AI 사용 금지",
})
# 4. 직장/교육 감정인식 체크
if system.uses_emotion_recognition:
if system.emotion_context in ["workplace", "education"]:
violations.append({
"practice": ProhibitedPractice.EMOTION_RECOGNITION_WORK,
"severity": "PROHIBITED",
"article": "Article 5(1)(f)",
"description": f"{system.emotion_context} 환경 감정인식은 금지됩니다.",
"exception": "안전/의료 목적 예외"
})
# 5. 무분별한 안면 데이터 수집 체크
if system.collects_facial_data and system.facial_data_source in ["internet", "cctv"]:
violations.append({
"practice": ProhibitedPractice.FACIAL_SCRAPING,
"severity": "PROHIBITED",
"article": "Article 5(1)(e)",
"description": "무분별한 안면 이미지 수집으로 DB 구축 금지"
})
# 6. 프로파일링 기반 예측적 치안 체크
if system.uses_predictive_policing and system.prediction_basis == "profiling":
violations.append({
"practice": ProhibitedPractice.PREDICTIVE_POLICING,
"severity": "PROHIBITED",
"article": "Article 5(1)(d)",
"description": "프로파일링만으로 범죄 예측 금지"
})
return violations
# 사용 예시
test_system = AISystemProfile(
name="SmartCity Surveillance AI",
uses_biometric=True,
biometric_realtime=True,
biometric_location="public",
uses_emotion_recognition=True,
emotion_context="workplace"
)
violations = check_prohibited_practices(test_system)
print(f"=== {test_system.name} 컴플라이언스 결과 ===\n")
if violations:
print(f"발견된 위반: {len(violations)}건\n")
for v in violations:
print(f"[{v['severity']}] {v['practice'].value}")
print(f" 조항: {v['article']}")
print(f" 설명: {v['description']}")
if 'exception' in v:
print(f" 예외: {v['exception']}")
print()
else:
print("금지 관행 위반 없음")
🗣️ 실무에서 이렇게 말하세요
사업부장:
"유럽에 출시할 우리 고객 분석 AI에 감정 인식 기능 넣으면 차별화될 것 같은데, 가능할까요?"
컴플라이언스 담당자:
"EU AI Act Article 5에서 직장 환경 감정 인식은 금지된 관행입니다. 이 기능 그대로 출시하면 최대 매출의 7% 과징금 위험이 있어요. 안전/의료 목적이 아닌 이상 EU 버전에서는 해당 기능을 제거해야 합니다. 대신 행동 데이터 기반 분석으로 대체 방안을 검토해볼게요."