🤖
AI/ML
인적 감독
Human Oversight
EU AI Act 핵심 요구사항. 고위험 AI는 인간이 감독하고 개입할 수 있어야 함. 자동 중지, 무효화 기능 필수.
인적 감독(Human Oversight)은 AI 시스템의 운영 과정에서 인간이 적절한 감독과 통제를 유지해야 한다는 원칙입니다. EU AI Act에서는 고위험 AI 시스템의 7가지 필수 요구사항 중 하나로 명시하고 있으며, AI의 자율적 결정이 인간에게 해를 끼치지 않도록 보장하는 핵심 안전장치입니다.
인적 감독은 세 가지 수준으로 구분됩니다. 'Human-in-the-loop(HITL)'은 모든 AI 결정에 인간 승인이 필요한 가장 엄격한 형태이고, 'Human-on-the-loop(HOTL)'은 AI가 자율 운영되지만 인간이 실시간 모니터링하며 개입하는 방식입니다. 'Human-in-command(HIC)'는 인간이 전체 시스템을 감독하고 언제든 중지할 수 있는 권한을 가지는 것을 의미합니다.
EU AI Act는 고위험 AI에 대해 구체적인 인적 감독 기능을 요구합니다. 운영자가 AI의 능력과 한계를 이해할 수 있어야 하고, 자동화 편향(automation bias)을 인지하며, 출력을 올바르게 해석할 수 있어야 합니다. 또한 AI 작동을 무시하거나 무효화할 수 있어야 하며, 비상 정지(kill switch) 기능이 반드시 포함되어야 합니다.
실무에서 인적 감독은 AI 신뢰성과 책임성 확보의 핵심입니다. 의료 진단 AI가 추천한 결과를 의사가 최종 확인하거나, 대출 심사 AI의 결정을 담당자가 검토하는 것이 대표적인 예입니다. 완전 자동화된 AI 시스템이라도 이상 징후 감지 시 인간에게 즉시 알리고 개입을 요청하는 메커니즘이 필요합니다.