AI 환각의 본질을 밝힌 OpenAI 연구: "모르면 찍는다?"
한때 수수께끼였던 AI 환각의 실체
인공지능의 가장 성가신 문제 중 하나인 '환각(hallucination)'의 원인이 마침내 밝혀졌다. OpenAI가 2025년 9월 5일 발표한 "Why Language Models Hallucinate" 연구는 AI가 거짓 정보를 그럴듯하게 지어내는 현상이 단순한 기술적 결함이 아니라, 훈련과 평가 방식에 내재된 구조적 문제라고 분석했다.
연구진의 핵심 발견은 놀랍도록 인간적이다. AI 모델이 객관식 시험을 보는 학생처럼 행동한다는 것이다. 답을 모를 때 빈칸으로 두면 0점이지만, 찍어서라도 답하면 365분의 1 확률로 정답을 맞힐 수 있다. 이는 우리가 시험장에서 경험했던 바로 그 유혹과 동일한 메커니즘이다.
평가 시스템이 만들어낸 역설
현재의 AI 평가 시스템은 정확도만을 기준으로 모델을 순위를 매기지만, 연구진은 "오류는 기권보다 더 심각한 문제"라고 지적했다. 이는 AI 개발 생태계의 근본적 모순을 드러낸다.
OpenAI의 벤치마크 결과는 이 역설을 명확히 보여준다. 최신 추론 모델인 'o3-mini'는 정확도가 22%에 불과했지만, 기권율이 52%에 달해 실제 오류율은 26%였다. 반면 이전 모델인 'o4-mini'는 정확도가 24%로 더 높았지만, 기권율은 1%에 그쳤고 오류율은 75%에 달했다. 더 많이 찍을수록 정답과 오답이 모두 늘어나는 트레이드오프가 여실히 드러난 것이다.
예상보다 심각한 신형 모델의 환각
더 우려스러운 것은 OpenAI의 최신 추론 모델들이 이전 모델보다 더 자주 환각을 일으킨다는 사실이다. o3 모델은 PersonQA 벤치마크에서 33%의 환각률을 보였고, o4-mini는 48%에 달했다. 이는 이전 추론 모델인 o1과 o3-mini의 16%, 14.8%와 비교해 현저히 높은 수치다.
더욱 심각한 것은 OpenAI조차 이런 현상이 왜 발생하는지 명확히 설명하지 못한다는 점이다. 기술 보고서에서 "더 많은 연구가 필요하다"고 인정할 정도다. 이는 AI 기술의 복잡성이 개발자들의 이해를 넘어서기 시작했음을 시사한다.
학계와 산업계가 직면한 실질적 위험
AI 환각은 더 이상 기술적 호기심의 대상이 아니다. 2025년 연구에 따르면, ChatGPT가 제공한 178개 참고문헌 중 69개가 잘못되거나 존재하지 않는 DOI를 가지고 있었고, 28개는 구글 검색으로도 찾을 수 없었다.
Mata v. Avianca 사건은 이 문제의 현실적 파급력을 보여준다. 뉴욕의 한 변호사가 ChatGPT로 법적 연구를 수행한 결과, 판결문에는 존재하지 않는 인용과 인용구가 포함되었고, 챗봇은 이들이 주요 법률 데이터베이스에서 이용 가능하다고 명시하기까지 했다.
의료 분야의 위험성은 더욱 심각하다. 2025년 발표된 연구는 위기 자구 시나리오에서 AI 환각이 사용자의 AI 서비스 평가에 미치는 부정적 영향을 분석했으며, 이는 생명과 직결되는 상황에서 치명적일 수 있음을 경고했다.
해결책: 겸손함을 보상하는 새로운 패러다임
OpenAI 연구진은 명확한 해결책을 제시한다. "자신 있게 오답을 말한 경우에는 큰 감점을 주고, 모른다고 솔직히 인정하면 부분 점수를 주면 환각이 해결될 수 있다"는 것이다.
이는 단순한 기술적 조정을 넘어선 철학적 전환을 요구한다. 주류 평가 기준이 운 좋은 추측을 계속 보상한다면, 모델은 계속 추측하는 법을 학습할 것이다. 따라서 불확실성을 인정하는 능력을 평가하고 보상하는 새로운 메트릭이 필요하다.
옥스포드 대학의 연구진은 이미 'Semantic Entropy'를 이용해 LLM이 언제 환각할 가능성이 높은지 탐지하는 방법을 Nature에 발표했다. 이는 AI의 불확실성을 정량화하여 신뢰할 수 있는 답변과 위험한 추측을 구분하는 실용적 접근법이다.
인간적 특성을 닮은 AI의 역설
결국 AI의 환각 문제는 기술적 한계를 넘어선 인간적 특성의 반영이다. 모르는 것을 솔직히 인정하기보다 아는 척하려는 우리의 성향이 AI에게도 그대로 학습되었다.
2025년 연구에 따르면 AI 환각은 통계적으로 불가피하며, 일반적 질문에서 5%에서 전문적 질문에서 29%의 환각률을 보인다. 이는 완벽한 AI에 대한 환상을 버리고, 불확실성을 인정하는 겸손한 AI를 개발해야 함을 시사한다.
미래의 AI는 "모른다"고 말할 줄 아는 용기를 가져야 한다. 그것이야말로 진정한 인공지능의 진보일 것이다. 확실하지 않은 것을 확실하다고 주장하는 AI보다, 자신의 한계를 인정하는 AI가 우리에게 더 큰 도움이 될 것이기 때문이다.