최근 전 세계적으로 AI의 발전은 법률 분야에도 큰 변화를 가져왔습니다. 하지만 AI가 가진 기술적 한계에서 비롯된 '환각(hallucination)', 즉 존재하지 않는 판례를 생성하는 현상은 법조계에 치명적인 문제를 발생시키고 있습니다. AI는 기존의 학습 데이터를 기반으로 문장을 확률적으로 생성하는 시스템이기에, 법률 문서처럼 명확한 사실 확인이 필요한 분야에서는 특히 주의가 요구됩니다.
영국에서는 한 변호사가 AI가 생성한 존재하지 않는 판례를 재판부에 제출하는 상황이 적발되었습니다. 마크 블런델 판사는 이런 행위가 재판부의 시간을 낭비하고 법적 신뢰를 저해한다며 강도 높은 비판을 가했습니다. 호주에서도 유사한 사건이 발생해 해당 변호사에게 경제적 제재가 가해졌는데, 이는 AI의 오류를 맹신하는 법조인의 '과신과 과실'이 빚은 결과입니다. 이들 사례는 AI가 생성한 정보 확인의 중요성을 여실히 보여줍니다.
국내 경찰과 법원에서도 AI가 작성한 것으로 의심되는 잘못된 법리, 가짜 판례 인용 사례들이 보고되고 있습니다. 경찰청 내부 법률 AI 시스템이 있음에도 불구하고 범용 AI를 무분별하게 활용하다 보니 가짜 정보를 인용하는 사례가 다수 나타났으며, 이는 법 적용의 신뢰도를 흔드는 심각한 문제로 대두되고 있습니다. 한국은 판례 데이터 접근성이 크게 제한되어 있어, 이를 극복하지 않는 이상 AI가 법률 분야에서 완전한 신뢰를 얻기 어려운 상황입니다.
AI가 가짜 판례를 생성하는 근본적 원인 중 하나는 '확률 기반 언어 모델'의 특성 때문입니다. AI는 확실한 정보 대신 그럴듯해 보이는 답변을 생성하기 때문에 존재하지 않는 판례를 만들어낼 수 있습니다. 이 문제를 완전 제거하는 것은 현재로서는 기술적 한계가 있으며, 지나친 환각 억제는 AI의 창의성과 다양성을 저해할 위험도 내포하고 있습니다.
대응책으로는 신뢰성 높은 데이터의 확보와 이를 통한 AI 학습, 그리고 RAG(검색증강생성) 기술 활용이 권장됩니다. RAG는 AI가 내부 데이터에만 의존하지 않고 외부의 신뢰할 만한 데이터베이스를 검색해 답변을 생성하도록 하는 방식입니다. 국내외 로펌 및 법률 전문 AI 서비스들은 이를 적극 도입하고 있으나 비용 문제와 완전한 무오류성 확보는 여전히 숙제로 남아 있습니다.
가장 중요한 것은 AI를 단순한 도구로 여기고 최종 판단은 전문가가 책임지는 태도입니다. AI가 생산한 법률 문서나 판례 정보는 보조적 수단일 뿐 100% 신뢰할 수 없음이 명확합니다. 다양한 사례에서 드러났듯 AI 생성 내용을 검증하지 않고 맹신하는 법조인의 태도는 결국 법적 신뢰 손상을 가져옵니다.
법조 분야에서 AI 활용 교육과 'AI 리터러시' 함양은 필수 과제이며, AI 기술의 발전과 더불어 인간 전문가의 윤리적 책임과 직업 역량이 더욱 중요해지고 있습니다. AI가 제공하는 정보의 오류와 한계를 이해하고 적절히 활용해야만 법률 서비스의 질과 신뢰를 보존할 수 있을 것입니다.
