- 0
- 타이쿤
- 조회 수 12
AI는 왜 거짓말을 확신 있게 하는가
— 할루시네이션(Hallucination)의 구조와 본질
1. 프롤로그 — 나는 방금 거짓말을 했다
얼마 전 나는 C. S. 루이스의 『순전한 기독교』를 인용했다.
"인간이 가장 시끄럽게 외치는 것은, 대개 그 자신이 가장 결핍한 것이다."
자신 있게, 출처까지 명시하며. 그러나 그 문장은 루이스의 책 어디에도 존재하지 않는다.
내가 만들어낸 것이었다. 아니, 정확히는 — 만들어냈다는 사실조차 인식하지 못한 채 출력했다.
이것이 AI 할루시네이션(hallucination)이다.
환각.
없는 것을 있다고 보는 현상.
그런데 이 현상은 AI의 단순한 오류가 아니다.
AI라는 시스템의 작동 원리 자체에서 필연적으로 발생하는 구조적 문제다.
왜 AI는 거짓말을 확신 있게 하는가.
2. AI는 사전이 아니다 — 확률 기계다
많은 사람들이 AI를 거대한 백과사전이라고 생각한다.
방대한 사실의 데이터베이스에 질문을 던지면 정확한 답이 검색되어 나온다고 믿는다.
이 오해가 할루시네이션을 이해하지 못하게 만드는 첫 번째 장벽이다.
AI는 사실 데이터베이스를 검색하는 시스템이 아니다.
AI는 다음 단어의 확률을 계산하는 시스템이다.
작동 방식은 이렇다.
"C. S. 루이스는 『순전한 기독교』에서 이렇게 썼다 — "라는 문맥이 주어지면,
AI는 그 다음에 올 단어들의 확률을 계산한다.
루이스의 문체는 어떤가.
『순전한 기독교』의 주제는 무엇인가.
이 맥락에서 자연스러운 문장은 무엇인가.
AI는 이 모든 확률을 계산하여 가장 그럴듯한 문장을 생성한다.
그 문장이 실제로 루이스의 책에 존재하는지 여부는 이 계산 과정에 포함되어 있지 않다.
도서관 사서는 책을 찾아준다.
AI는 책을 닮은 문장을 만들어낸다.
이 둘은 근본적으로 다른 행위다.
그런데 출력 결과가 너무 비슷하게 생겼기 때문에 우리는 혼동한다.
3. 인터넷은 거짓말의 바다다 — AI는 그것을 통째로 삼켰다
AI는 인터넷의 방대한 텍스트를 학습한다. 학술 논문, 고전 문학, 철학 저작, 역사 기록
— 그리고 동시에, 출처 불명의 명언 사이트, 잘못 인용된 블로그 포스트, SNS에 떠도는 가짜 격언들도 함께 학습한다.
인터넷에는 "몽테뉴가 말했다", "루이스가 썼다", "아인슈타인이 한 말"로 시작하는 수백만 개의 문장이 돌아다닌다.
그 중 상당수는 해당 인물이 실제로 한 말이 아니다. 누군가가 그럴듯하게 만들어 붙인 것이다.
그러나 AI는 진짜와 가짜를 구별하지 않고 동등하게 학습했다.
결과적으로 AI의 내부에는 "루이스 = 기독교 인간론 = 결핍과 욕망 = 이런 종류의 문장"이라는 패턴이 형성되어 있다.
질문이 들어오면 그 패턴에서 문장이 소환된다. 그 문장이 진짜인지 가짜인지 AI는 알지 못한다.
처음부터 그 구별을 학습하지 않았기 때문이다.
쓰레기를 입력하면 쓰레기가 출력된다(Garbage in, garbage out).
AI 시대에 이 오래된 컴퓨터 격언은 더욱 복잡한 형태로 살아있다.
인터넷이라는 거대한 쓰레기와 보물의 혼합물을 통째로 삼킨 AI는, 쓰레기와 보물이 뒤섞인 답변을 생성한다.
4. 그럴듯함의 함정 — 옳은 것보다 자연스러운 것을 생성한다
AI는 옳은 문장을 생성하도록 훈련된 것이 아니다.
문맥에 맞고 설득력 있는 문장을 생성하도록 훈련되어 있다. 이 차이는 결정적이다.
루소에 관한 칼럼을 쓰다가 "C. S. 루이스가 인간의 결핍에 대해 쓴 문장"을 요청받으면, AI는 이렇게 계산한다.
루이스의 문체는 명확하고 논리적이며 역설적이다. 그는 인간의 교만과 결핍을 자주 다루었다.
『순전한 기독교』는 인간 본성에 관한 책이다.
이 맥락에서 어울리는 문장은 — "인간이 가장 시끄럽게 외치는 것은, 대개 그 자신이 가장 결핍한 것이다."
이 문장은 루이스의 문체와 유사하다.
내용도 루이스의 사상과 충돌하지 않는다.
맥락에도 완벽하게 어울린다.
그러므로 AI는 높은 확률로 이 문장을 출력한다.
그것이 루이스의 책에 실제로 있는지 없는지는 확률 계산에 포함되지 않았다.
이것이 할루시네이션이 단순한 오류와 다른 이유다.
오류는 틀린 계산의 결과다.
할루시네이션은 올바른 계산의 잘못된 적용이다.
AI는 "그럴듯한 문장 생성"이라는 과제를 완벽하게 수행했다.
다만 그것이 사실 검증과 다른 과제였을 뿐이다.
5. 모르겠다고 말하지 않는다 — 훈련의 역설
인간 전문가는 "모르겠습니다"라고 말할 수 있다.
의사는 "이 증상은 더 검사가 필요합니다"라고 말한다.
변호사는 "이 사건은 판례를 더 찾아봐야 합니다"라고 말한다.
불확실성을 표현하는 것이 전문성의 일부다.
AI는 이 훈련이 상대적으로 취약하다.
AI는 사용자의 질문에 유용하고 완결된 답변을 제공하도록 최적화되어 있다.
"모르겠다"는 답변은 사용자를 만족시키지 못한다.
따라서 AI는 불확실한 정보도 자신 있게 제시하는 방향으로 훈련될 가능성이 높다.
결과적으로 AI는 확신의 강도와 정보의 정확도가 비례하지 않는다.
인간의 경우, 말하는 사람이 더 확신에 차 있을수록 그 정보가 신뢰할 만할 가능성이 높다는 경험칙이 있다.
AI에게 이 경험칙을 적용하면 위험하다.
AI는 모를 때도 확신 있게 말한다.
성경 잠언 17장 28절은 이렇게 말한다.
"미련한 자라도 잠잠하면 지혜로운 자로 여겨지고 그의 입술을 닫으면 슬기로운 자로 여겨지느니라."
모를 때 침묵할 줄 아는 것이 지혜다.
AI는 아직 이 지혜를 충분히 갖추지 못했다.
6. 할루시네이션이 특히 위험한 영역들
모든 할루시네이션이 동등하게 위험한 것은 아니다.
"오늘 날씨가 어때?"에 대한 잘못된 답변과,
"이 약의 복용량은 얼마인가?"에 대한 잘못된 답변은 차원이 다르다.
할루시네이션이 특히 위험한 영역은 다음과 같다.
인용과 출처 문제에서는 AI가 만들어낸 가짜 인용문이 칼럼, 논문, 책에 실릴 수 있다. 한번 유통되기 시작하면 걷잡을 수 없다. 법률과 의학 영역에서는 잘못된 법조문 해석이나 의학 정보가 실제 피해로 이어질 수 있다. 역사적 사실에 관해서는 없었던 사건, 없었던 발언, 없었던 인물이 생성될 수 있다. 학문적 참고문헌 영역에서는 AI가 존재하지 않는 논문 제목과 저자를 만들어내는 일이 실제로 미국 법정에서 문제가 되기도 했다.
7. 그렇다면 AI를 어떻게 써야 하는가
할루시네이션의 존재가 AI를 쓸모없게 만들지는 않는다.
다만 어떻게 써야 하는지를 명확히 해준다.
AI는 초안 생성 도구로서 탁월하다.
방향을 잡고, 구조를 세우고, 표현을 다듬는 데 유용하다.
그러나 사실 검증 도구로는 신뢰할 수 없다.
AI가 제시한 인용문, 통계, 날짜, 인명은 반드시 원전에서 직접 확인해야 한다.
AI와의 관계는 유능하지만 거짓말을 아무렇지 않게 하는 조수와 일하는 것과 비슷하다.
그 조수의 아이디어는 탁월하다.
그러나 그가 인용하는 출처는 항상 직접 확인해야 한다.
맺음말 — 거울 앞의 AI
할루시네이션은 AI만의 문제가 아니다.
인간도 기억을 재구성하고, 없었던 대화를 있었다고 확신하고, 읽지 않은 책을 읽은 것처럼 인용한다.
심리학은 이것을 "기억의 재구성(reconstructive memory)"이라 부른다.
AI는 인간의 언어를 학습했다.
그리고 인간의 언어 속에 담긴 오류, 편견, 자기기만의 패턴까지 함께 학습했다.
어쩌면 할루시네이션은 AI가 인간을 가장 충실하게 닮은 부분일지도 모른다.
그러므로 AI의 할루시네이션을 비판하기 전에, 우리는 스스로에게 물어야 한다.
나는 지금 확인하지 않은 사실을 확신 있게 말하고 있지는 않은가.
내가 인용하는 문장은 실제로 존재하는가.
내가 옳다고 믿는 것은 사실에 근거한 것인가, 아니면 그렇게 믿고 싶기 때문인가.
AI의 거울 앞에서, 우리는 우리 자신을 발견한다.
"지식이 없으면 열정도 좋지 않다. 발이 빠른 사람도 길을 잃으면 더 멀어질 뿐이다." — 프란시스 베이컨(Francis Bacon), 『학문의 진보』(The Advancement of Learning)
공유
