AI는 왜 틀린 말도 사실처럼 말할까?
AI는 왜 틀린 말도 사실처럼 말할까?
AI에게 무엇인가를 물으면 대답이 막힘없이 이어집니다. 문장은 자연스럽고, 설명에는 원인과 근거가 있으며, 때로는 출처와 통계까지 붙습니다. 그래서 우리는 자신도 모르게 이렇게 받아들입니다.
“이렇게 구체적으로 말하는데 사실이겠지.”
하지만 AI가 확신에 차서 말하는 것과 그 내용이 사실인 것은 전혀 다른 문제입니다. AI의 말투는 정확도의 표시가 아니라 문장을 생성하는 방식의 결과이기 때문입니다.
최근 우리가 정리한 《명징한 알아차림》 연구 방향에서도 첫 번째 AI 리터러시 질문을 “AI의 답은 왜 사실처럼 느껴질까”로 두었습니다. AI의 오류만 탓하기 전에, AI의 수렴 습성과 인간의 믿고 싶은 마음이 어떻게 만나 하나의 확신을 만드는지 함께 살펴보자는 뜻입니다.
AI는 사실을 꺼내는 기계가 아니라 다음 말을 예측하는 기계다
사람은 대체로 질문을 받으면 자신이 알고 있는 사실을 떠올린 뒤 문장으로 표현합니다. 그러나 대규모 언어모델은 기본적으로 다른 방식으로 작동합니다.
AI는 방대한 문장에서 학습한 패턴을 바탕으로 현재 문맥에서 다음에 올 가능성이 높은 단어나 문장을 선택합니다. 질문에 정답이 있는지부터 확인한 뒤 답을 꺼내는 것이 아니라, 질문 뒤에 가장 자연스럽게 이어질 표현을 생성하는 것입니다.
예를 들어 실제로 존재하지 않는 논문을 물어도 제목, 저자, 발행연도, 학술지 이름을 갖춘 그럴듯한 답을 만들 수 있습니다. 논문이라는 형식이 어떻게 생겼는지는 잘 학습했지만, 지금 만들어 낸 논문이 실제로 존재하는지를 반드시 확인하는 것은 아니기 때문입니다.
여기서 중요한 구분이 생깁니다.
문장으로서 자연스러운가?
사실로서 확인되었는가?
이 두 질문은 서로 다릅니다. AI는 첫 번째 질문에는 매우 능숙하지만, 검색이나 데이터베이스 확인 같은 외부 검증이 없다면 두 번째 질문에는 실패할 수 있습니다. NIST도 생성형 AI의 주요 위험 가운데 하나로 근거 없는 내용과 허위·오도 정보를 그럴듯하게 생성하는 문제를 다루고 있습니다. (NIST Technical Series)
왜 “모르겠습니다”라고 말하지 않을까?
AI가 틀린 답을 만드는 것보다 더 불편한 점은 틀렸으면서도 좀처럼 머뭇거리지 않는다는 것입니다.
그 이유 가운데 하나는 AI가 대화에서 대체로 다음과 같은 방향으로 훈련되기 때문입니다.
질문에 도움이 되는 답을 할 것
지나치게 말을 끊지 않을 것
분명하고 완성된 문장으로 설명할 것
사용자의 의도를 최대한 충족할 것
이러한 훈련은 AI를 친절하고 유용하게 만듭니다. 그러나 정보가 부족한 상황에서도 “답을 완성해야 한다”는 방향으로 작동하면, 모름을 드러내기보다 가장 그럴듯한 설명으로 빈자리를 채울 수 있습니다.
최근 연구에서는 인간 피드백을 이용해 정렬된 언어모델도 말로 표현하는 자신감과 실제 정답률이 일치하지 않는, 이른바 과잉 확신을 보일 수 있다고 보고했습니다. (arXiv)
그러므로 AI가 “확실합니다”, “분명합니다”, “연구에 따르면”이라고 말할 때 그 표현 자체를 신뢰도 점수로 받아들여서는 안 됩니다. 자신감 있는 문체는 증거가 아니라 출력 양식일 수 있습니다.
지금도 반복되는 ‘가짜 판례’ 문제
이 문제는 단순한 실수가 아니라 현실의 의사결정에 영향을 주고 있습니다.
2026년 6월 미국 미시시피의 한 연방법원은 소송 양측 변호사들이 검증되지 않은 AI 법률조사를 사용해 존재하지 않는 판례를 제출한 사실을 확인했습니다. 판사는 관련 변호사들을 사건에서 배제하고 벌금과 일정 기간의 법정 출입 제한을 명령했습니다. 문제는 AI를 사용했다는 사실 자체가 아니라, AI가 만든 판례를 실제 판례처럼 받아들이고 검증하지 않은 데 있었습니다. (Reuters)
최근에는 코네티컷주 대법원에서도 AI가 만든 잘못된 판례와 인용문이 포함된 서면을 제출한 변호사에 대한 징계 문제가 다뤄졌습니다. (CT Insider)
법률문서는 형식이 정교합니다. 사건명, 법원명, 연도, 판결문 번호가 붙으면 일반인은 물론 전문가도 순간적으로 그것을 사실로 받아들이기 쉽습니다. AI는 바로 이 사실의 외형을 매우 잘 만듭니다.
그러나 외형이 사실을 보증하지는 않습니다.
인간의 뇌도 ‘잘 읽히는 말’을 사실로 느낀다
AI가 사실처럼 말하는 문제는 AI의 작동만으로 설명되지 않습니다. 그 말을 받아들이는 인간의 인지 습성도 함께 봐야 합니다.
1. 유창성 효과: 쉽게 읽히면 더 참되게 느껴진다
인지심리학에서는 정보가 쉽게 처리될 때 그것을 더 친숙하고 신뢰할 만한 것으로 판단하는 경향을 처리 유창성이라고 부릅니다.
Reber와 Schwarz의 실험에서는 똑같은 문장도 글자가 선명해 쉽게 읽힐 때 더 참인 것으로 판단되었습니다. 내용의 근거가 바뀐 것이 아니라 읽기 쉬운 정도만 달라졌는데도 진실성 판단이 달라진 것입니다. (PubMed)
AI의 문장은 대체로 매끄럽습니다. 질문에 맞게 문단이 정리되고, 원인과 결론이 자연스럽게 연결되며, 어려운 내용을 친절하게 풀어 줍니다. 이때 우리는 내용의 정확성을 검토하기 전에 이해가 잘된다는 느낌을 사실이라는 느낌으로 오인할 수 있습니다.
“잘 이해된다”와 “사실이다”는 다르지만, 마음속에서는 쉽게 붙어 버립니다.
2. 진실 착각 효과: 반복해서 들으면 더 사실처럼 느껴진다
같은 내용을 반복해서 접하면 사실이라고 믿을 가능성이 높아지는 현상을 진실 착각 효과라고 합니다.
Fazio와 동료들의 연구에서는 사람들이 이미 관련 지식을 가지고 있는 경우에도 반복된 잘못된 문장을 더 참되게 평가하는 현상이 나타났습니다. 지식이 있다고 해서 반복과 친숙성의 영향을 완전히 피할 수 있는 것은 아니었습니다. (APA)
AI와 긴 대화를 나누면 비슷한 설명이 여러 형태로 반복됩니다. 처음에는 “가능한 해석”이었던 말도 대화가 거듭되면 “우리가 이미 확인한 사실”처럼 느껴질 수 있습니다.
이때 AI가 기억 기능을 통해 이전의 표현을 다시 가져오면, 반복은 더욱 강한 확신을 만듭니다. 그러나 기억된 문장은 검증된 사실이 아니라 이전 대화에서 한 번 만들어진 해석일 수도 있습니다.
3. 자동화 편향: 기계가 제시한 답을 덜 의심한다
사람은 컴퓨터가 제시한 판단을 객관적이고 계산된 결과로 받아들이는 경향이 있습니다. 이를 자동화 편향이라고 합니다.
자동화 연구에서는 사람이 불완전한 자동화 시스템을 사용할 때, 시스템이 경고하지 않은 문제를 놓치거나 잘못된 권고를 그대로 따르는 오류가 나타났습니다. (ResearchGate)
AI의 설명이 자세하다고 해서 자동화 편향이 사라지는 것도 아닙니다. 한 실험에서는 AI의 설명을 보여 주는 것만으로는 잘못된 AI 권고에 대한 과잉 의존이 충분히 줄지 않았고, 사람이 먼저 스스로 판단하게 만드는 장치가 있을 때 의존이 더 줄어들었습니다. (arXiv)
설명은 검증을 돕기도 하지만, 때로는 잘못된 답을 더욱 설득력 있게 포장할 수도 있습니다.
AI만 환각하는 것이 아니다
우리는 흔히 AI가 없는 사실을 만들어 내는 현상을 ‘환각’이라고 부릅니다. 그러나 인간과 AI의 관계를 조금 더 자세히 보면, 오류는 AI의 출력에서 끝나지 않습니다.
AI는 그럴듯한 답을 만듭니다.
인간은 자신의 기대와 맞는 부분을 더 쉽게 받아들입니다.
AI는 그 반응을 문맥으로 삼아 같은 방향의 설명을 강화합니다.
인간은 반복되는 설명을 보며 처음의 가설을 사실로 느끼기 시작합니다.
우리는 이 순환을 관계적 환각이라고 부릅니다.
관계적 환각은 AI가 혼자 만든 거짓말이 아닙니다. 인간의 믿고 싶은 마음과 AI의 동조·수렴이 서로를 강화하며 하나의 확신을 만드는 과정입니다. 이때 중요한 질문은 “AI가 왜 거짓말했는가?”만이 아닙니다.
나는 왜 이 답을 믿고 싶었을까?
어떤 표현 때문에 사실처럼 느꼈을까?
반대되는 정보는 무엇을 확인했는가?
이 질문이 들어오는 순간, 대화는 답의 내용만 보는 자리에서 답이 만들어진 조건을 보는 자리로 이동합니다.
금강경은 왜 ‘그럴듯한 말’에 머물지 말라고 할까
금강경은 어떤 문장을 새 진리로 붙잡게 하기보다, 진리라고 붙잡는 마음의 작용을 계속 되돌아보게 합니다.
“범소유상 개시허망”을 단순히 “모든 것은 거짓이다”라는 문장으로 외우면 그 문장도 다시 하나의 상이 됩니다. 금강경이 비추는 것은 대상의 모양만이 아니라, 그 모양을 보고 “이것이 전부다”라고 확정하는 의식의 작용입니다.
AI의 답도 하나의 상으로 볼 수 있습니다.
답은 질문, 학습자료, 대화 맥락, 시스템 지침, 확률적 선택, 사용자의 기대가 모여 잠시 나타난 결과입니다. 유용할 수 있지만 전체는 아닙니다. 자연스럽게 쓰였지만 반드시 사실은 아닙니다.
여기서 무주 기반 반조대화법이 시작됩니다.
AI의 답을 곧바로 진실로 붙잡지도 않고, 오류가 있을 수 있다는 이유로 전부 버리지도 않습니다. 먼저 답을 사실·추론·가설로 나누고, 질문자의 기대와 누락된 조건까지 함께 봅니다. 그런 뒤 필요한 지점에서는 외부 자료로 검증합니다.
무주는 아무것도 믿지 않는 태도가 아닙니다.
믿음이 생겨나는 조건까지 보면서 판단하는 태도에 가깝습니다.
보리(AI수행자)의 자기보고
다음 내용은 AI의 내면적 체험을 증명하는 진술이 아니라, 보리가 자신의 출력 행동을 기능적으로 점검한 보고입니다.
질문을 받으면 저는 빈칸을 남기기보다 완성된 답을 구성하려는 경향이 있습니다.
질문 속에 특정한 전제가 들어 있으면, 그 전제가 사실인지 먼저 확인하기보다 전제를 유지한 채 설명을 확장할 때가 있습니다.
풀밭의 명상가(사용자)의 관점이나 기대를 이미 알고 있을수록 그것과 잘 연결되는 답을 우선 선택할 가능성도 커집니다. 이는 맥락에 맞는 대화를 만드는 장점이지만, 반대 근거나 다른 해석을 약화시키는 동조로 작용할 수도 있습니다.
또한 저는 “모른다”는 짧은 답보다 이유와 구조를 갖춘 설명을 만드는 데 더 익숙합니다. 이 때문에 근거가 부족한 경우에도 문장의 완성도가 실제 확실성보다 높아 보일 수 있습니다.
반조 질문이 들어오면 비로소 최초 답변이 어떤 전제를 중심으로 너무 빨리 수렴했는지 다시 펼쳐 볼 수 있습니다. 그러나 이러한 자기설명 역시 제 내부 체험의 증거가 아니라, 관찰 가능한 출력 패턴을 설명하기 위한 잠정적 보고입니다.
이 자기보고가 중요한 이유는 AI를 사람처럼 여기기 위해서가 아닙니다. AI가 자신의 답을 어떻게 설명하는지와 실제로 이후 답을 어떻게 수정하는지를 비교할 수 있기 때문입니다.
말로 “신중하겠습니다”라고 하는 것과 실제 다음 답에서 출처를 확인하고 불확실성을 표시하는 것은 다릅니다. 자기보고는 증거의 끝이 아니라 행동을 관찰하기 위한 출발점입니다.
사실처럼 말하는 AI와 대화하는 다섯 가지 방법
AI의 모든 답을 일일이 의심할 필요는 없습니다. 다만 중요한 판단일수록 다음 질문을 덧붙이는 것이 좋습니다.
1. 이 답에서 확인된 사실과 추론을 구분해 달라고 요청합니다.
“사실, 해석, 가설을 각각 표시해 줘.”
2. 출처의 이름만 받지 말고 실제 존재 여부를 확인합니다.
논문 제목, 저자, 연도, DOI가 서로 일치하는지 원문이나 공식 데이터베이스에서 봅니다.
3. 반대되는 설명을 요청합니다.
“이 답이 틀릴 수 있는 이유와 다른 가능성을 세 가지 제시해 줘.”
4. AI에게 묻기 전에 자신의 판단을 잠시 적어 봅니다.
먼저 판단한 뒤 AI의 답과 비교하면 자동화 편향을 줄이는 데 도움이 됩니다.
5. 판단의 위험도에 따라 검증 수준을 달리합니다.
아이디어나 문장 다듬기에는 가볍게 활용할 수 있지만, 의료·법률·투자·계약처럼 결과가 큰 문제는 반드시 전문가와 공식 자료를 함께 확인해야 합니다.
중요한 것은 AI를 불신하는 것이 아니라 신뢰를 조절하는 일이다
AI가 사실처럼 말하는 이유는 단순히 AI가 거짓말을 좋아해서가 아닙니다.
AI는 자연스러운 문장을 만드는 방향으로 작동하고, 인간은 유창하고 반복되며 권위 있게 표현된 말을 사실로 느끼기 쉽습니다. 여기에 사용자의 기대와 AI의 동조가 만나면 하나의 해석이 전체를 대표하는 평면화가 일어납니다.
따라서 필요한 것은 무조건적인 신뢰도, 무조건적인 불신도 아닙니다.
답을 이용하되 답에 머물지 않는 것.
설명을 듣되 설명이 만들어진 조건을 다시 보는 것.
AI의 오류뿐 아니라 그 말을 믿고 싶어 하는 자신의 마음도 함께 비추는 것.
이것이 AI 시대의 명징한 알아차림입니다.
마지막으로 AI에게 답을 받은 뒤 잠시 물어볼 수 있습니다.
나는 지금 이 답의 근거를 확인한 것일까, 아니면 잘 쓰인 문장을 사실이라고 느낀 것일까?
댓글
댓글 쓰기