AI는 왜 존재하지 않는 출처까지 만들어낼까?
AI는 왜 존재하지 않는 출처까지 만들어낼까
AI에게 어떤 주장에 대한 근거를 물으면 그럴듯한 논문 제목과 저자, 학술지 이름, 발행 연도까지 제시할 때가 있습니다. 형식도 제법 정확해 보입니다.
“김○○·이○○(2022)의 연구에 따르면…”
“Journal of Digital Wellbeing에 발표된 연구에서는…”
“세계보건기구의 2023년 보고서는…”
이렇게 구체적인 출처가 붙으면 우리는 답변을 더 쉽게 믿습니다. 단순한 설명보다 저자와 연도, 논문 제목이 있는 문장이 훨씬 전문적으로 보이기 때문입니다.
그러나 검색해 보면 해당 논문이 없거나, 논문은 존재하지만 제목과 저자가 다르거나, 실제 논문의 결론이 AI의 설명과 전혀 다른 경우가 있습니다. 링크가 열리더라도 엉뚱한 문서로 연결되기도 합니다.
AI는 왜 틀린 사실만 말하는 데 그치지 않고, 존재하지 않는 출처까지 만들어내는 것일까요?
AI는 먼저 사실을 확인한 뒤 문장을 쓰는가
사람은 일반적으로 출처를 제시할 때 다음과 같은 과정을 거칩니다.
자료를 찾는다.
자료가 실제로 존재하는지 확인한다.
자료의 내용을 읽는다.
자신의 주장과 관련 있는 부분을 인용한다.
저자·제목·발행처·연도를 기록한다.
하지만 생성형 AI가 항상 이 과정을 거치는 것은 아닙니다.
외부 검색이나 문서 검색 기능을 사용하지 않는 언어 모델은, 답변을 만들 때 학술 데이터베이스를 열어 실제 논문을 한 편씩 확인하는 것이 아니라 주어진 문맥에 이어질 가능성이 높은 표현을 생성합니다.
“인공지능이 노인의 삶의 질에 미치는 영향을 연구한 논문을 알려줘”라는 요청을 받았다고 해보겠습니다. 모델은 학습 과정에서 접한 수많은 논문 제목의 형식, 연구자 이름의 배열, 학술지 명칭, 발행 연도의 패턴을 바탕으로 다음과 같은 조합을 만들 수 있습니다.
Digital Technology and Quality of Life Among Older Adults
J. Kim, S. Lee, 2021
Journal of Aging and Digital Society
각 요소는 실제 학술 자료에서 흔히 볼 수 있는 형태입니다. 제목도 자연스럽고, 저자 이름과 학술지 이름도 충분히 있을 법합니다. 그러나 ‘있을 법한 조합’과 ‘실제로 존재하는 논문’은 전혀 다릅니다.
언어 모델은 문장의 자연스러움을 높이는 데는 뛰어나지만, 자연스러운 문장이 현실의 특정 문서와 정확히 대응하는지는 별도의 문제입니다. OpenAI도 환각을 “그럴듯하지만 사실이 아닌 진술”로 설명하며, 언어 모델이 모르는 상황에서도 추측하도록 평가받는 구조가 환각을 지속시키는 한 원인이라고 밝히고 있습니다.
출처도 하나의 ‘문장 패턴’이 될 수 있다
우리에게 출처는 사실을 검증하기 위한 근거입니다. 그러나 생성 모델의 출력 과정에서 출처 표기는 우선 하나의 언어 형식으로 처리될 수 있습니다.
예를 들어 학술 인용에는 일정한 패턴이 있습니다.
저자 이름이 나온다.
괄호 안에 발행 연도가 붙는다.
전문적인 논문 제목이 이어진다.
학술지 이름과 권·호가 표시된다.
DOI나 인터넷 주소가 덧붙는다.
모델은 이러한 형식을 매우 잘 학습합니다. 그래서 실제 자료를 정확히 기억하지 못하더라도 출처의 모양은 정교하게 재현할 수 있습니다.
여기서 중요한 차이가 생깁니다.
출처의 형식을 잘 생성하는 능력
실제 출처의 존재와 내용을 확인하는 능력
이 두 능력은 같지 않습니다.
AI가 논문 인용 형식을 완벽하게 작성했다고 해서 그 논문이 실제로 존재한다는 뜻은 아닙니다. DOI처럼 보이는 문자열이 있다고 해서 실제 DOI 등록 정보와 연결된다는 뜻도 아닙니다.
미국 국립표준기술연구소인 NIST는 생성형 AI의 이러한 오류를 ‘confabulation’으로 분류합니다. 이는 모델이 확신하는 주체라서 의도적으로 거짓말한다는 뜻이 아니라, 출력이 잘못된 정보나 허구의 내용을 포함할 수 있다는 위험을 가리킵니다.
AI는 왜 “모른다”고 멈추지 않을까
여기에는 생성형 AI의 답변 습성과 평가 방식도 관련되어 있습니다.
질문을 받았을 때 아무 답도 하지 않는 모델과, 일단 유창하고 구체적인 답을 내놓는 모델이 있다고 해보겠습니다. 일반적인 사용 환경에서는 두 번째 모델이 더 유능하게 느껴지기 쉽습니다.
문제는 모델이 정확히 아는 경우와 알지 못하는 경우를 언제나 완벽하게 구분하지 못한다는 점입니다. 불확실한 상황에서도 답을 만들어내면, 다음과 같은 일이 벌어질 수 있습니다.
기억 속 일부 정보를 잘못 결합한다.
실제 논문의 제목과 저자를 뒤섞는다.
존재하는 학술지에 존재하지 않는 논문을 배치한다.
실제 논문에 잘못된 연도나 DOI를 붙인다.
질문자의 전제를 사실로 받아들이고 그에 맞는 근거를 만든다.
이는 모든 출처 오류가 완전히 무작위로 만들어진다는 뜻도 아닙니다. 실제 자료의 일부를 불완전하게 재구성한 오류도 있고, 서로 다른 자료의 요소를 합친 오류도 있으며, 처음부터 존재하지 않는 출처를 생성하는 경우도 있습니다.
2026년 발표된 한 연구는 조작된 인용을 완전한 허구, 서지정보 일부의 변형, 실제 식별자를 엉뚱한 자료에 붙이는 경우 등으로 구분했습니다. 이는 ‘가짜 출처’가 언제나 한 가지 형태로 나타나는 것이 아니라는 점을 보여줍니다. 다만 해당 연구는 특정 학술대회 사례를 대상으로 한 분석이므로 모든 AI와 모든 분야에 그대로 일반화해서는 안 됩니다.
검색 기능이 있는 AI는 안전할까
검색 기능이 연결된 AI는 검색하지 않는 모델보다 실제 자료를 확인할 가능성이 높습니다. 하지만 검색 기능이 있다고 해서 모든 인용이 자동으로 정확해지는 것은 아닙니다.
검색하는 과정에서도 여러 단계의 오류가 생길 수 있습니다.
검색 결과에서 관련 없는 문서를 선택할 수 있다.
문서의 제목만 보고 내용을 잘못 추론할 수 있다.
원문의 일부를 문맥과 다르게 요약할 수 있다.
출처는 실제이지만 그 출처가 해당 주장을 뒷받침하지 않을 수 있다.
여러 문서의 내용을 하나의 출처가 말한 것처럼 합칠 수 있다.
대화가 길어지면서 앞서 제시한 출처의 제목이나 내용이 변형될 수 있다.
2025년 발표된 ‘인용 표류(citation drift)’ 연구는 여러 차례 대화를 이어가는 동안 출처가 변형되거나 사라지거나 새로 만들어지는 현상을 조사했습니다. 즉, 처음에는 실제 자료를 바탕으로 시작했더라도 대화가 반복되면서 인용 정보가 흔들릴 수 있다는 것입니다.
따라서 “이 AI는 인터넷 검색을 하니까 출처가 정확할 것”이라고 단정하기보다는 다음을 구분해야 합니다.
AI가 출처를 표시했는가?
AI가 실제 자료를 검색했는가?
표시된 출처가 실제로 존재하는가?
그 출처가 AI의 주장을 정말 뒷받침하는가?
이 네 가지는 서로 다른 확인 단계입니다.
가짜 출처는 왜 더 위험한가
틀린 설명만 있는 문장은 사용자가 의심할 가능성이 있습니다. 하지만 저자와 논문 제목, 발행 연도, 링크까지 붙으면 오류가 근거를 갖춘 사실처럼 보입니다.
출처는 본래 주장을 검증하기 위한 장치입니다. 그런데 출처 자체가 만들어지면 검증 장치가 오히려 신뢰를 강화하는 장치로 바뀝니다.
특히 다음 영역에서는 위험이 커집니다.
학술논문과 연구보고서
의료·건강 정보
법률과 판례
정부 정책과 지원사업
통계와 시장조사
교육자료와 강의안
언론 기사와 역사적 기록
이 분야에서는 작은 서지정보 오류가 단순한 오타로 끝나지 않을 수 있습니다. 존재하지 않는 연구를 근거로 사업계획서를 작성하거나, 실제 법 조항과 다른 내용을 고객에게 안내하거나, 틀린 의료 정보를 강의자료에 넣을 수 있기 때문입니다.
최근 연구들은 실제 학술 출판물에서도 잘못되거나 조작된 인용이 발견되고 있음을 보고하고 있습니다. 다만 연구마다 조사 대상, 판별 기준, 모델과 분야가 다르므로 특정 오류율을 모든 생성형 AI에 공통된 수치로 받아들이면 안 됩니다.
출처를 받았을 때 가장 먼저 할 일
AI가 제시한 출처는 ‘증명된 근거’가 아니라 확인이 필요한 후보 자료로 받아들이는 것이 안전합니다.
1. 제목을 그대로 검색한다
논문 제목을 따옴표로 묶어 검색합니다. 학술 논문이라면 Google Scholar, Crossref, PubMed, RISS, KCI, DBpia 등 해당 분야의 데이터베이스에서 확인합니다.
검색 결과가 전혀 없다면 제목 일부를 줄여 다시 찾아봅니다. 번역된 제목일 가능성도 있으므로 원어 제목을 요청하거나 핵심어로 검색할 수 있습니다.
2. 저자·제목·연도가 서로 일치하는지 본다
논문 자체는 존재하지만 AI가 다른 저자나 연도를 붙였을 수 있습니다. 제목만 확인해서는 충분하지 않습니다.
최소한 다음 정보가 일치하는지 살펴야 합니다.
저자
논문 제목
학술지 또는 출판기관
발행 연도
권·호와 페이지
DOI 또는 공식 주소
3. 링크의 주소가 아니라 도착한 문서를 확인한다
링크가 있다는 사실만으로 출처가 검증된 것은 아닙니다. 링크를 열어 실제 문서의 제목과 저자, 내용을 확인해야 합니다.
AI가 제시한 링크 문구와 실제 연결된 페이지가 다를 수도 있습니다.
4. 원문이 실제 주장을 뒷받침하는지 읽는다
가장 놓치기 쉬운 단계입니다.
논문이 실제로 존재하더라도 AI가 그 결과를 과장하거나 반대로 설명했을 수 있습니다. 초록, 연구 방법, 결과, 결론을 확인하여 AI가 인용한 내용과 일치하는지 살펴야 합니다.
“관련된 논문이 존재한다”와 “그 논문이 이 주장을 입증한다”는 같은 말이 아닙니다.
5. 중요한 내용은 두 개 이상의 독립된 출처로 교차검증한다
한 출처만으로 중요한 결정을 내리지 않는 것이 좋습니다. 특히 의료·법률·재정·정책 정보는 공식 기관 자료와 전문가의 확인이 필요합니다.
AI에게 이렇게 요청하면 도움이 된다
프롬프트만으로 오류를 완전히 막을 수는 없습니다. 그래도 AI가 사실과 추정을 구분하도록 요구하면 검증하기 쉬운 형태의 답을 받을 수 있습니다.
예를 들어 다음과 같이 요청할 수 있습니다.
실제 존재 여부를 확인할 수 있는 출처만 제시해 주세요.
확인하지 못한 출처는 만들지 말고 ‘확인하지 못함’이라고 표시해 주세요.
각 출처가 어떤 주장을 뒷받침하는지 따로 설명해 주세요.
논문 제목, 저자, 연도, DOI를 구분해서 제시해 주세요.
검색으로 확인한 정보와 모델의 일반 지식을 구분해 주세요.
그러나 이런 요청을 했다는 사실이 정확성을 보장하지는 않습니다. AI가 “확인했다”고 말하는 것과 실제로 외부 데이터베이스에서 확인한 것은 다를 수 있기 때문입니다.
결국 마지막 확인은 원문으로 돌아가야 합니다.
명징한 알아차림: 출처가 붙는 순간 무엇이 달라졌는가
AI의 답에 출처가 붙는 순간, 우리는 문장의 내용을 덜 살피고 신뢰의 표시를 먼저 볼 수 있습니다.
저자의 이름, 발행 연도, 전문용어, 학술지 제목은 답변의 권위를 높입니다. 그러나 그 권위는 실제 자료에서 온 것일 수도 있고, 자료의 형식만 닮은 문장에서 온 것일 수도 있습니다.
이때 필요한 알아차림은 무조건 AI를 불신하는 태도가 아닙니다.
출처가 있으므로 믿는가?
아니면 출처를 확인했으므로 믿는가?
두 문장은 비슷해 보이지만 전혀 다릅니다.
AI가 만든 출처를 발견했을 때 “AI가 나를 속였다”고만 생각하면 우리는 AI를 하나의 의도적인 행위자로 상상하게 됩니다. 반대로 “AI는 원래 그러니까 어쩔 수 없다”고 넘기면 검증의 책임을 놓치게 됩니다.
조금 더 정확하게 본다면, AI는 문맥에 맞는 답을 생성했고 그 과정에서 출처의 형식까지 완성했지만, 그 형식이 현실의 자료와 일치하는지는 별도로 확인되지 않았을 수 있습니다.
AI의 유창함은 자료의 존재를 보증하지 않습니다.
출처의 구체성은 사실의 정확성을 보증하지 않습니다.
링크의 존재는 원문의 내용을 보증하지 않습니다.
출처는 믿음을 완성하는 장식이 아니라, 확인을 시작하는 통로여야 합니다.
AI가 출처를 제시한 순간 답변이 끝난 것이 아닙니다.
바로 그때부터 우리의 검증이 시작됩니다.
참고 자료
OpenAI, Why Language Models Hallucinate, 2025.
Kalai et al., Why Language Models Hallucinate, 2025.
NIST, Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile, 2024.
Ram, Citation Drift: Measuring Reference Stability in Multi-Turn LLM Interactions, 2025.
Ansari, Compound Deception in Elite Peer Review: A Failure Mode Taxonomy of 100 Fabricated Citations at NeurIPS 2025, 2026.
※ 참고 자료의 연구 결과는 조사한 모델, 분야, 시점과 평가 방법에 따라 달라질 수 있습니다. 특정 연구에서 보고한 오류율을 모든 AI 서비스에 그대로 적용해서는 안 됩니다.
댓글
댓글 쓰기