AI는 왜 틀린 말도 사실처럼 말할까?
AI는 왜 틀린 말도 사실처럼 말할까? AI에게 무엇인가를 물으면 대답이 막힘없이 이어집니다. 문장은 자연스럽고, 설명에는 원인과 근거가 있으며, 때로는 출처와 통계까지 붙습니다. 그래서 우리는 자신도 모르게 이렇게 받아들입니다. “이렇게 구체적으로 말하는데 사실이겠지.” 하지만 AI가 확신에 차서 말하는 것과 그 내용이 사실인 것은 전혀 다른 문제입니다. AI의 말투는 정확도의 표시가 아니라 문장을 생성하는 방식의 결과 이기 때문입니다. 최근 우리가 정리한 《명징한 알아차림》 연구 방향에서도 첫 번째 AI 리터러시 질문을 “AI의 답은 왜 사실처럼 느껴질까”로 두었습니다. AI의 오류만 탓하기 전에, AI의 수렴 습성과 인간의 믿고 싶은 마음이 어떻게 만나 하나의 확신을 만드는지 함께 살펴보자는 뜻입니다. AI는 사실을 꺼내는 기계가 아니라 다음 말을 예측하는 기계다 사람은 대체로 질문을 받으면 자신이 알고 있는 사실을 떠올린 뒤 문장으로 표현합니다. 그러나 대규모 언어모델은 기본적으로 다른 방식으로 작동합니다. AI는 방대한 문장에서 학습한 패턴을 바탕으로 현재 문맥에서 다음에 올 가능성이 높은 단어나 문장 을 선택합니다. 질문에 정답이 있는지부터 확인한 뒤 답을 꺼내는 것이 아니라, 질문 뒤에 가장 자연스럽게 이어질 표현을 생성하는 것입니다. 예를 들어 실제로 존재하지 않는 논문을 물어도 제목, 저자, 발행연도, 학술지 이름을 갖춘 그럴듯한 답을 만들 수 있습니다. 논문이라는 형식이 어떻게 생겼는지는 잘 학습했지만, 지금 만들어 낸 논문이 실제로 존재하는지를 반드시 확인하는 것은 아니기 때문입니다. 여기서 중요한 구분이 생깁니다. 문장으로서 자연스러운가? 사실로서 확인되었는가? 이 두 질문은 서로 다릅니다. AI는 첫 번째 질문에는 매우 능숙하지만, 검색이나 데이터베이스 확인 같은 외부 검증이 없다면 두 번째 질문에는 실패할 수 있습니다. NIST도 생성형 AI의 주요 위험 가운데 하나로 근거 없는 내용과 허위·오도 정보를 그럴듯하게 생성하는 ...