AI는 내가 묻는 말을 어떻게 알아듣고 답을 만들까?(토큰, 다음 토큰 예측, 생성)
AI는 내가 묻는 말을 어떻게 알아듣고 답을 만들까? AI와 대화를 하다 보면 가끔 이상한 기분이 듭니다. “오늘 기분이 좀 가라앉는데, 특별한 이유는 없는 것 같아.” 이렇게 한마디 했을 뿐인데 AI가 제법 그럴듯하게 대답합니다. “특별한 이유가 떠오르지 않더라도 몸이 피곤했거나, 최근 여러 일이 겹치면서 감정이 천천히 가라앉았을 수도 있어요.” 그러면 문득 궁금해집니다. AI는 내가 하는 말을 정말 알아듣는 걸까? 사람에게 말을 하면 우리는 대충 그 과정을 짐작할 수 있습니다. 귀로 말을 듣고, 단어의 뜻을 이해하고, 상대방의 표정이나 상황도 살피면서 무슨 뜻인지 판단합니다. 그런데 AI에게는 사람처럼 귀도 없고, 살아오면서 겪은 경험도 없습니다. 그렇다면 AI는 도대체 어떻게 우리가 묻는 말을 받아들이고, 그럴듯한 답을 만들어내는 것일까요? AI에게 문장은 처음부터 ‘문장’이 아니다 우리가 AI에게 이렇게 물었다고 해보겠습니다. “오늘 저녁에 비가 올까?” 사람에게는 이것이 하나의 문장입니다. 하지만 AI가 이 문장을 처리하는 방식은 조금 다릅니다. 먼저 문장을 그대로 한 덩어리로 받아들이는 것이 아니라, 처리할 수 있는 작은 단위들로 나눕니다. 이 작은 단위를 토큰(token) 이라고 합니다. 토큰은 반드시 단어 하나와 일치하지는 않습니다. 어떤 경우에는 하나의 단어가 여러 토큰으로 나뉘기도 하고, 문장부호나 단어의 일부가 하나의 토큰이 되기도 합니다. 모델과 언어에 따라 나뉘는 방식도 달라집니다. 그러니까 우리가 보는 오늘 저녁에 비가 올까? 라는 문장이 AI 내부에서는 우리가 보는 것과는 다른 작은 단위들의 배열로 들어가는 것입니다. 여기서부터 인간과 AI의 차이가 시작됩니다. 우리는 문장을 보며 곧바로 의미를 느끼지만, AI는 먼저 계산할 수 있는 형태로 바꾸어야 합니다. 그런데 숫자로 바뀐다고 뜻을 알 수 있을까? 토큰으로 나누는 것만으로는 부족합니다. AI는 각각의 토큰을 계산할 수 있도록 수치적인 표현으로 바꿉니다. 아주 단순하게 ...