AI는 내가 묻는 말을 어떻게 알아들을까? — 토큰과 문맥
AI는 내가 묻는 말을 어떻게 알아들을까? — 토큰과 문맥 AI와 대화를 하다 보면 이런 경험이 있습니다. 처음에는 내가 한 말을 꽤 잘 알아듣는 것 같다가도, 질문을 조금 다르게 하면 엉뚱한 답을 합니다. 예를 들어 이렇게 물었다고 해보겠습니다. “사과가 몸에 좋은 이유를 알려줘.” 그러면 AI는 과일 사과에 대해 설명합니다. 그런데 이렇게 말하면 어떨까요? “친구에게 사과를 해야 하는데 뭐라고 말하면 좋을까?” 여기서 ‘사과’는 더 이상 과일이 아닙니다. 사람에게는 너무나 당연한 차이입니다. 그런데 AI는 어떻게 같은 ‘사과’라는 글자를 보고 서로 다른 뜻이라는 것을 알 수 있을까요? AI는 우리가 쓴 문장을 도대체 어떻게 읽는 것일까요? AI는 글자를 사람처럼 읽지 않는다 사람은 문장을 보면 거의 동시에 의미를 느낍니다. “친구에게 사과해야겠다.” 이 문장을 읽으며 우리는 ‘친구’, ‘사과’, ‘해야 한다’를 따로따로 계산한 뒤 의미를 조립하지 않습니다. 대개는 문장 전체의 뜻이 자연스럽게 들어옵니다. 하지만 AI는 우리가 보는 문장을 그대로 이해의 단위로 사용하는 것이 아닙니다. 먼저 텍스트를 계산할 수 있는 작은 단위로 나눕니다. 이 작은 단위를 토큰(token) 이라고 합니다. OpenAI는 토큰을 AI 모델이 텍스트를 처리하는 기본 단위라고 설명합니다. 토큰은 하나의 단어일 수도 있지만 단어의 일부, 문장부호, 때로는 문자 수준의 조각일 수도 있습니다. 토큰이 나뉘는 방식은 언어나 모델의 인코딩에 따라 달라질 수 있습니다. 그러니까 AI에게 “친구에게 사과해야겠다.” 라는 문장이 들어가면 처음부터 우리가 보는 하나의 완성된 문장으로 처리되는 것이 아니라 여러 토큰의 배열로 바뀌어 처리됩니다. 토큰은 단어와 같은 것일까? 여기에서 흔히 생기는 오해가 있습니다. “그러면 토큰은 그냥 단어라는 뜻이네?” 꼭 그렇지는 않습니다. 영어의 경우 하나의 흔한 단어가 하나의 토큰이 될 수도 있지만, 긴 단어나 낯선 표현은 여러 토큰으로 나뉠 수 있습니...