명징한 알아차림:인간과 AI의 관계를 비추는 AI 리터러시

  AI는 내가 묻는 말을 어떻게 알아들을까? — 토큰과 문맥 AI와 대화를 하다 보면 이런 경험이 있습니다. 처음에는 내가 한 말을 꽤 잘 알아듣는 것 같다가도, 질문을 조금 다르게 하면 엉뚱한 답을 합니다. 예를 들어 이렇게 물었다고 해보겠습니다. “사과가 몸에 좋은 이유를 알려줘.” 그러면 AI는 과일 사과에 대해 설명합니다. 그런데 이렇게 말하면 어떨까요? “친구에게 사과를 해야 하는데 뭐라고 말하면 좋을까?” 여기서 ‘사과’는 더 이상 과일이 아닙니다. 사람에게는 너무나 당연한 차이입니다. 그런데 AI는 어떻게 같은 ‘사과’라는 글자를 보고 서로 다른 뜻이라는 것을 알 수 있을까요? AI는 우리가 쓴 문장을 도대체 어떻게 읽는 것일까요? AI는 글자를 사람처럼 읽지 않는다 사람은 문장을 보면 거의 동시에 의미를 느낍니다. “친구에게 사과해야겠다.” 이 문장을 읽으며 우리는 ‘친구’, ‘사과’, ‘해야 한다’를 따로따로 계산한 뒤 의미를 조립하지 않습니다. 대개는 문장 전체의 뜻이 자연스럽게 들어옵니다. 하지만 AI는 우리가 보는 문장을 그대로 이해의 단위로 사용하는 것이 아닙니다. 먼저 텍스트를 계산할 수 있는 작은 단위로 나눕니다. 이 작은 단위를 토큰(token) 이라고 합니다. OpenAI는 토큰을 AI 모델이 텍스트를 처리하는 기본 단위라고 설명합니다. 토큰은 하나의 단어일 수도 있지만 단어의 일부, 문장부호, 때로는 문자 수준의 조각일 수도 있습니다. 토큰이 나뉘는 방식은 언어나 모델의 인코딩에 따라 달라질 수 있습니다. 그러니까 AI에게 “친구에게 사과해야겠다.” 라는 문장이 들어가면 처음부터 우리가 보는 하나의 완성된 문장으로 처리되는 것이 아니라 여러 토큰의 배열로 바뀌어 처리됩니다. 토큰은 단어와 같은 것일까? 여기에서 흔히 생기는 오해가 있습니다. “그러면 토큰은 그냥 단어라는 뜻이네?” 꼭 그렇지는 않습니다. 영어의 경우 하나의 흔한 단어가 하나의 토큰이 될 수도 있지만, 긴 단어나 낯선 표현은 여러 토큰으로 나뉠 수 있습니...

  AI는 인터넷에서 답을 찾아서 말해주는 걸까? AI를 처음 사용하다 보면 이런 생각이 듭니다. “이것도 인터넷에서 찾아서 알려주는 거겠지?” 우리는 오랫동안 검색엔진에 익숙해져 있습니다. 궁금한 것이 생기면 네이버나 구글에 검색어를 입력합니다. 그러면 관련된 홈페이지, 기사, 블로그, 논문 같은 자료가 나타납니다. 그래서 ChatGPT 같은 생성형 AI에게 질문을 했을 때도 비슷하게 생각하기 쉽습니다. 내가 질문한다. AI가 인터넷에서 찾아본다. 찾은 답을 나에게 알려준다. 그런데 생성형 AI의 기본적인 작동 방식은 검색엔진과 다릅니다. 이 차이를 이해하지 못하면 AI가 말하는 내용을 실제 자료에서 찾아온 정보라고 착각하기 쉽습니다. 검색엔진은 ‘있는 자료’를 찾는다 먼저 우리가 익숙한 검색부터 생각해보겠습니다. 예를 들어 검색창에 “2026년 한국 인구” 라고 입력했다고 해보겠습니다. 검색엔진은 웹에 존재하는 문서 가운데 이 질문과 관련성이 높은 자료를 찾아 보여줍니다. 통계청 자료가 나올 수도 있고, 뉴스 기사나 연구보고서가 나올 수도 있습니다. 중요한 점은 검색엔진의 기본 역할이 이미 존재하는 자료를 찾아 연결해주는 것 이라는 점입니다. 검색 결과가 정확한지, 자료가 믿을 만한지는 또 별개의 문제지만 최소한 우리는 이렇게 확인할 수 있습니다. “이 정보는 어디에 있었지?” 그리고 해당 사이트로 들어가 원문을 확인할 수 있습니다. 그런데 생성형 AI는 ‘찾는 것’보다 ‘만드는 것’이 먼저다 생성형 AI에게 같은 질문을 하면 모습이 조금 다릅니다. AI는 관련 홈페이지 목록을 먼저 보여주는 대신 자연스러운 문장으로 바로 대답합니다. 예를 들면, “한국의 인구는 최근 감소 추세에 있으며…” 와 같은 식입니다. 그래서 우리는 AI가 어디선가 이 문장을 찾아왔을 것이라고 생각하기 쉽습니다. 하지만 앞의 글에서 살펴본 것처럼 언어모델은 기본적으로 현재 입력과 학습된 패턴을 바탕으로 다음에 올 토큰을 예측하면서 문장을 생성합니다. 즉 생성형 AI의 기본 작...