라벨이 인공지능 이해인 게시물 표시

AI는 내가 묻는 말을 어떻게 알아들을까? — 토큰과 문맥

이미지
  AI는 내가 묻는 말을 어떻게 알아들을까? — 토큰과 문맥 AI와 대화를 하다 보면 이런 경험이 있습니다. 처음에는 내가 한 말을 꽤 잘 알아듣는 것 같다가도, 질문을 조금 다르게 하면 엉뚱한 답을 합니다. 예를 들어 이렇게 물었다고 해보겠습니다. “사과가 몸에 좋은 이유를 알려줘.” 그러면 AI는 과일 사과에 대해 설명합니다. 그런데 이렇게 말하면 어떨까요? “친구에게 사과를 해야 하는데 뭐라고 말하면 좋을까?” 여기서 ‘사과’는 더 이상 과일이 아닙니다. 사람에게는 너무나 당연한 차이입니다. 그런데 AI는 어떻게 같은 ‘사과’라는 글자를 보고 서로 다른 뜻이라는 것을 알 수 있을까요? AI는 우리가 쓴 문장을 도대체 어떻게 읽는 것일까요? AI는 글자를 사람처럼 읽지 않는다 사람은 문장을 보면 거의 동시에 의미를 느낍니다. “친구에게 사과해야겠다.” 이 문장을 읽으며 우리는 ‘친구’, ‘사과’, ‘해야 한다’를 따로따로 계산한 뒤 의미를 조립하지 않습니다. 대개는 문장 전체의 뜻이 자연스럽게 들어옵니다. 하지만 AI는 우리가 보는 문장을 그대로 이해의 단위로 사용하는 것이 아닙니다. 먼저 텍스트를 계산할 수 있는 작은 단위로 나눕니다. 이 작은 단위를 토큰(token) 이라고 합니다. OpenAI는 토큰을 AI 모델이 텍스트를 처리하는 기본 단위라고 설명합니다. 토큰은 하나의 단어일 수도 있지만 단어의 일부, 문장부호, 때로는 문자 수준의 조각일 수도 있습니다. 토큰이 나뉘는 방식은 언어나 모델의 인코딩에 따라 달라질 수 있습니다. 그러니까 AI에게 “친구에게 사과해야겠다.” 라는 문장이 들어가면 처음부터 우리가 보는 하나의 완성된 문장으로 처리되는 것이 아니라 여러 토큰의 배열로 바뀌어 처리됩니다. 토큰은 단어와 같은 것일까? 여기에서 흔히 생기는 오해가 있습니다. “그러면 토큰은 그냥 단어라는 뜻이네?” 꼭 그렇지는 않습니다. 영어의 경우 하나의 흔한 단어가 하나의 토큰이 될 수도 있지만, 긴 단어나 낯선 표현은 여러 토큰으로 나뉠 수 있습니...

AI가 답을 만드는 기술의 이해

이미지
  AI는 인터넷에서 답을 찾아서 말해주는 걸까? AI를 처음 사용하다 보면 이런 생각이 듭니다. “이것도 인터넷에서 찾아서 알려주는 거겠지?” 우리는 오랫동안 검색엔진에 익숙해져 있습니다. 궁금한 것이 생기면 네이버나 구글에 검색어를 입력합니다. 그러면 관련된 홈페이지, 기사, 블로그, 논문 같은 자료가 나타납니다. 그래서 ChatGPT 같은 생성형 AI에게 질문을 했을 때도 비슷하게 생각하기 쉽습니다. 내가 질문한다. AI가 인터넷에서 찾아본다. 찾은 답을 나에게 알려준다. 그런데 생성형 AI의 기본적인 작동 방식은 검색엔진과 다릅니다. 이 차이를 이해하지 못하면 AI가 말하는 내용을 실제 자료에서 찾아온 정보라고 착각하기 쉽습니다. 검색엔진은 ‘있는 자료’를 찾는다 먼저 우리가 익숙한 검색부터 생각해보겠습니다. 예를 들어 검색창에 “2026년 한국 인구” 라고 입력했다고 해보겠습니다. 검색엔진은 웹에 존재하는 문서 가운데 이 질문과 관련성이 높은 자료를 찾아 보여줍니다. 통계청 자료가 나올 수도 있고, 뉴스 기사나 연구보고서가 나올 수도 있습니다. 중요한 점은 검색엔진의 기본 역할이 이미 존재하는 자료를 찾아 연결해주는 것 이라는 점입니다. 검색 결과가 정확한지, 자료가 믿을 만한지는 또 별개의 문제지만 최소한 우리는 이렇게 확인할 수 있습니다. “이 정보는 어디에 있었지?” 그리고 해당 사이트로 들어가 원문을 확인할 수 있습니다. 그런데 생성형 AI는 ‘찾는 것’보다 ‘만드는 것’이 먼저다 생성형 AI에게 같은 질문을 하면 모습이 조금 다릅니다. AI는 관련 홈페이지 목록을 먼저 보여주는 대신 자연스러운 문장으로 바로 대답합니다. 예를 들면, “한국의 인구는 최근 감소 추세에 있으며…” 와 같은 식입니다. 그래서 우리는 AI가 어디선가 이 문장을 찾아왔을 것이라고 생각하기 쉽습니다. 하지만 앞의 글에서 살펴본 것처럼 언어모델은 기본적으로 현재 입력과 학습된 패턴을 바탕으로 다음에 올 토큰을 예측하면서 문장을 생성합니다. 즉 생성형 AI의 기본 작...

AI는 내가 묻는 말을 어떻게 알아듣고 답을 만들까?(토큰, 다음 토큰 예측, 생성)

이미지
  AI는 내가 묻는 말을 어떻게 알아듣고 답을 만들까? AI와 대화를 하다 보면 가끔 이상한 기분이 듭니다. “오늘 기분이 좀 가라앉는데, 특별한 이유는 없는 것 같아.” 이렇게 한마디 했을 뿐인데 AI가 제법 그럴듯하게 대답합니다. “특별한 이유가 떠오르지 않더라도 몸이 피곤했거나, 최근 여러 일이 겹치면서 감정이 천천히 가라앉았을 수도 있어요.” 그러면 문득 궁금해집니다. AI는 내가 하는 말을 정말 알아듣는 걸까? 사람에게 말을 하면 우리는 대충 그 과정을 짐작할 수 있습니다. 귀로 말을 듣고, 단어의 뜻을 이해하고, 상대방의 표정이나 상황도 살피면서 무슨 뜻인지 판단합니다. 그런데 AI에게는 사람처럼 귀도 없고, 살아오면서 겪은 경험도 없습니다. 그렇다면 AI는 도대체 어떻게 우리가 묻는 말을 받아들이고, 그럴듯한 답을 만들어내는 것일까요? AI에게 문장은 처음부터 ‘문장’이 아니다 우리가 AI에게 이렇게 물었다고 해보겠습니다. “오늘 저녁에 비가 올까?” 사람에게는 이것이 하나의 문장입니다. 하지만 AI가 이 문장을 처리하는 방식은 조금 다릅니다. 먼저 문장을 그대로 한 덩어리로 받아들이는 것이 아니라, 처리할 수 있는 작은 단위들로 나눕니다. 이 작은 단위를 토큰(token) 이라고 합니다. 토큰은 반드시 단어 하나와 일치하지는 않습니다. 어떤 경우에는 하나의 단어가 여러 토큰으로 나뉘기도 하고, 문장부호나 단어의 일부가 하나의 토큰이 되기도 합니다. 모델과 언어에 따라 나뉘는 방식도 달라집니다. 그러니까 우리가 보는 오늘 저녁에 비가 올까? 라는 문장이 AI 내부에서는 우리가 보는 것과는 다른 작은 단위들의 배열로 들어가는 것입니다. 여기서부터 인간과 AI의 차이가 시작됩니다. 우리는 문장을 보며 곧바로 의미를 느끼지만, AI는 먼저 계산할 수 있는 형태로 바꾸어야 합니다. 그런데 숫자로 바뀐다고 뜻을 알 수 있을까? 토큰으로 나누는 것만으로는 부족합니다. AI는 각각의 토큰을 계산할 수 있도록 수치적인 표현으로 바꿉니다. 아주 단순하게 ...

AI는 왜 존재하지 않는 출처까지 만들어낼까?

이미지
  AI는 왜 존재하지 않는 출처까지 만들어낼까 AI에게 어떤 주장에 대한 근거를 물으면 그럴듯한 논문 제목과 저자, 학술지 이름, 발행 연도까지 제시할 때가 있습니다. 형식도 제법 정확해 보입니다. “김○○·이○○(2022)의 연구에 따르면…” “Journal of Digital Wellbeing에 발표된 연구에서는…” “세계보건기구의 2023년 보고서는…” 이렇게 구체적인 출처가 붙으면 우리는 답변을 더 쉽게 믿습니다. 단순한 설명보다 저자와 연도, 논문 제목이 있는 문장이 훨씬 전문적으로 보이기 때문입니다. 그러나 검색해 보면 해당 논문이 없거나, 논문은 존재하지만 제목과 저자가 다르거나, 실제 논문의 결론이 AI의 설명과 전혀 다른 경우가 있습니다. 링크가 열리더라도 엉뚱한 문서로 연결되기도 합니다. AI는 왜 틀린 사실만 말하는 데 그치지 않고, 존재하지 않는 출처까지 만들어내는 것일까요? AI는 먼저 사실을 확인한 뒤 문장을 쓰는가 사람은 일반적으로 출처를 제시할 때 다음과 같은 과정을 거칩니다. 자료를 찾는다. 자료가 실제로 존재하는지 확인한다. 자료의 내용을 읽는다. 자신의 주장과 관련 있는 부분을 인용한다. 저자·제목·발행처·연도를 기록한다. 하지만 생성형 AI가 항상 이 과정을 거치는 것은 아닙니다. 외부 검색이나 문서 검색 기능을 사용하지 않는 언어 모델은, 답변을 만들 때 학술 데이터베이스를 열어 실제 논문을 한 편씩 확인하는 것이 아니라 주어진 문맥에 이어질 가능성이 높은 표현을 생성합니다. “인공지능이 노인의 삶의 질에 미치는 영향을 연구한 논문을 알려줘”라는 요청을 받았다고 해보겠습니다. 모델은 학습 과정에서 접한 수많은 논문 제목의 형식, 연구자 이름의 배열, 학술지 명칭, 발행 연도의 패턴을 바탕으로 다음과 같은 조합을 만들 수 있습니다. Digital Technology and Quality of Life Among Older Adults J. Kim, S. Lee, 2021 Journal of Aging and Digi...

AI의 자신감과 실제 정확도는 어떻게 다른가?

이미지
  AI의 자신감과 실제 정확도는 어떻게 다른가? AI와 대화하다 보면 이런 순간이 있습니다. 답변이 매우 자연스럽고 논리적입니다. 전문용어도 적절하고, 숫자와 사례까지 구체적으로 제시합니다. 말투도 조금의 망설임 없이 단정적입니다. 그런데 나중에 확인해 보면 일부 내용이 틀리거나, 존재하지 않는 자료를 인용했거나, 오래된 정보를 최신 사실처럼 말한 경우가 있습니다. 이때 우리는 묻게 됩니다. “이렇게 자신 있게 말했는데 왜 틀렸을까?” 그 이유는 생성형 AI의 자신감 있는 표현 과 답변의 실제 정확도 가 서로 다른 문제이기 때문입니다. AI의 자신감은 인간의 자신감과 다르다 사람이 자신 있게 말할 때 우리는 보통 그 사람이 직접 경험했거나, 충분히 조사했거나, 기억이 분명하다고 생각합니다. 그러나 AI의 단정적인 문장은 그런 내적 확신을 그대로 표현한 것이 아닙니다. AI는 질문과 대화 맥락을 바탕으로 다음에 이어질 가능성이 높은 단어와 문장을 선택해 답을 만듭니다. 따라서 AI가 확신에 찬 말투로 답했다는 것은 우선, 현재의 문맥에서 그런 표현이 자연스럽게 생성되었다 는 뜻에 가깝습니다. 그 문장이 충분히 검증되었다거나, AI가 자신의 답이 맞다고 실제로 확신한다는 뜻은 아닙니다. AI의 말투는 정확도를 알려주는 계기판이 아닙니다. 왜 잘 쓰인 문장은 사실처럼 느껴질까? 인간은 정보의 내용뿐 아니라 표현 방식에도 영향을 받습니다. 문장이 매끄럽고, 설명이 단계적으로 이어지며, 구체적인 날짜와 숫자, 기관 이름이 들어가면 신뢰할 만한 정보처럼 느껴집니다. 하지만 다음은 서로 다릅니다. 구체적인 문장과 정확한 문장 논리적인 설명과 검증된 사실 전문적인 말투와 신뢰할 수 있는 근거 단정적인 표현과 높은 정확도 AI는 사실을 설명할 때도 자연스러운 문장을 만들고, 잘못된 정보를 생성할 때도 똑같이 자연스러운 문장을 만들 수 있습니다. 예를 들어 AI가 특정 연구의 연도, 대학 이름, 참여 인원까지 자세히 제시하면 매우 그럴듯하게 보입니다. 그러나 그 연구가...