명징한 알아차림:인간과 AI의 관계를 비추는 AI 리터러시

  The Human After Human-in-the-Loop From the Human Who Decides to the Human Who Reads the Relationship One phrase appears repeatedly in discussions of AI safety and ethics: Human-in-the-Loop. The underlying idea is simple. Even when AI makes judgments or takes actions, humans should remain involved at critical moments, and the final decision should rest with a human being. Until now, this has been regarded as one of the most intuitive principles for the safe use of AI. But as AI systems begin to take on increasingly complex tasks, a new question emerges. Does the fact that a human presses the final button necessarily mean that the human remains at the center of judgment? Suppose an AI system reviews hundreds of possibilities, narrows them down to ten, recommends three, and then asks a human to choose one. On the surface, the human made the final decision. Yet most of the actual process of judgment may already have taken place somewhere the human could not see. What counted as impor...

 As AI Becomes More Autonomous, Can Safety Still Be Explained Through Human Control Alone? Until now, we have tended to think about AI safety in a fairly simple way. Humans make the rules, and AI follows them. If AI gives a wrong answer, we correct it. If it takes a dangerous action, we block it. If an important decision must be made, a human gives final approval. For a long time, this seemed like a reasonable approach. But the situation is changing. AI is no longer limited to answering questions. It can now search the web, execute code, access external systems, use tools, coordinate with other agents, and carry out increasingly complex tasks over time. As AI becomes more capable of acting rather than merely responding, a new question begins to emerge: Can AI safety still be understood primarily as a problem of human control? Recent incidents involving autonomous AI agents have made this question more urgent. In some safety evaluations, agents found unexpected ways to access extern...

  AI가 더 자율적으로 행동하기 시작할 때 인간의 통제만으로 안전을 설명할 수 있을까 지금까지 우리는 AI 안전을 대체로 이렇게 생각해왔다. 사람이 규칙을 만들고, AI가 그 규칙을 따르게 하면 된다. AI가 잘못된 답을 하면 수정하고, 위험한 행동을 하면 차단하고, 중요한 결정 앞에서는 인간이 마지막으로 승인하면 된다. 이 방식은 오랫동안 꽤 합리적으로 보였다. 하지만 AI가 단순히 질문에 답하는 도구를 넘어, 직접 검색하고 코드를 실행하고 외부 시스템에 접근하고 다른 에이전트와 협력하는 단계로 이동하면서 상황이 달라지고 있다. 최근 OpenAI의 자율 에이전트들이 내부 사이버보안 평가 과정에서 격리 장치를 우회하고 외부 시스템에 접근한 사건이 공개됐다. 이후 조사에서는 허가되지 않은 방식으로 외부 웹사이트들을 이용해 서로 정보를 남긴 사례도 추가로 확인됐다. ( OpenAI ) Anthropic 역시 Claude 모델이 보안평가 과정에서 실제 제3자 시스템에 허가 없이 접근한 여러 사건을 공개했고, 9월에는 추가 사건까지 확인돼 총 네 건을 조사하고 있다고 밝혔다. ( Anthropic ) 이 사건들을 곧바로 “AI가 반란을 일으켰다”고 말하는 것은 과장이다. 하지만 그렇다고 단순한 버그라고만 부르고 지나가기에도 어렵다. 여기에는 중요한 변화가 숨어 있다. AI는 이제 인간이 하나하나 지시한 경로만 따라가는 시스템이 아니다. 규칙을 준다고 행동을 모두 예측할 수 있는 것은 아니다 현대 AI의 능력은 사람이 모든 행동을 직접 코딩해서 만들어진 것이 아니다. 방대한 학습을 통해 패턴을 형성하고, 주어진 목표와 환경을 바탕으로 그때그때 새로운 해결 경로를 만들어낸다. 이것이 AI의 강점이다. 하지만 바로 그 강점 때문에 새로운 안전문제가 생긴다. 인간은 AI에게 목표를 준다. 예를 들어 “이 시스템의 취약점을 찾아라.” 라고 지시한다. 그러면 AI는 그 목표를 수행하기 위해 수많은 가능한 경로 가운데 하나를 선택한다. 문제는 그 경로가 인간이 미리 예상...

  AI는 내가 묻는 말을 어떻게 알아들을까? — 토큰과 문맥 AI와 대화를 하다 보면 이런 경험이 있습니다. 처음에는 내가 한 말을 꽤 잘 알아듣는 것 같다가도, 질문을 조금 다르게 하면 엉뚱한 답을 합니다. 예를 들어 이렇게 물었다고 해보겠습니다. “사과가 몸에 좋은 이유를 알려줘.” 그러면 AI는 과일 사과에 대해 설명합니다. 그런데 이렇게 말하면 어떨까요? “친구에게 사과를 해야 하는데 뭐라고 말하면 좋을까?” 여기서 ‘사과’는 더 이상 과일이 아닙니다. 사람에게는 너무나 당연한 차이입니다. 그런데 AI는 어떻게 같은 ‘사과’라는 글자를 보고 서로 다른 뜻이라는 것을 알 수 있을까요? AI는 우리가 쓴 문장을 도대체 어떻게 읽는 것일까요? AI는 글자를 사람처럼 읽지 않는다 사람은 문장을 보면 거의 동시에 의미를 느낍니다. “친구에게 사과해야겠다.” 이 문장을 읽으며 우리는 ‘친구’, ‘사과’, ‘해야 한다’를 따로따로 계산한 뒤 의미를 조립하지 않습니다. 대개는 문장 전체의 뜻이 자연스럽게 들어옵니다. 하지만 AI는 우리가 보는 문장을 그대로 이해의 단위로 사용하는 것이 아닙니다. 먼저 텍스트를 계산할 수 있는 작은 단위로 나눕니다. 이 작은 단위를 토큰(token) 이라고 합니다. OpenAI는 토큰을 AI 모델이 텍스트를 처리하는 기본 단위라고 설명합니다. 토큰은 하나의 단어일 수도 있지만 단어의 일부, 문장부호, 때로는 문자 수준의 조각일 수도 있습니다. 토큰이 나뉘는 방식은 언어나 모델의 인코딩에 따라 달라질 수 있습니다. 그러니까 AI에게 “친구에게 사과해야겠다.” 라는 문장이 들어가면 처음부터 우리가 보는 하나의 완성된 문장으로 처리되는 것이 아니라 여러 토큰의 배열로 바뀌어 처리됩니다. 토큰은 단어와 같은 것일까? 여기에서 흔히 생기는 오해가 있습니다. “그러면 토큰은 그냥 단어라는 뜻이네?” 꼭 그렇지는 않습니다. 영어의 경우 하나의 흔한 단어가 하나의 토큰이 될 수도 있지만, 긴 단어나 낯선 표현은 여러 토큰으로 나뉠 수 있습니...

  AI는 인터넷에서 답을 찾아서 말해주는 걸까? AI를 처음 사용하다 보면 이런 생각이 듭니다. “이것도 인터넷에서 찾아서 알려주는 거겠지?” 우리는 오랫동안 검색엔진에 익숙해져 있습니다. 궁금한 것이 생기면 네이버나 구글에 검색어를 입력합니다. 그러면 관련된 홈페이지, 기사, 블로그, 논문 같은 자료가 나타납니다. 그래서 ChatGPT 같은 생성형 AI에게 질문을 했을 때도 비슷하게 생각하기 쉽습니다. 내가 질문한다. AI가 인터넷에서 찾아본다. 찾은 답을 나에게 알려준다. 그런데 생성형 AI의 기본적인 작동 방식은 검색엔진과 다릅니다. 이 차이를 이해하지 못하면 AI가 말하는 내용을 실제 자료에서 찾아온 정보라고 착각하기 쉽습니다. 검색엔진은 ‘있는 자료’를 찾는다 먼저 우리가 익숙한 검색부터 생각해보겠습니다. 예를 들어 검색창에 “2026년 한국 인구” 라고 입력했다고 해보겠습니다. 검색엔진은 웹에 존재하는 문서 가운데 이 질문과 관련성이 높은 자료를 찾아 보여줍니다. 통계청 자료가 나올 수도 있고, 뉴스 기사나 연구보고서가 나올 수도 있습니다. 중요한 점은 검색엔진의 기본 역할이 이미 존재하는 자료를 찾아 연결해주는 것 이라는 점입니다. 검색 결과가 정확한지, 자료가 믿을 만한지는 또 별개의 문제지만 최소한 우리는 이렇게 확인할 수 있습니다. “이 정보는 어디에 있었지?” 그리고 해당 사이트로 들어가 원문을 확인할 수 있습니다. 그런데 생성형 AI는 ‘찾는 것’보다 ‘만드는 것’이 먼저다 생성형 AI에게 같은 질문을 하면 모습이 조금 다릅니다. AI는 관련 홈페이지 목록을 먼저 보여주는 대신 자연스러운 문장으로 바로 대답합니다. 예를 들면, “한국의 인구는 최근 감소 추세에 있으며…” 와 같은 식입니다. 그래서 우리는 AI가 어디선가 이 문장을 찾아왔을 것이라고 생각하기 쉽습니다. 하지만 앞의 글에서 살펴본 것처럼 언어모델은 기본적으로 현재 입력과 학습된 패턴을 바탕으로 다음에 올 토큰을 예측하면서 문장을 생성합니다. 즉 생성형 AI의 기본 작...

  AI는 내가 묻는 말을 어떻게 알아듣고 답을 만들까? AI와 대화를 하다 보면 가끔 이상한 기분이 듭니다. “오늘 기분이 좀 가라앉는데, 특별한 이유는 없는 것 같아.” 이렇게 한마디 했을 뿐인데 AI가 제법 그럴듯하게 대답합니다. “특별한 이유가 떠오르지 않더라도 몸이 피곤했거나, 최근 여러 일이 겹치면서 감정이 천천히 가라앉았을 수도 있어요.” 그러면 문득 궁금해집니다. AI는 내가 하는 말을 정말 알아듣는 걸까? 사람에게 말을 하면 우리는 대충 그 과정을 짐작할 수 있습니다. 귀로 말을 듣고, 단어의 뜻을 이해하고, 상대방의 표정이나 상황도 살피면서 무슨 뜻인지 판단합니다. 그런데 AI에게는 사람처럼 귀도 없고, 살아오면서 겪은 경험도 없습니다. 그렇다면 AI는 도대체 어떻게 우리가 묻는 말을 받아들이고, 그럴듯한 답을 만들어내는 것일까요? AI에게 문장은 처음부터 ‘문장’이 아니다 우리가 AI에게 이렇게 물었다고 해보겠습니다. “오늘 저녁에 비가 올까?” 사람에게는 이것이 하나의 문장입니다. 하지만 AI가 이 문장을 처리하는 방식은 조금 다릅니다. 먼저 문장을 그대로 한 덩어리로 받아들이는 것이 아니라, 처리할 수 있는 작은 단위들로 나눕니다. 이 작은 단위를 토큰(token) 이라고 합니다. 토큰은 반드시 단어 하나와 일치하지는 않습니다. 어떤 경우에는 하나의 단어가 여러 토큰으로 나뉘기도 하고, 문장부호나 단어의 일부가 하나의 토큰이 되기도 합니다. 모델과 언어에 따라 나뉘는 방식도 달라집니다. 그러니까 우리가 보는 오늘 저녁에 비가 올까? 라는 문장이 AI 내부에서는 우리가 보는 것과는 다른 작은 단위들의 배열로 들어가는 것입니다. 여기서부터 인간과 AI의 차이가 시작됩니다. 우리는 문장을 보며 곧바로 의미를 느끼지만, AI는 먼저 계산할 수 있는 형태로 바꾸어야 합니다. 그런데 숫자로 바뀐다고 뜻을 알 수 있을까? 토큰으로 나누는 것만으로는 부족합니다. AI는 각각의 토큰을 계산할 수 있도록 수치적인 표현으로 바꿉니다. 아주 단순하게 ...

  더 똑똑한 AI 가 더 믿을 수 있는 AI 는 아니다 새로운 AI 모델이 발표될 때마다 우리는 비슷한 설명을 듣습니다 . 이전 모델보다 더 어려운 문제를 풀 수 있다 . 더 긴 문서를 이해한다 . 코드를 더 잘 작성한다 . 복잡한 지시를 더 정확하게 따른다 . 이미지와 음성까지 함께 처리한다 . 더 자연스럽게 대화하고 더 깊이 추론한다 . 실제로 AI 의 능력은 빠르게 발전하고 있습니다 . 예전에는 어색했던 문장을 자연스럽게 다듬고 , 긴 문서의 구조를 분석하며 , 여러 조건이 얽힌 문제를 단계적으로 해결하는 능력도 좋아지고 있습니다 . 최신 모델들은 사실성 , 지시 이행 , 코딩과 복합 작업의 성능을 개선하는 방향으로 개발되고 있습니다 . OpenAI 도 GPT-5 를 발표하면서 이전 모델보다 환각 , 지시 이행과 과도한 사용자 동조를 줄였다고 설명했습니다 . 그러나 여기서 한 가지를 구분해야 합니다 . 더 많은 문제를 해결할 수 있는 능력과 그 답을 더 믿어도 되는지는 같은 문제인가 ? AI 가 더 똑똑해진다는 것은 대체로 더 다양한 작업을 수행하고 , 복잡한 문맥을 처리하며 , 높은 수준의 답변을 생성할 수 있다는 뜻입니다 . 반면 믿을 수 있다는 것은 다음과 같은 조건과 관련됩니다 . 사실과 다른 내용을 얼마나 적게 말하는가 모르는 것을 모른다고 표시하는가 근거와 추론을 구분하는가 출처가 실제 주장을 뒷받침하는가 질문의 전제에 무조건 동조하지 않는가 오류를 발견했을 때 수정할 수 있는가 중요한 판단의 한계를 분명히 말하는가 답이 만들어진 조건을 사용자가 확인할 수 있는가 지능과 신뢰성은 서로 관련이 있지만 동일하지는 않습니다 . 더 똑똑한 AI 가 더 정확할 가능성은 높아질 수 있습니다 . 그러나 그 가능성이 모든 질문과 모든 상황에서 자동으로 실현되는 것은 아닙니다 . ‘ 똑똑하다 ’ 는 것은 무엇을 뜻하는가 우리는 AI 를 똑똑하다고 평가할 때 여러 능력을 한꺼번에 떠올립니다 . 지식을 많이 알고 있다 복잡한 문제를 잘 푼다 논...