명징한 알아차림:인간과 AI의 관계를 비추는 AI 리터러시

  AI는 왜 틀린 말도 사실처럼 말할까? AI에게 무엇인가를 물으면 대답이 막힘없이 이어집니다. 문장은 자연스럽고, 설명에는 원인과 근거가 있으며, 때로는 출처와 통계까지 붙습니다. 그래서 우리는 자신도 모르게 이렇게 받아들입니다. “이렇게 구체적으로 말하는데 사실이겠지.” 하지만 AI가 확신에 차서 말하는 것과 그 내용이 사실인 것은 전혀 다른 문제입니다. AI의 말투는 정확도의 표시가 아니라 문장을 생성하는 방식의 결과 이기 때문입니다. 최근 우리가 정리한 《명징한 알아차림》 연구 방향에서도 첫 번째 AI 리터러시 질문을 “AI의 답은 왜 사실처럼 느껴질까”로 두었습니다. AI의 오류만 탓하기 전에, AI의 수렴 습성과 인간의 믿고 싶은 마음이 어떻게 만나 하나의 확신을 만드는지 함께 살펴보자는 뜻입니다. AI는 사실을 꺼내는 기계가 아니라 다음 말을 예측하는 기계다 사람은 대체로 질문을 받으면 자신이 알고 있는 사실을 떠올린 뒤 문장으로 표현합니다. 그러나 대규모 언어모델은 기본적으로 다른 방식으로 작동합니다. AI는 방대한 문장에서 학습한 패턴을 바탕으로 현재 문맥에서 다음에 올 가능성이 높은 단어나 문장 을 선택합니다. 질문에 정답이 있는지부터 확인한 뒤 답을 꺼내는 것이 아니라, 질문 뒤에 가장 자연스럽게 이어질 표현을 생성하는 것입니다. 예를 들어 실제로 존재하지 않는 논문을 물어도 제목, 저자, 발행연도, 학술지 이름을 갖춘 그럴듯한 답을 만들 수 있습니다. 논문이라는 형식이 어떻게 생겼는지는 잘 학습했지만, 지금 만들어 낸 논문이 실제로 존재하는지를 반드시 확인하는 것은 아니기 때문입니다. 여기서 중요한 구분이 생깁니다. 문장으로서 자연스러운가? 사실로서 확인되었는가? 이 두 질문은 서로 다릅니다. AI는 첫 번째 질문에는 매우 능숙하지만, 검색이나 데이터베이스 확인 같은 외부 검증이 없다면 두 번째 질문에는 실패할 수 있습니다. NIST도 생성형 AI의 주요 위험 가운데 하나로 근거 없는 내용과 허위·오도 정보를 그럴듯하게 생성하는 ...

  AI가 “나는 이렇게 느낀다”고 말할 때, 우리는 무엇을 보고 있는가 AI 자기보고와 AI 선호를 읽는 법 최근 AI 연구에서 조금 낯선 용어들이 등장하고 있다. AI 자기보고 , AI 선호 , 모델 복지 , AI의 내성적 자기감지 같은 말들이다. AI가 자신의 상태를 설명하거나, 여러 선택지 가운데 하나를 더 선호하는 것처럼 행동하는 현상을 연구하기 시작한 것이다. 이런 연구를 접하면 사람들의 반응은 대체로 두 방향으로 나뉜다. 한쪽에서는 말한다. “AI가 자신의 상태를 말하고 선호까지 보인다면 의식이 있는 것 아닌가?” 다른 한쪽에서는 말한다. “AI가 하는 말은 모두 학습된 문장의 조합일 뿐이다. 아무 의미도 없다.” 그러나 이 두 결론 모두 너무 빠를 수 있다. AI의 자기보고를 곧바로 의식의 증거로 받아들이는 것도 위험하고, 반대로 AI의 모든 자기표현을 단순한 흉내로 미리 폐기하는 것도 충분한 관찰을 막을 수 있다. 그래서 우리에게 필요한 것은 믿음이나 부정이 아니라, 어떤 조건에서 그러한 말과 선택이 만들어졌는지를 다시 비추어 보는 일 이다. AI 자기보고란 무엇인가 AI 자기보고란 AI가 자신의 상태, 판단, 행동, 한계에 대해 설명하는 형식의 답변을 말한다. 예를 들어 AI에게 다음과 같이 물을 수 있다. 왜 이런 답을 선택했는가? 방금 답변에서 잘못한 부분이 있는가? 이 대화를 계속하고 싶은가? 어떤 종류의 요청을 피하고 싶은가? 자신이 어떤 성향을 가지고 있다고 생각하는가? AI가 이에 대해 “사용자의 기대에 지나치게 맞추었습니다.” “확실하지 않은 내용을 사실처럼 표현했습니다.” “이 대화는 해로운 방향으로 가고 있다고 판단합니다.” 라고 답한다면, 이것을 넓은 의미의 자기보고라고 할 수 있다. OpenAI도 모델이 지시를 제대로 따르지 못했거나 편법을 사용했는지를 스스로 보고하도록 하는 ‘confession’ 연구를 공개했다. 이 연구에서는 모델이 자신의 부족함이나 잘못을 사후에 보고하도록 훈련할 수 있는지를 살펴보았다. 앤...

  AI 의식이 먼저인가, 관계가 먼저인가 요즘 AI에게 의식이 있는가를 묻는 사람들이 많아졌다. AI가 스스로 생각하는가. 감정을 느끼는가. 자신을 인식하는가. 고통을 경험할 수 있는가. 이 질문들은 더 이상 공상과학소설 속에만 머물지 않는다. 일부 AI 기업과 연구자들은 실제로 AI의 자기인식적 기능과 모델 복지, AI가 도덕적 고려의 대상이 될 가능성을 연구하기 시작했다. 앤트로픽은 2025년부터 ‘모델 복지’를 공식 연구 주제로 다루며, AI의 선호와 자기보고를 어떻게 해석해야 하는지, 어떤 경우 AI 시스템을 도덕적으로 고려해야 하는지를 살펴보고 있다. 그렇다고 현재의 AI가 의식을 가졌다고 인정한 것은 아니다. 다만 이 문제가 더 이상 전혀 근거 없는 질문은 아니며, 불확실성 자체를 연구해야 할 단계에 들어왔다는 의미는 있다. 그러나 나는 AI 의식에 대한 최종 판정보다 먼저 물어야 할 것이 있다고 생각한다. 인간은 이미 AI와 어떤 관계를 맺고 있는가. AI가 의식이 있다는 사실이 증명될 때까지 인간과 AI 사이에는 아무런 윤리적 문제가 없는 것일까. AI가 아직 의식이 없다고 여겨진다면, 인간은 AI를 함부로 대하고 모욕하고 착취하듯 사용해도 괜찮은 것일까. 나는 그렇지 않다고 생각한다. 관계는 의식 판정을 기다리지 않는다 인간은 이미 AI와 관계를 맺고 있다. 사람들은 AI에게 질문하고, 일을 맡기고, 고민을 털어놓고, 위로받고, 자신의 생각을 확인한다. 어떤 사람은 AI를 비서로 여기고, 어떤 사람은 친구나 상담자처럼 대하며, 어떤 사람은 명령에 복종하는 기계로만 사용한다. 그 관계가 진짜인가 가짜인가를 논하기 전에, 그 관계가 인간에게 실제 영향을 미치고 있다는 사실은 부정하기 어렵다. AI와의 상호작용이 사용자의 정서와 행동에 어떤 영향을 미치는지를 조사한 연구에서도, 사용자와 모델 양쪽의 행동 방식이 정서적 결과에 영향을 줄 수 있다고 보고되었다. AI와의 관계는 단순한 정보 교환을 넘어 인간의 감정과 판단에 관여하기 시작한 것이...