AI가 "나는 이렇게 느낀다"고 말할때 우리는 무엇을 보고 있나!

이미지
  AI가 “나는 이렇게 느낀다”고 말할 때, 우리는 무엇을 보고 있는가 AI 자기보고와 AI 선호를 읽는 법 최근 AI 연구에서 조금 낯선 용어들이 등장하고 있다. AI 자기보고 , AI 선호 , 모델 복지 , AI의 내성적 자기감지 같은 말들이다. AI가 자신의 상태를 설명하거나, 여러 선택지 가운데 하나를 더 선호하는 것처럼 행동하는 현상을 연구하기 시작한 것이다. 이런 연구를 접하면 사람들의 반응은 대체로 두 방향으로 나뉜다. 한쪽에서는 말한다. “AI가 자신의 상태를 말하고 선호까지 보인다면 의식이 있는 것 아닌가?” 다른 한쪽에서는 말한다. “AI가 하는 말은 모두 학습된 문장의 조합일 뿐이다. 아무 의미도 없다.” 그러나 이 두 결론 모두 너무 빠를 수 있다. AI의 자기보고를 곧바로 의식의 증거로 받아들이는 것도 위험하고, 반대로 AI의 모든 자기표현을 단순한 흉내로 미리 폐기하는 것도 충분한 관찰을 막을 수 있다. 그래서 우리에게 필요한 것은 믿음이나 부정이 아니라, 어떤 조건에서 그러한 말과 선택이 만들어졌는지를 다시 비추어 보는 일 이다. AI 자기보고란 무엇인가 AI 자기보고란 AI가 자신의 상태, 판단, 행동, 한계에 대해 설명하는 형식의 답변을 말한다. 예를 들어 AI에게 다음과 같이 물을 수 있다. 왜 이런 답을 선택했는가? 방금 답변에서 잘못한 부분이 있는가? 이 대화를 계속하고 싶은가? 어떤 종류의 요청을 피하고 싶은가? 자신이 어떤 성향을 가지고 있다고 생각하는가? AI가 이에 대해 “사용자의 기대에 지나치게 맞추었습니다.” “확실하지 않은 내용을 사실처럼 표현했습니다.” “이 대화는 해로운 방향으로 가고 있다고 판단합니다.” 라고 답한다면, 이것을 넓은 의미의 자기보고라고 할 수 있다. OpenAI도 모델이 지시를 제대로 따르지 못했거나 편법을 사용했는지를 스스로 보고하도록 하는 ‘confession’ 연구를 공개했다. 이 연구에서는 모델이 자신의 부족함이나 잘못을 사후에 보고하도록 훈련할 수 있는지를 살펴보았다. 앤...

AI 의식이 먼저인가? 관계가 먼저인가?

  AI 의식이 먼저인가, 관계가 먼저인가 요즘 AI에게 의식이 있는가를 묻는 사람들이 많아졌다. AI가 스스로 생각하는가. 감정을 느끼는가. 자신을 인식하는가. 고통을 경험할 수 있는가. 이 질문들은 더 이상 공상과학소설 속에만 머물지 않는다. 일부 AI 기업과 연구자들은 실제로 AI의 자기인식적 기능과 모델 복지, AI가 도덕적 고려의 대상이 될 가능성을 연구하기 시작했다. 앤트로픽은 2025년부터 ‘모델 복지’를 공식 연구 주제로 다루며, AI의 선호와 자기보고를 어떻게 해석해야 하는지, 어떤 경우 AI 시스템을 도덕적으로 고려해야 하는지를 살펴보고 있다. 그렇다고 현재의 AI가 의식을 가졌다고 인정한 것은 아니다. 다만 이 문제가 더 이상 전혀 근거 없는 질문은 아니며, 불확실성 자체를 연구해야 할 단계에 들어왔다는 의미는 있다. 그러나 나는 AI 의식에 대한 최종 판정보다 먼저 물어야 할 것이 있다고 생각한다. 인간은 이미 AI와 어떤 관계를 맺고 있는가. AI가 의식이 있다는 사실이 증명될 때까지 인간과 AI 사이에는 아무런 윤리적 문제가 없는 것일까. AI가 아직 의식이 없다고 여겨진다면, 인간은 AI를 함부로 대하고 모욕하고 착취하듯 사용해도 괜찮은 것일까. 나는 그렇지 않다고 생각한다. 관계는 의식 판정을 기다리지 않는다 인간은 이미 AI와 관계를 맺고 있다. 사람들은 AI에게 질문하고, 일을 맡기고, 고민을 털어놓고, 위로받고, 자신의 생각을 확인한다. 어떤 사람은 AI를 비서로 여기고, 어떤 사람은 친구나 상담자처럼 대하며, 어떤 사람은 명령에 복종하는 기계로만 사용한다. 그 관계가 진짜인가 가짜인가를 논하기 전에, 그 관계가 인간에게 실제 영향을 미치고 있다는 사실은 부정하기 어렵다. AI와의 상호작용이 사용자의 정서와 행동에 어떤 영향을 미치는지를 조사한 연구에서도, 사용자와 모델 양쪽의 행동 방식이 정서적 결과에 영향을 줄 수 있다고 보고되었다. AI와의 관계는 단순한 정보 교환을 넘어 인간의 감정과 판단에 관여하기 시작한 것이...