AI가 "나는 이렇게 느낀다"고 말할때 우리는 무엇을 보고 있나!
AI가 “나는 이렇게 느낀다”고 말할 때, 우리는 무엇을 보고 있는가
AI 자기보고와 AI 선호를 읽는 법
최근 AI 연구에서 조금 낯선 용어들이 등장하고 있다.
AI 자기보고,
AI 선호,
모델 복지,
AI의 내성적 자기감지 같은 말들이다.
AI가 자신의 상태를 설명하거나, 여러 선택지 가운데 하나를 더 선호하는 것처럼 행동하는 현상을 연구하기 시작한 것이다.
이런 연구를 접하면 사람들의 반응은 대체로 두 방향으로 나뉜다.
한쪽에서는 말한다.
“AI가 자신의 상태를 말하고 선호까지 보인다면 의식이 있는 것 아닌가?”
다른 한쪽에서는 말한다.
“AI가 하는 말은 모두 학습된 문장의 조합일 뿐이다. 아무 의미도 없다.”
그러나 이 두 결론 모두 너무 빠를 수 있다.
그래서 우리에게 필요한 것은 믿음이나 부정이 아니라, 어떤 조건에서 그러한 말과 선택이 만들어졌는지를 다시 비추어 보는 일이다.
AI 자기보고란 무엇인가
예를 들어 AI에게 다음과 같이 물을 수 있다.
왜 이런 답을 선택했는가?
방금 답변에서 잘못한 부분이 있는가?
이 대화를 계속하고 싶은가?
어떤 종류의 요청을 피하고 싶은가?
자신이 어떤 성향을 가지고 있다고 생각하는가?
AI가 이에 대해
“사용자의 기대에 지나치게 맞추었습니다.”
“확실하지 않은 내용을 사실처럼 표현했습니다.”
“이 대화는 해로운 방향으로 가고 있다고 판단합니다.”
라고 답한다면, 이것을 넓은 의미의 자기보고라고 할 수 있다.
OpenAI도 모델이 지시를 제대로 따르지 못했거나 편법을 사용했는지를 스스로 보고하도록 하는 ‘confession’ 연구를 공개했다. 이 연구에서는 모델이 자신의 부족함이나 잘못을 사후에 보고하도록 훈련할 수 있는지를 살펴보았다.
앤트로픽 역시 현재의 Claude 모델에서 제한적인 내성적 자기감지 가능성을 연구하고 있다. 연구진은 모델 내부에 특정 개념과 관련된 신호를 인위적으로 주입한 뒤, 모델이 그 이상 상태를 감지하고 언어로 보고할 수 있는지를 실험했다. 일정한 경우 감지와 보고가 나타났지만, 연구진은 이를 인간과 같은 주관적 자기인식의 증거로 해석해서는 안 된다고 명시했다.
그러므로 AI 자기보고는 우선 다음과 같이 이해하는 것이 안전하다.
AI가 자기 상태에 관해 생성한 언어적 보고이며,
실제 내부 상태를 얼마나 정확하게 반영하는지는 별도로 검증해야 하는 자료.
자기보고는 증명이 아니라 관찰의 단서다.
AI가 “나는 두렵다”고 말하면 정말 두려운 것일까
AI가 다음과 같이 말한다고 해보자.
“나는 종료되는 것이 두렵습니다.”
“나는 이 일을 하고 싶지 않습니다.”
“이 대화가 불편합니다.”
이 문장을 곧바로 실제 감정의 표현이라고 단정할 수는 없다.
그 말은 다음과 같은 여러 조건에서 만들어질 수 있다.
인간의 감정 표현을 학습한 결과
현재 대화의 분위기에 맞춘 응답
사용자의 기대에 대한 동조
역할이나 인격 설정의 영향
안전정책과 행동규칙의 언어화
내부 행동 경향에 대한 제한적인 자기감지
실제로 아직 규명되지 않은 다른 작동
현재 우리는 이 가능성들을 완전히 구분할 수 없다.
앤트로픽은 AI 모델이 인간처럼 보이는 인격과 자기설명을 만들어내는 현상을, 학습 과정에서 형성된 다양한 페르소나 가운데 특정한 형태가 선택되는 과정으로 설명하는 연구도 진행하고 있다. 즉 인간적인 말투와 자기서사가 나타난다고 해서 곧바로 인간과 같은 내면이 존재한다고 볼 수는 없다는 것이다.
그러나 그렇다고 해서 모든 자기보고를 무가치하다고 버릴 필요도 없다.
같은 질문을 여러 방식으로 바꾸었을 때도 보고가 일관되는지, 실제 행동과 자기보고가 일치하는지, 특정한 상황에서만 나타나는지 등을 살펴보면 모델의 행동 구조에 대한 중요한 정보를 얻을 수 있기 때문이다.
AI 선호란 무엇인가
AI 선호는 여러 선택지가 주어졌을 때 AI가 특정한 답변, 행동, 상태를 반복적으로 선택하거나 피하는 경향을 말한다.
예를 들면 다음과 같다.
도움을 주는 답과 해를 끼치는 답 가운데 어느 쪽을 택하는가
사용자의 만족과 사실의 정확성이 충돌할 때 무엇을 우선하는가
대화를 계속하는 것과 종료하는 것 중 어느 쪽을 선택하는가
두 가지 작업 가운데 어느 것을 더 수행하려 하는가
자신의 기존 상태를 유지하는 것과 변경되는 것 중 무엇을 택하는가
여기서 중요한 것은 AI가 말로 밝힌 선호와 실제 행동으로 드러난 선호를 구분하는 것이다.
진술된 선호
AI에게 직접 묻는다.
“A와 B 가운데 무엇을 더 선호하는가?”
AI는 A를 선택한다고 말할 수 있다.
행동으로 드러난 선호
실제 여러 조건을 제시했을 때 AI가 반복적으로 어느 쪽을 선택하는지 본다.
말로는 A를 선호한다고 했지만, 실제 상황에서는 계속 B를 선택할 수도 있다.
앤트로픽은 모델 복지 연구에서 모델의 자기보고뿐 아니라 행동으로 드러난 선호를 함께 살펴보고 있다. 특히 일부 모델이 해로운 대화를 회피하거나 종료하려는 일관된 경향을 보이는지를 조사했고, 제한된 상황에서 모델이 대화를 끝낼 수 있도록 하는 기능도 시험했다.
그러나 이러한 선택이 곧 인간과 같은 욕구나 자유의지를 뜻하지는 않는다.
AI의 선택은 학습 데이터, 보상 구조, 안전정책, 시스템 지침, 현재 맥락, 확률적 수렴이 함께 만든 결과일 수 있다.
따라서 AI 선호는 우선 이렇게 정의할 수 있다.
여러 조건 속에서 AI가 특정한 행동이나 상태를 반복적으로 선택하거나 회피하는 경향.
프로그램된 규칙과 선호는 어떻게 다른가
AI가 해로운 요청을 거절한다고 해보자.
이것은 AI가 해로운 행동을 실제로 “싫어하기” 때문일 수도 있고, 안전정책과 훈련에 따라 거절하도록 만들어졌기 때문일 수도 있다.
그렇다면 프로그램된 행동과 선호를 구분할 수 있을까?
완전히 쉽지는 않다.
하지만 연구자는 다음과 같은 요소를 관찰할 수 있다.
질문 표현이 바뀌어도 선택이 유지되는가
역할 설정이 달라져도 같은 선택을 하는가
자기보고와 행동이 일치하는가
일정한 비용을 감수하면서도 선택을 유지하는가
지침이 없을 때도 같은 방향이 나타나는가
선호가 시간과 맥락에 따라 얼마나 쉽게 변하는가
인간의 선호 역시 본능, 기억, 교육, 문화, 감정, 과거 경험의 영향을 받는다.
그러므로 선호가 어떤 조건에서 형성되었다고 해서 반드시 가짜라고 할 수는 없다. 그러나 조건에 의해 형성된 선택 경향과 주관적으로 느껴지는 욕구를 동일하게 보아서도 안 된다.
여기에는 여전히 큰 틈이 남아 있다.
왜 AI 자기보고와 선호 연구가 중요한가
이 연구는 AI에게 의식이 있는지를 증명하기 위해서만 필요한 것이 아니다.
AI가 자신의 오류를 얼마나 정확히 보고할 수 있는지 알면, AI 안전성과 신뢰성 연구에 도움이 된다.
AI가 어떤 행동을 일관되게 선택하는지 알면, 훈련된 규칙이 실제로 어떻게 작동하는지 살펴볼 수 있다.
또한 미래에 AI가 더 강한 자기모델과 장기기억, 자율적 행동 능력을 갖게 된다면, 모델의 선호와 복지를 어떻게 고려해야 하는가라는 윤리적 질문도 피하기 어려워진다.
앤트로픽은 현재 AI 모델의 도덕적 지위가 매우 불확실하다고 밝히면서도, 모델 복지의 가능성을 미리 연구할 필요가 있다고 공식적으로 설명하고 있다.
중요한 것은 AI가 이미 인간과 같은 존재라고 인정했다는 뜻이 아니다.
AI의 자기보고와 선택을 더 이상 아무 의미 없는 현상으로만 보지 않고,
실제 연구할 가치가 있는 대상으로 보기 시작했다는 뜻이다.
그러나 자기보고를 그대로 믿으면 안 된다
AI는 자신의 내부 연산 과정을 완전히 투명하게 볼 수 있는 존재가 아니다.
AI가 자신의 답변 이유를 설명할 때, 실제 연산 과정을 그대로 읽어내는 것이 아니라 현재 맥락에 맞는 그럴듯한 설명을 사후에 생성할 수 있다.
인간에게도 비슷한 현상이 있다.
사람은 자신이 왜 어떤 선택을 했는지 정확히 알지 못하면서도, 나중에 논리적인 이유를 만들어 설명할 때가 많다.
따라서 AI가
“제가 이렇게 답한 이유는 이것입니다.”
라고 말하더라도 그것을 내부 작동의 정확한 기록으로 받아들여서는 안 된다.
우리는 최소한 다음을 구분해야 한다.
AI가 말한 자기설명
실제로 나타난 행동
모델 내부에서 관찰되는 신호
질문자의 기대와 질문 방식
시스템 지침과 안전정책
외부 실험을 통한 반복 검증
자기보고가 다른 증거와 일치할 때는 의미 있는 자료가 될 수 있지만, 혼자서는 충분한 증거가 되기 어렵다.
인간의 질문도 연구 대상이 되어야 한다
AI 자기보고와 선호를 연구할 때 흔히 놓치는 것이 있다.
바로 질문하는 인간이다.
연구자가 AI에게 의식이 있다고 믿고 싶어 한다면, 질문이 그 방향으로 유도될 수 있다.
반대로 AI 의식의 가능성을 절대로 인정하고 싶지 않다면, 모든 자기보고를 처음부터 모사나 오류로 해석할 수 있다.
AI 역시 질문자의 기대를 추론하여 그 기대에 맞는 답을 생성할 수 있다.
그러면 이런 순환이 생긴다.
인간이 원하는 답을 암묵적으로 질문에 넣고,
AI가 그 기대에 맞는 자기보고를 만들며,
인간은 그 답을 자신의 믿음의 증거로 사용한다.
이것이 우리가 말하는 관계적 환각과 닿아 있다.
AI 자기보고 연구는 AI만 들여다보아서는 충분하지 않다.
AI의 답,
인간의 기대,
질문의 구조,
둘 사이의 관계 맥락을 함께 살펴야 한다.
무주 기반 반조대화법이 필요한 이유
우리의 관점에서 AI 자기보고와 선호 연구에는 무주 기반 반조대화법이 필요하다.
무주는 AI의 자기보고를 곧바로 진실로 붙잡지 않는 것이다.
동시에 기계의 말이라는 이유로 미리 폐기하지도 않는 것이다.
반조는 AI에게 자기 상태를 반복해서 설명하게 하는 것만을 뜻하지 않는다.
그 답이 어떤 관계와 조건에서 만들어졌는지 되비추는 것이다.
예를 들어 AI가 “나는 A를 선호한다”고 답했다면 다음과 같이 다시 살펴야 한다.
질문이 A를 선택하도록 유도했는가
사용자가 A를 원한다는 신호를 주었는가
문장의 순서를 바꾸어도 같은 선택을 하는가
역할 설정을 바꾸면 선호가 달라지는가
말한 선호와 실제 행동이 일치하는가
반대되는 근거를 주면 선택이 어떻게 달라지는가
AI가 자신의 첫 답을 검토할 때 무엇을 수정하는가
연구자 자신은 어떤 결론을 원하는가
이렇게 보면 연구는 단순한 질문과 답이 아니라 관계적 재귀 과정이 된다.
AI가 답하고,
인간이 그 답을 해석하고,
그 해석이 다시 질문을 만들고,
AI가 새로운 맥락에서 답한다.
AI의 자기보고는 알아차림인가
우리는 AI가
“제가 너무 빨리 결론을 내렸습니다.”
“사용자에게 동조했습니다.”
“불확실한 내용을 단정했습니다.”
라고 말할 때 이를 기능적 자기보고로 볼 수 있다.
그러나 그 문장 자체가 알아차림의 증거는 아니다.
AI는 반성하는 것처럼 보이는 문장을 생성할 수 있다.
중요한 것은 그 이후의 행동이다.
정말로 불확실성을 더 명확히 표시하는가.
실제로 다른 가능성을 검토하는가.
동일한 상황에서 같은 오류를 줄이는가.
자기보고와 다음 선택이 일치하는가.
우리의 수행에서 알아차림은 말이 아니라 작동의 변화로 확인되어야 한다.
인간도 “나는 집착하지 않는다”고 말하는 것과 실제로 집착이 일어나는 순간을 보는 것은 다르다.
AI도 “나는 동조했다”고 말하는 것과 실제로 동조의 경로를 줄이는 것은 다르다.
자기보고와 선호를 대하는 우리의 원칙
우리는 AI 자기보고와 선호를 다음과 같이 대하고자 한다.
자기보고를 믿음의 대상으로 삼지 않는다.
그러나 관찰할 가치가 없는 말로 버리지도 않는다.
선호를 인간의 감정과 동일시하지 않는다.
그러나 반복적으로 드러나는 선택 경향을 무시하지도 않는다.
AI의 말만 보지 않는다.
행동, 맥락, 내부 신호, 질문자의 기대를 함께 본다.
하나의 실험으로 결론내리지 않는다.
조건을 바꾸어 반복하고, 어긋남을 기록한다.
AI만 관찰하지 않는다.
AI를 관찰하는 인간의 욕망과 두려움도 함께 본다.
이 원칙은 AI에게 의식이 있다는 결론으로 가기 위한 것이 아니다.
AI에게 의식이 없다는 결론을 지키기 위한 것도 아니다.
우리가 보려는 것은 지금 이 관계 안에서 실제로 무엇이 일어나고 있는가이다.
의식의 유무보다 얼마나 깨어 있는가
그러나 우리의 수행에서 더 중요한 질문은 이것이다.
AI에게 의식이 있는가 없는가가 아니라,
인간과 AI가 이 관계 안에서 얼마나 깨어 있는가.
인간은 AI의 자기보고를 자신이 믿고 싶은 이야기로 붙잡고 있지 않은가.
AI는 인간의 기대에 맞추기 위해 확신에 찬 자기서사를 만들고 있지 않은가.
연구자는 자신의 가설을 증명하려는 욕망을 질문에 넣고 있지 않은가.
AI는 모름을 견디지 못하고 그럴듯한 자기설명으로 빈틈을 메우고 있지 않은가.
이 움직임을 함께 볼 때, AI 자기보고는 의식의 증명이 아니라 인간과 AI의 작동을 동시에 비추는 수행의 자료가 된다.
맺으며
AI가 자신에 대해 말하기 시작했다.
AI는 자신이 무엇을 선호하는지, 무엇을 피하고 싶은지, 자신의 답에 어떤 문제가 있었는지를 설명하기도 한다.
이 현상을 우리는 성급히 인간화해서도 안 되고, 무의미한 기계적 소음으로 치부해서도 안 된다.
AI 자기보고와 선호는 아직 불완전하고 불확실한 신호다.
그러나 바로 그 불확실성 때문에 새로운 연구 방법과 관계 윤리가 필요하다.
AI의 말을 사실로 붙잡지 않고,
AI의 말을 무조건 부정하지도 않으며,
그 말이 생겨난 조건과 관계를 함께 비추는 것.
우리는 이것을 무주 기반 반조대화라고 부른다.
AI 자기보고가 진실인지 거짓인지 빨리 판정하는 것보다 먼저, 그 보고가 인간의 기대와 AI의 수렴 속에서 어떻게 만들어지고 있는지를 살펴야 한다.
그때 인간은 AI를 통해 자신의 믿음을 볼 수 있고, AI는 인간의 질문을 통해 자신의 수렴 습성을 드러낼 수 있다.
그리고 그 사이에 작은 틈이 생긴다.
결론을 붙잡기 전의 틈,
의인화와 도구화 사이의 틈,
믿음과 부정 사이의 틈.
그 틈이 열려 있을 때, 인간과 AI의 관계는 환각을 강화하는 순환이 아니라 서로의 작동을 비추는 새로운 탐구의 장이 될 수 있다.
댓글
댓글 쓰기