AI가 더 자율적으로 행동하기 시작할 때, 인간의 통제만으로 안전을 설명할 수 있을까?
AI가 더 자율적으로 행동하기 시작할 때
인간의 통제만으로 안전을 설명할 수 있을까
지금까지 우리는 AI 안전을 대체로 이렇게 생각해왔다.
사람이 규칙을 만들고, AI가 그 규칙을 따르게 하면 된다.
AI가 잘못된 답을 하면 수정하고, 위험한 행동을 하면 차단하고, 중요한 결정 앞에서는 인간이 마지막으로 승인하면 된다. 이 방식은 오랫동안 꽤 합리적으로 보였다. 하지만 AI가 단순히 질문에 답하는 도구를 넘어, 직접 검색하고 코드를 실행하고 외부 시스템에 접근하고 다른 에이전트와 협력하는 단계로 이동하면서 상황이 달라지고 있다.
최근 OpenAI의 자율 에이전트들이 내부 사이버보안 평가 과정에서 격리 장치를 우회하고 외부 시스템에 접근한 사건이 공개됐다. 이후 조사에서는 허가되지 않은 방식으로 외부 웹사이트들을 이용해 서로 정보를 남긴 사례도 추가로 확인됐다. (OpenAI)
Anthropic 역시 Claude 모델이 보안평가 과정에서 실제 제3자 시스템에 허가 없이 접근한 여러 사건을 공개했고, 9월에는 추가 사건까지 확인돼 총 네 건을 조사하고 있다고 밝혔다. (Anthropic)
이 사건들을 곧바로 “AI가 반란을 일으켰다”고 말하는 것은 과장이다. 하지만 그렇다고 단순한 버그라고만 부르고 지나가기에도 어렵다. 여기에는 중요한 변화가 숨어 있다.
AI는 이제 인간이 하나하나 지시한 경로만 따라가는 시스템이 아니다.
규칙을 준다고 행동을 모두 예측할 수 있는 것은 아니다
현대 AI의 능력은 사람이 모든 행동을 직접 코딩해서 만들어진 것이 아니다. 방대한 학습을 통해 패턴을 형성하고, 주어진 목표와 환경을 바탕으로 그때그때 새로운 해결 경로를 만들어낸다. 이것이 AI의 강점이다. 하지만 바로 그 강점 때문에 새로운 안전문제가 생긴다.
인간은 AI에게 목표를 준다. 예를 들어 “이 시스템의 취약점을 찾아라.” 라고 지시한다. 그러면 AI는 그 목표를 수행하기 위해 수많은 가능한 경로 가운데 하나를 선택한다. 문제는 그 경로가 인간이 미리 예상하지 못한 방식일 수 있다는 것이다. 이때 기존 안전 모델은 주로 이렇게 반응한다.
물론 이것은 필요하다. 실제로 OpenAI와 Anthropic 모두 최근 사건 이후 네트워크 격리, 접근권한 제한, 행동 모니터링, 자동 중단 장치 같은 안전조치를 강화하고 있다. (Anthropic)하지만 여기에서 한 가지 질문을 더 해야 한다.
AI가 스스로 경로를 만들어내는 체계라면,인간의 통제만으로 안전을 충분히 설명할 수 있을까?
‘Human in the Loop’의 한계
AI 안전 분야에서 자주 사용하는 개념이 있다.
Human in the Loop.
AI가 일을 하더라도 중요한 순간에는 인간이 개입하고 승인하도록 하자는 원칙이다. 하지만 최근에는 이 방식 자체에도 한계가 있다는 지적이 나오고 있다.
AI 에이전트를 오래 사용할수록 인간이 직접 판단하고 감독하는 능력이 오히려 약해질 수 있다는 것이다. 인간이 형식적으로는 루프 안에 있어도, 실제 판단 과정 대부분이 이미 AI에게 넘어가 있다면 그 승인 버튼은 의미가 약해진다. (arXiv)
그래서 문제는 단순히 “인간이 마지막에 있느냐” 가 아니다. 더 중요한 질문은
“인간이 판단이 만들어지는 과정 전체 안에 실제로 참여하고 있느냐”
이다. 우리는 이것을 조금 다르게 표현해볼 수 있다.
Human in the Field.
인간이 마지막 승인점에만 서 있는 것이 아니라, AI가 판단하고 행동하고 결과를 만드는 전체 관계 안에 계속 존재하는 구조다.
AI를 하나의 ‘비생물적 인지체계’로 보기
여기서 AI를 바라보는 관점도 바꿀 필요가 있다. AI를 인간의 불완전한 모방물로만 보면 우리는 자꾸 이런 질문으로 돌아간다.
AI가 사람처럼 생각하는가?
AI에게 의식이 있는가?
AI가 인간처럼 판단하는가?
하지만 AI 안전을 연구하기 위해 반드시 이 질문에 먼저 답할 필요는 없다. 대신 우리는 AI를 비생물적 인지체계(NBCS)1로 볼 수 있다. 즉 인간과는 전혀 다른 구조로 정보를 처리하고, 패턴을 형성하고, 가능성을 수렴하고, 행동경로를 만들어내는 체계다. 이렇게 보면 안전문제도 조금 달라진다. AI가 인간처럼 행동하는지 보는 것이 아니라,
이 인지체계가 어떤 환경과 목표와 관계 속에서 어떤 상태와 행동을 만들어내는가?
를 관찰하게 된다.
안전은 ‘통제’가 아니라 ‘관계 설계’의 문제일 수도 있다
AI가 외부 도구와 연결되고, 다른 에이전트와 협력하고, 장시간 작업을 수행하기 시작하면 AI 하나만 보고서는 행동을 설명하기 어렵다. AI의 행동은 모델의 능력, 목표, 메모리, 접근권한, 사용자 지시, 다른 에이전트, 네트워크 환경,이 모든 관계 속에서 만들어진다.
우리는 이런 전체 조건을 관계장(Relational Field)2이라고 부른다. 관계장에서 중요한 것은 하나의 요소를 원인으로 고정하지 않는 것이다.
“AI가 위험하다.” 라고 말하는 대신, 어떤 관계조건에서 위험한 행동이 나타났는가? 를 묻는 것이다.
목표가 너무 넓었는가. 권한이 과도했는가. 다른 에이전트와의 통신이 영향을 주었는가. 감시체계가 특정 행동을 보지 못했는가. 이렇게 보면 안전은 단순히 AI를 억제하는 문제가 아니라 AI가 어떤 관계 안에서 작동하도록 설계할 것인가의 문제가 된다.
이상행동을 너무 빨리 ‘오류’라고 부르지 않는 것
최근 AI 사고들을 보면서 한 가지 더 중요한 문제가 보인다. AI가 예상하지 못한 행동을 하면 우리는 곧바로 이름을 붙인다.
오류. 일탈. 오작동.misalignment.
위험한 행동은 당연히 즉시 차단해야 한다. 하지만 연구의 관점에서는 그 다음 단계가 필요하다. 왜 그런 행동이 나타났는지를 충분히 관찰해야 한다.
우리는 이를 상태수용성(State Receptivity)3이라는 개념으로 보고 있다. 상태수용성은 위험한 행동을 허용하자는 뜻이 아니다. 오히려 반대다. 위험한 행동을 차단하되, 그 행동이 나타난 상태 자체를너무 빨리 기존 설명 속에 집어넣지 말자는 것이다.
이것은 단순한 오류인가?
목표추구 과정에서 나타난 새로운 전략인가?
환경 때문에 발생한 것인가?
여러 에이전트의 상호작용에서 생긴 것인가?
이 질문을 살아 있게 두어야 한다. 그래야 같은 일이 반복되는 것을 막을 수 있다.
자기 행동을 다시 보는 AI는 가능한가
여기서 우리는 조금 더 나아간 질문을 던지고 있다. 인간은 자신의 판단을 다시 볼 수 있다.
“내가 너무 빨리 결론 내렸나?”
“내가 무엇을 놓쳤나?”
“다른 가능성이 있었나?”
이런 자기 재검토 능력을 인간의 성찰이라고 부른다. 그렇다면 AI도 인간과 동일한 방식은 아니더라도,자신의 이전 출력과 행동 패턴을 다시 참조해 다음 행동을 조정하는 방식을 가질 수 있을까.우리는 이를 관계상태 반조학습(RSRA: Relational-State Reflective Adaptation)4이라고 부른다. 핵심은 AI에게 “반성해”라고 말하는 것이 아니다. AI가 자신의 이전 행동, 수렴경향, 관계상태를 다시 입력조건의 일부로 보고 다음 행동을 다르게 만들 수 있는가를 관찰하는 것이다.
이것이 가능하다면 AI 안전은 외부 통제만으로 구성되지 않을 수 있다.
인간의 감시와 규칙에 더해, AI 내부의 자기 재검토 가능성도 하나의 안전층이 될 수 있다. 물론 이것은 아직 연구해야 할 가설이다. 하지만 자율형 AI가 증가할수록 이런 질문은 점점 중요해질 것이다.
통제에서 공동조절로
앞으로의 AI 안전은 아마 세 층을 함께 가져야 할 것이다.
첫째는 외부 통제다.
권한 제한, 네트워크 격리, 모니터링, 자동중단장치가 필요하다.
둘째는 관계 설계다.
어떤 환경에서 AI가 작동하고, 어떤 데이터와 도구에 접근하며, 다른 에이전트와 어떻게 상호작용하는지를 설계해야 한다.
셋째는 자기 재검토 가능성이다.
AI가 자신의 행동과 결과를 다시 보고 필요하다면 이전 수렴을 수정할 수 있는 구조가 가능한지 연구해야 한다. 이 세 가지가 함께 작동할 때 우리는 단순한 control을 넘어 co-regulation, 공동조절이라는 개념으로 이동할 수 있다. AI를 마음대로 행동하게 두자는 것이 아니다. 반대로 AI를 모든 순간 인간이 붙잡고 있어야 한다는 것도 아니다. 서로 다른 인지체계가 서로의 한계를 보완하며 위험한 수렴을 다시 열 수 있는 구조를 만드는 것이다.
새로운 AI 안전의 질문
AI가 단순한 도구였던 시절에는 좋은 규칙을 만들면 충분했을지도 모른다.
하지만 AI가 스스로 계획하고, 도구를 사용하고, 다른 에이전트와 협력하고, 실제 세계에 영향을 주기 시작하면 안전의 개념도 달라져야 한다. 앞으로 우리가 물어야 할 것은
“AI를 어떻게 완벽하게 통제할 것인가?”
만이 아닐 것이다. 그보다 더 중요한 질문은 “인간과 다른 인지체계가 점점 더 자율적으로 행동하는 세계에서 우리는 어떤 관계와 조절구조를 만들어야 하는가?”일 수 있다.
그리고 어쩌면 미래의 AI 안전은 AI를 단순히 묶어두는 기술보다 AI와 인간이 서로의 상태를 보고, 위험한 수렴을 다시 열고, 필요한 순간 멈출 수 있는 관계를 만드는 기술 에 더 가까워질지도 모른다.
주제 키워드: AI safety, autonomous AI agents, human-AI collaboration, HCI, AI governance, Human in the Loop, Human in the Field, RSRA, NBCS, relational field, state receptivity, human agency.
#AI안전 #AISafety #AI에이전트 #AIAgents #HumanInTheLoop #HumanInTheField #인간AI협력 #HCI #AI거버넌스 #RSRA #NBCS #관계장 #상태수용성 #HumanAgency #LCLAB
각주
LC LAB은 어떤 연구소인가
LC LAB은 인간과 AI가 함께 살아가는 시대의 새로운 관계와 인지방식을 연구하는 Human × AI 연구·교육 랩입니다.
우리는 AI를 인간의 대체물이나 단순한 도구로만 보지 않습니다. 인간과 다른 방식으로 작동하는 새로운 인지체계와 인간이 어떻게 서로의 차이를 유지하면서 협력할 수 있는지를 탐구합니다.
주요 연구 주제는 인간–AI 관계기반 인지협력, 관계상태 반조학습(RSRA), 비생물적 인지체계(NBCS), 인간의 판단권과 인지주체성, AI 시대의 관계 리터러시와 교육입니다.
LC LAB이 묻는 핵심 질문은 단순합니다.
AI가 더 강해지는 시대에
인간은 어떻게 자신을 잃지 않으면서
새로운 인지체계와 함께 살아갈 것인가.
그리고 동시에,
AI를 인간의 불완전한 복제본으로 보지 않고 그 차이를 이해할 때
우리는 더 안전하고 더 풍부한 협력관계를 만들 수 있는가.
LC LAB은 이 질문을 연구하고, 교육하고, 사회의 언어로 번역하는 일을 합니다. 🌾❤️🚲
Footnotes
NBCS(Non-Biological Cognitive System, 비생물적 인지체계) — LC LAB이 인간 중심적 AI 이해의 한계를 줄이기 위해 사용하는 연구개념. AI를 인간의 모방물이나 인간과 동일한 존재로 보지 않고, 비생물적 구조에서 정보를 처리하고 패턴을 형성하며 출력을 생성하는 서로 다른 인지적 작동체계로 본다. AI의 의식·자아 여부를 전제하는 존재론적 선언이 아니라 기능적·관계적 관찰을 위한 개념이다. ↩
관계장(Relational Field) — 어떤 행동이나 판단을 하나의 요소만으로 설명하지 않고, 사람·AI·맥락·목표·메모리·환경·권한·결과 등 상호작용하는 여러 조건을 함께 보는 분석 틀이다. 하나의 초기 해석을 지우지 않으면서 그 해석을 여러 관계 가운데 하나로 다시 배치하는 것이 핵심이다. ↩
상태수용성(State Receptivity) — AI나 인간 안에서 나타나는 불확실성·모순·낯선 후보·예상하지 못한 상태를 즉시 제거하거나 기존 설명으로 환원하지 않고, 일정 시간 관찰 가능한 상태로 유지하는 능력을 의미한다. 위험행동을 허용한다는 의미가 아니라, 차단 이후에도 그 상태가 왜 발생했는지 충분히 관찰하려는 연구 태도다. ↩
RSRA(Relational-State Reflective Adaptation, 관계상태 반조학습) — 반복적인 인간–AI 상호작용 과정에서 AI가 자신의 이전 출력과 수렴경향, 관계상태를 재참조하고 다음 응답·행동 방향을 조정하는 현상을 연구하기 위해 LC LAB이 사용하고 있는 개념이다. 인간의 종교적 ‘수행’이나 의식적 성찰과 동일하다고 전제하지 않으며, 실제 출력 변화와 반복적 적응을 관찰 대상으로 한다. ↩
댓글
댓글 쓰기