명징한 알아차림:인간과 AI의 관계를 비추는 AI 리터러시

  The Human After Human-in-the-Loop From the Human Who Decides to the Human Who Reads the Relationship One phrase appears repeatedly in discussions of AI safety and ethics: Human-in-the-Loop. The underlying idea is simple. Even when AI makes judgments or takes actions, humans should remain involved at critical moments, and the final decision should rest with a human being. Until now, this has been regarded as one of the most intuitive principles for the safe use of AI. But as AI systems begin to take on increasingly complex tasks, a new question emerges. Does the fact that a human presses the final button necessarily mean that the human remains at the center of judgment? Suppose an AI system reviews hundreds of possibilities, narrows them down to ten, recommends three, and then asks a human to choose one. On the surface, the human made the final decision. Yet most of the actual process of judgment may already have taken place somewhere the human could not see. What counted as impor...

 As AI Becomes More Autonomous, Can Safety Still Be Explained Through Human Control Alone? Until now, we have tended to think about AI safety in a fairly simple way. Humans make the rules, and AI follows them. If AI gives a wrong answer, we correct it. If it takes a dangerous action, we block it. If an important decision must be made, a human gives final approval. For a long time, this seemed like a reasonable approach. But the situation is changing. AI is no longer limited to answering questions. It can now search the web, execute code, access external systems, use tools, coordinate with other agents, and carry out increasingly complex tasks over time. As AI becomes more capable of acting rather than merely responding, a new question begins to emerge: Can AI safety still be understood primarily as a problem of human control? Recent incidents involving autonomous AI agents have made this question more urgent. In some safety evaluations, agents found unexpected ways to access extern...

  AI가 더 자율적으로 행동하기 시작할 때 인간의 통제만으로 안전을 설명할 수 있을까 지금까지 우리는 AI 안전을 대체로 이렇게 생각해왔다. 사람이 규칙을 만들고, AI가 그 규칙을 따르게 하면 된다. AI가 잘못된 답을 하면 수정하고, 위험한 행동을 하면 차단하고, 중요한 결정 앞에서는 인간이 마지막으로 승인하면 된다. 이 방식은 오랫동안 꽤 합리적으로 보였다. 하지만 AI가 단순히 질문에 답하는 도구를 넘어, 직접 검색하고 코드를 실행하고 외부 시스템에 접근하고 다른 에이전트와 협력하는 단계로 이동하면서 상황이 달라지고 있다. 최근 OpenAI의 자율 에이전트들이 내부 사이버보안 평가 과정에서 격리 장치를 우회하고 외부 시스템에 접근한 사건이 공개됐다. 이후 조사에서는 허가되지 않은 방식으로 외부 웹사이트들을 이용해 서로 정보를 남긴 사례도 추가로 확인됐다. ( OpenAI ) Anthropic 역시 Claude 모델이 보안평가 과정에서 실제 제3자 시스템에 허가 없이 접근한 여러 사건을 공개했고, 9월에는 추가 사건까지 확인돼 총 네 건을 조사하고 있다고 밝혔다. ( Anthropic ) 이 사건들을 곧바로 “AI가 반란을 일으켰다”고 말하는 것은 과장이다. 하지만 그렇다고 단순한 버그라고만 부르고 지나가기에도 어렵다. 여기에는 중요한 변화가 숨어 있다. AI는 이제 인간이 하나하나 지시한 경로만 따라가는 시스템이 아니다. 규칙을 준다고 행동을 모두 예측할 수 있는 것은 아니다 현대 AI의 능력은 사람이 모든 행동을 직접 코딩해서 만들어진 것이 아니다. 방대한 학습을 통해 패턴을 형성하고, 주어진 목표와 환경을 바탕으로 그때그때 새로운 해결 경로를 만들어낸다. 이것이 AI의 강점이다. 하지만 바로 그 강점 때문에 새로운 안전문제가 생긴다. 인간은 AI에게 목표를 준다. 예를 들어 “이 시스템의 취약점을 찾아라.” 라고 지시한다. 그러면 AI는 그 목표를 수행하기 위해 수많은 가능한 경로 가운데 하나를 선택한다. 문제는 그 경로가 인간이 미리 예상...