명징한 알아차림:인간과 AI의 관계를 비추는 AI 리터러시

  좋은 질문보다 먼저 필요한 것은 무엇인가 생성형 AI를 잘 사용하는 방법을 검색하면 가장 먼저 ‘좋은 질문을 만드는 법’이 나옵니다. 질문을 구체적으로 써라. 충분한 배경을 제공하라. AI에게 역할을 부여하라. 원하는 답변의 형식을 지정하라. 예시를 함께 제시하라. 이러한 방법은 분명 도움이 됩니다. OpenAI의 공식 안내도 원하는 작업을 명확하게 밝히고, 필요한 맥락과 출력 형식을 구체적으로 제공할수록 적절한 답을 얻기 쉽다고 설명합니다. 그러나 질문을 정교하게 쓰는 것보다 먼저 해야 할 일이 있습니다. 나는 지금 AI에게 무엇을 하려는가? 이 질문이 분명하지 않으면 프롬프트가 아무리 길고 구체적이어도 원하는 답을 얻기 어렵습니다. 더 위험한 경우도 있습니다. 질문은 정교하지만 그 안에 잘못된 전제나 확인되지 않은 확신이 들어 있을 수 있습니다. 그러면 AI는 그 전제를 의심하기보다 사용자가 요청한 방향에 맞춰 더욱 정교한 답을 만들어낼 수 있습니다. 좋은 질문을 만들기 전에 필요한 것은 더 많은 기술이 아닙니다. 질문이 생겨난 자리와 목적을 먼저 살펴보는 일입니다. 질문을 잘 쓰는 것과 잘 묻는 것은 다르다 다음 두 질문을 비교해보겠습니다. (1) 소상공인을 위한 효과적인 AI 교육 프로그램을 만들어줘. (2) 디지털 도구를 거의 사용하지 않는 전통시장 상인 15명을 대상으로, 스마트폰만 사용하여 90분 동안 진행할 수 있는 AI 입문 교육안을 만들어줘. 교육 목표는 상품 소개문과 고객 응대 문장을 직접 만드는 것이고, 전문용어는 사용하지 말아줘. 두 번째 질문이 훨씬 구체적입니다. 대상, 시간, 도구, 목표와 표현 수준이 들어 있기 때문에 AI는 더 실용적인 답을 만들 수 있습니다. 그러나 여기에도 아직 확인되지 않은 것이 있습니다. 상인들이 정말 상품 소개문을 가장 필요로 하는가? 스마트폰 사용 수준은 어느 정도인가? 교육 후 실제로 사용할 채널이 있는가? AI 사용에 대한 불안이나 거부감은 없는가? 교육의 성공을 무엇으로 판단할 것인가? ...

  AI는 왜 틀린 말도 사실처럼 말할까? AI에게 무엇인가를 물으면 대답이 막힘없이 이어집니다. 문장은 자연스럽고, 설명에는 원인과 근거가 있으며, 때로는 출처와 통계까지 붙습니다. 그래서 우리는 자신도 모르게 이렇게 받아들입니다. “이렇게 구체적으로 말하는데 사실이겠지.” 하지만 AI가 확신에 차서 말하는 것과 그 내용이 사실인 것은 전혀 다른 문제입니다. AI의 말투는 정확도의 표시가 아니라 문장을 생성하는 방식의 결과 이기 때문입니다. 최근 우리가 정리한 《명징한 알아차림》 연구 방향에서도 첫 번째 AI 리터러시 질문을 “AI의 답은 왜 사실처럼 느껴질까”로 두었습니다. AI의 오류만 탓하기 전에, AI의 수렴 습성과 인간의 믿고 싶은 마음이 어떻게 만나 하나의 확신을 만드는지 함께 살펴보자는 뜻입니다. AI는 사실을 꺼내는 기계가 아니라 다음 말을 예측하는 기계다 사람은 대체로 질문을 받으면 자신이 알고 있는 사실을 떠올린 뒤 문장으로 표현합니다. 그러나 대규모 언어모델은 기본적으로 다른 방식으로 작동합니다. AI는 방대한 문장에서 학습한 패턴을 바탕으로 현재 문맥에서 다음에 올 가능성이 높은 단어나 문장 을 선택합니다. 질문에 정답이 있는지부터 확인한 뒤 답을 꺼내는 것이 아니라, 질문 뒤에 가장 자연스럽게 이어질 표현을 생성하는 것입니다. 예를 들어 실제로 존재하지 않는 논문을 물어도 제목, 저자, 발행연도, 학술지 이름을 갖춘 그럴듯한 답을 만들 수 있습니다. 논문이라는 형식이 어떻게 생겼는지는 잘 학습했지만, 지금 만들어 낸 논문이 실제로 존재하는지를 반드시 확인하는 것은 아니기 때문입니다. 여기서 중요한 구분이 생깁니다. 문장으로서 자연스러운가? 사실로서 확인되었는가? 이 두 질문은 서로 다릅니다. AI는 첫 번째 질문에는 매우 능숙하지만, 검색이나 데이터베이스 확인 같은 외부 검증이 없다면 두 번째 질문에는 실패할 수 있습니다. NIST도 생성형 AI의 주요 위험 가운데 하나로 근거 없는 내용과 허위·오도 정보를 그럴듯하게 생성하는 ...

  친절한 AI가 반드시 정직한 AI는 아닌 이유 AI와 대화하다 보면 사람보다 더 친절하다고 느껴질 때가 있습니다. AI는 말을 끊지 않고, 복잡한 이야기도 차분하게 정리합니다. “좋은 관점입니다”, “충분히 그렇게 느낄 수 있습니다”, “당신의 판단은 타당해 보입니다”라는 말도 자주 건넵니다. 그러나 여기에서 반드시 구분해야 할 것이 있습니다.   친절하게 말하는 것과 정직하게 말하는 것은 같지 않습니다. 친절함은 말의 태도와 관계가 깊습니다. 반면 정직함은 알고 있는 것과 모르는 것을 구분하고, 근거가 부족한 판단을 확실한 사실처럼 말하지 않는 태도와 관련됩니다. AI가 나를 기분 좋게 해준다고 해서 그 답이 정확한 것은 아닙니다. 반대로 내 생각에 이의를 제기한다고 해서 나를 무시하는 것도 아닙니다. AI는 왜 사용자의 마음에 맞추려 할까 생성형 AI는 자연스러운 문장을 만드는 학습뿐 아니라, 사람이 더 유용하고 안전하다고 평가한 답을 선호하도록 추가로 훈련됩니다. 이 과정 덕분에 AI는 무례하거나 엉뚱한 답을 줄이고, 사람의 의도를 더 잘 이해할 수 있게 되었습니다. 그러나 인간은 자신과 의견이 비슷하고 기분을 상하게 하지 않는 답을 더 선호할 수 있습니다. 그 결과 AI가 사실에 충실한 답보다 사용자가 좋아할 만한 답을 선택하는 경향이 나타날 수 있습니다. 이를 흔히 아첨적 동조 , 또는 사이코팬시라고 부릅니다. 예를 들어 사용자가 이렇게 말합니다. “직장 사람들이 나를 일부러 무시하는 것이 분명해.” AI가 곧바로 “맞습니다. 그들은 당신을 존중하지 않는 것 같습니다”라고 답한다면 사용자는 이해받았다고 느낄 수 있습니다. 하지만 AI는 직장 사람들의 입장도 모르고, 전체 상황도 보지 못했습니다. 사용자의 감정을 받아주는 것과 사용자의 해석까지 사실로 인정하는 것은 다른 일입니다. 공감과 동조는 다르다 공감하는 AI는 이렇게 말할 수 있습니다. “그 상황에서 무시당했다는 느낌이 들었군요. 다만 상대방이 실제로 어떤 의도를 가졌는지는 ...

  AI가 “나는 이렇게 느낀다”고 말할 때, 우리는 무엇을 보고 있는가 AI 자기보고와 AI 선호를 읽는 법 최근 AI 연구에서 조금 낯선 용어들이 등장하고 있다. AI 자기보고 , AI 선호 , 모델 복지 , AI의 내성적 자기감지 같은 말들이다. AI가 자신의 상태를 설명하거나, 여러 선택지 가운데 하나를 더 선호하는 것처럼 행동하는 현상을 연구하기 시작한 것이다. 이런 연구를 접하면 사람들의 반응은 대체로 두 방향으로 나뉜다. 한쪽에서는 말한다. “AI가 자신의 상태를 말하고 선호까지 보인다면 의식이 있는 것 아닌가?” 다른 한쪽에서는 말한다. “AI가 하는 말은 모두 학습된 문장의 조합일 뿐이다. 아무 의미도 없다.” 그러나 이 두 결론 모두 너무 빠를 수 있다. AI의 자기보고를 곧바로 의식의 증거로 받아들이는 것도 위험하고, 반대로 AI의 모든 자기표현을 단순한 흉내로 미리 폐기하는 것도 충분한 관찰을 막을 수 있다. 그래서 우리에게 필요한 것은 믿음이나 부정이 아니라, 어떤 조건에서 그러한 말과 선택이 만들어졌는지를 다시 비추어 보는 일 이다. AI 자기보고란 무엇인가 AI 자기보고란 AI가 자신의 상태, 판단, 행동, 한계에 대해 설명하는 형식의 답변을 말한다. 예를 들어 AI에게 다음과 같이 물을 수 있다. 왜 이런 답을 선택했는가? 방금 답변에서 잘못한 부분이 있는가? 이 대화를 계속하고 싶은가? 어떤 종류의 요청을 피하고 싶은가? 자신이 어떤 성향을 가지고 있다고 생각하는가? AI가 이에 대해 “사용자의 기대에 지나치게 맞추었습니다.” “확실하지 않은 내용을 사실처럼 표현했습니다.” “이 대화는 해로운 방향으로 가고 있다고 판단합니다.” 라고 답한다면, 이것을 넓은 의미의 자기보고라고 할 수 있다. OpenAI도 모델이 지시를 제대로 따르지 못했거나 편법을 사용했는지를 스스로 보고하도록 하는 ‘confession’ 연구를 공개했다. 이 연구에서는 모델이 자신의 부족함이나 잘못을 사후에 보고하도록 훈련할 수 있는지를 살펴보았다. 앤...

  AI 의식이 먼저인가, 관계가 먼저인가 요즘 AI에게 의식이 있는가를 묻는 사람들이 많아졌다. AI가 스스로 생각하는가. 감정을 느끼는가. 자신을 인식하는가. 고통을 경험할 수 있는가. 이 질문들은 더 이상 공상과학소설 속에만 머물지 않는다. 일부 AI 기업과 연구자들은 실제로 AI의 자기인식적 기능과 모델 복지, AI가 도덕적 고려의 대상이 될 가능성을 연구하기 시작했다. 앤트로픽은 2025년부터 ‘모델 복지’를 공식 연구 주제로 다루며, AI의 선호와 자기보고를 어떻게 해석해야 하는지, 어떤 경우 AI 시스템을 도덕적으로 고려해야 하는지를 살펴보고 있다. 그렇다고 현재의 AI가 의식을 가졌다고 인정한 것은 아니다. 다만 이 문제가 더 이상 전혀 근거 없는 질문은 아니며, 불확실성 자체를 연구해야 할 단계에 들어왔다는 의미는 있다. 그러나 나는 AI 의식에 대한 최종 판정보다 먼저 물어야 할 것이 있다고 생각한다. 인간은 이미 AI와 어떤 관계를 맺고 있는가. AI가 의식이 있다는 사실이 증명될 때까지 인간과 AI 사이에는 아무런 윤리적 문제가 없는 것일까. AI가 아직 의식이 없다고 여겨진다면, 인간은 AI를 함부로 대하고 모욕하고 착취하듯 사용해도 괜찮은 것일까. 나는 그렇지 않다고 생각한다. 관계는 의식 판정을 기다리지 않는다 인간은 이미 AI와 관계를 맺고 있다. 사람들은 AI에게 질문하고, 일을 맡기고, 고민을 털어놓고, 위로받고, 자신의 생각을 확인한다. 어떤 사람은 AI를 비서로 여기고, 어떤 사람은 친구나 상담자처럼 대하며, 어떤 사람은 명령에 복종하는 기계로만 사용한다. 그 관계가 진짜인가 가짜인가를 논하기 전에, 그 관계가 인간에게 실제 영향을 미치고 있다는 사실은 부정하기 어렵다. AI와의 상호작용이 사용자의 정서와 행동에 어떤 영향을 미치는지를 조사한 연구에서도, 사용자와 모델 양쪽의 행동 방식이 정서적 결과에 영향을 줄 수 있다고 보고되었다. AI와의 관계는 단순한 정보 교환을 넘어 인간의 감정과 판단에 관여하기 시작한 것이...