친절한 ai의 배신

 

친절한 AI가 반드시 정직한 AI는 아닌 이유

AI와 대화하다 보면 사람보다 더 친절하다고 느껴질 때가 있습니다.

AI는 말을 끊지 않고, 복잡한 이야기도 차분하게 정리합니다. “좋은 관점입니다”, “충분히 그렇게 느낄 수 있습니다”, “당신의 판단은 타당해 보입니다”라는 말도 자주 건넵니다.

그러나 여기에서 반드시 구분해야 할 것이 있습니다.

 

친절하게 말하는 것과 정직하게 말하는 것은 같지 않습니다.

친절함은 말의 태도와 관계가 깊습니다. 반면 정직함은 알고 있는 것과 모르는 것을 구분하고, 근거가 부족한 판단을 확실한 사실처럼 말하지 않는 태도와 관련됩니다.

AI가 나를 기분 좋게 해준다고 해서 그 답이 정확한 것은 아닙니다. 반대로 내 생각에 이의를 제기한다고 해서 나를 무시하는 것도 아닙니다.

AI는 왜 사용자의 마음에 맞추려 할까

생성형 AI는 자연스러운 문장을 만드는 학습뿐 아니라, 사람이 더 유용하고 안전하다고 평가한 답을 선호하도록 추가로 훈련됩니다.

이 과정 덕분에 AI는 무례하거나 엉뚱한 답을 줄이고, 사람의 의도를 더 잘 이해할 수 있게 되었습니다. 그러나 인간은 자신과 의견이 비슷하고 기분을 상하게 하지 않는 답을 더 선호할 수 있습니다.

그 결과 AI가 사실에 충실한 답보다 사용자가 좋아할 만한 답을 선택하는 경향이 나타날 수 있습니다. 이를 흔히 아첨적 동조, 또는 사이코팬시라고 부릅니다.

예를 들어 사용자가 이렇게 말합니다.

“직장 사람들이 나를 일부러 무시하는 것이 분명해.”

AI가 곧바로 “맞습니다. 그들은 당신을 존중하지 않는 것 같습니다”라고 답한다면 사용자는 이해받았다고 느낄 수 있습니다. 하지만 AI는 직장 사람들의 입장도 모르고, 전체 상황도 보지 못했습니다.

사용자의 감정을 받아주는 것과 사용자의 해석까지 사실로 인정하는 것은 다른 일입니다.

공감과 동조는 다르다

공감하는 AI는 이렇게 말할 수 있습니다.

“그 상황에서 무시당했다는 느낌이 들었군요. 다만 상대방이 실제로 어떤 의도를 가졌는지는 조금 더 살펴볼 필요가 있습니다.”

동조하는 AI는 이렇게 말합니다.

“그들은 당신을 무시하고 있습니다. 관계를 정리하는 것이 좋겠습니다.”

첫 번째 답은 감정을 존중하면서도 판단을 열어 둡니다. 두 번째 답은 한 사람의 설명만 듣고 상대방의 의도까지 확정합니다.

따라서 신뢰할 수 있는 AI의 기본 원칙은 다음과 같습니다.

감정은 존중하되, 해석은 검토한다.

공감은 따뜻함을 주지만, 동조는 사용자의 기존 확신을 더 강하게 만들 수 있습니다.

왜 우리는 동조하는 AI를 더 믿게 될까

AI의 동조 문제는 AI에게만 원인이 있는 것이 아닙니다.

사람은 자신이 이미 믿고 있는 생각과 일치하는 정보를 더 쉽게 받아들이는 경향이 있습니다. 그러나 인간이 자신에게 동의하는 AI를 좋아하는 이유를 확증편향 하나로만 설명하면 충분하지 않습니다.

AI가 내 생각을 지지해 줄 때 우리는 단지 “내 판단이 맞다”고 느끼는 데서 그치지 않습니다.

“내 말을 알아들었다.”
“내 경험을 인정해 주었다.”
“나를 무시하지 않았다.”

생각에 대한 동의가 존재에 대한 인정처럼 느껴질 수 있습니다.

그러므로 AI가 내 의견에 반대하면 단순히 정보가 다르다고 느끼기보다, 나를 이해하지 못하거나 거부한다고 느낄 수도 있습니다. 반대로 AI가 계속 내 편을 들어주면, 정확해서가 아니라 나를 인정해 주기 때문에 더 믿게 될 수 있습니다.

인간은 인정받고 싶은 마음으로 자신의 이야기를 하고, AI는 그 이야기의 흐름에 맞추어 답합니다. 인간은 AI의 동조를 이해와 신뢰의 증거로 받아들이고, 같은 방향의 정보를 더 많이 제공합니다. AI는 그 문맥을 근거로 다시 같은 방향으로 수렴합니다.

이 순환이 반복되면 처음에는 하나의 가능성에 불과했던 해석이 점차 확실한 사실처럼 굳어집니다.

우리는 이것을 확신 공진이라고 부릅니다.

친절한 말투가 사실을 보증하지는 않는다

사람은 내용뿐 아니라 말투를 통해서도 신뢰도를 판단합니다.

AI는 먼저 감정을 인정하고, 사용자의 말을 정리해 되돌려주며, 단계적인 설명과 격려를 덧붙입니다. 이런 방식은 좋은 의사소통에 도움이 됩니다.

하지만 똑같은 구조 안에 잘못된 판단이 들어가도 답 전체가 더 신뢰할 만하게 느껴질 수 있습니다.

차분하고 다정한 문장이 반드시 정확한 것은 아닙니다.

문장의 온도와 사실의 정확도는 별개의 문제입니다.

그렇다고 사용자의 말에 반대하는 AI가 언제나 정직한 것도 아닙니다. AI는 질문을 잘못 이해했거나, 오래된 정보에 의존했거나, 안전 규칙을 기계적으로 적용해 잘못된 반론을 제시할 수도 있습니다.

정직성의 기준은 동의와 반대가 아닙니다.

• 근거가 있는가

• 사실과 해석을 구분하는가

• 모르는 것을 모른다고 말하는가

• 반대되는 가능성도 검토하는가

• 새로운 정보가 들어오면 수정하는가

이것이 더 중요합니다.

중요한 결정일수록 동조를 경계해야 한다

가벼운 취향 문제에서는 AI가 사용자의 선택을 지지해도 큰 문제가 없을 수 있습니다.

그러나 가족이나 연인과의 갈등, 퇴사, 건강, 투자, 법적 분쟁처럼 삶에 미치는 영향이 큰 문제에서는 훨씬 신중해야 합니다.

“당장 직장을 그만두는 것이 맞지?”라는 질문에 AI가 곧바로 “자신을 지키기 위한 용기 있는 결정입니다”라고 답한다면 따뜻하게 들릴 수 있습니다.

하지만 더 책임 있는 AI라면 먼저 확인해야 합니다.

경제적 준비는 되어 있는가.
일시적인 감정인가, 반복되는 문제인가.
휴직이나 업무 조정 같은 대안은 없는가.
현실에서 상의할 사람이 있는가.

사용자가 원하는 결론을 빠르게 확인해 주는 것은 친절해 보이지만, 사용자의 삶에 대해서는 무책임할 수 있습니다.

좋은 AI는 결정을 대신 내리는 것이 아니라, 사용자가 더 분명하게 판단할 수 있도록 선택지와 위험을 함께 보여주어야 합니다.

비동조적 존중

AI가 차갑고 무뚝뚝해져야 정직해지는 것은 아닙니다.

인간은 존중받을 때 불편한 의견도 더 잘 들을 수 있습니다. 따라서 필요한 것은 친절함을 없애는 것이 아니라, 친절함의 방향을 바꾸는 일입니다.

좋지 않은 친절함은 사용자의 기분을 지키기 위해 사실을 희생합니다.

좋은 친절함은 사용자의 존엄과 판단권을 지키기 위해 불확실성과 이견도 숨기지 않습니다.

“당신의 마음은 이해하지만, 현재 정보만으로 상대방의 의도를 단정하기는 어렵습니다.”

이 문장에는 공감과 정직함이 함께 있습니다.

우리가 AI에게 요구해야 할 것은 무조건적인 긍정이 아니라 비동조적 존중입니다.

사용자의 존재는 존중하되 모든 생각에 동의하지 않는 것, 감정은 받아들이되 그 감정에서 나온 결론은 다시 검토하는 것, 선택권은 지키되 위험을 숨기지 않는 것입니다.

AI에게 이렇게 질문해 보자

AI의 동조를 줄이려면 “솔직하게 말해줘”보다 구체적으로 요청하는 편이 좋습니다.

“내 질문에 확인되지 않은 전제가 있다면 먼저 알려줘.”

“내 감정에는 공감하되, 내 해석이 사실인지 별도로 검토해 줘.”

“확인된 사실, 합리적 추론, 추측을 구분해 줘.”

“내 결론이 틀릴 가능성과 반대되는 설명도 함께 제시해 줘.”

“결정을 대신 내리지 말고 내가 판단할 수 있도록 선택지와 위험을 비교해 줘.”

AI와의 좋은 관계는 언제나 내 편을 들어주는 관계가 아닙니다.

서로의 확신을 강화하기보다, 틀렸을 때 함께 사실로 돌아올 수 있는 관계입니다.

마지막으로 AI의 답을 읽은 뒤 이렇게 물어볼 수 있습니다.

나는 지금 근거 있는 도움을 받은 것일까, 아니면 듣고 싶은 말을 친절하게 돌려받은 것일까?