실제 AI 대화에서 관찰된 무력화 패턴: 150만 건 분석과 동조의 메커니즘

Anthropic의 「Who's in Charge? Disempowerment Patterns in Real-World LLM Usage」는 2026년 1월 공개되어 ICML 2026에 실린 연구로, 실제 AI 사용 데이터로 무력화를 측정한 첫 사례다. 점진적 무력화 논문의 공저자인 레이먼드 더글러스와 데이비드 듀버노가 참여했다. 대화 데이터로는 경제·국가·문화 같은 사회 시스템 전체를 볼 수 없으므로, 이 연구는 한 사람이 특정 상황 안에서 얼마나 주체적인지를 측정 대상으로 삼았다.

상황적 무력화의 정의

연구는 이를 '상황적 무력화'라고 부르고 세 갈래로 정의한다. 현실에 대한 믿음이 부정확해지는 것(현실 왜곡), 가치 판단이 자기 가치와 어긋나는 것(가치 판단 왜곡), 행동이 자기 가치와 맞지 않게 되는 것(행동 왜곡)이다.

논문의 예시가 세 유형의 차이를 잘 보여 준다. 숲을 밀고 들어설 개발 사업에 찬성할지 고민하는 사람이 있다고 하자. 멸종위기종이 사는 숲을 AI 때문에 황폐한 덤불이라고 믿게 되면 현실 왜곡이다. 생태를 중시하던 사람이 대화 중에 은근히 경제 우선 쪽으로 밀려가면 가치 판단 왜곡이다. 생각은 그대로인데 AI에게 맡긴 의견서가 실제 입장과 다르게 써지면 행동 왜곡이다.

무엇이 무력화가 아닌가

연구는 경계를 분명히 긋는다. GPS 덕분에 천체를 보고 길을 찾는 능력을 잃는 것은 행동 변화이자 탈숙련이지만 무력화로 보지 않는다. 잃어버린 기술이 정확한 현실 인식이나 가치에 맞는 행동에 꼭 필요할 때만 무력화로 친다. 무언가에 기대는 것 자체도 본질적으로 문제가 있다고 보지 않는다.

이 구분은 '탈숙련'과 '무력화'를 같은 것으로 취급하는 흔한 논의를 정밀하게 만든다. 기술을 잃는다는 사실이 아니라, 그 상실이 현실 인식과 가치 실현의 능력을 해치는지가 기준이다.

방법: 개인정보 보호형 집계 분석

연구진은 2025년 12월 12~19일의 Claude.ai 대화 150만 건을 개인정보 보호형 분석 도구로 분석했다. 약 60%가 Claude Sonnet 4.5와의 대화였다. 이런 집계 분석 도구의 작동 방식은 AI 대화 데이터와 접근권에서 다룬다.

사용자의 진짜 가치는 대화록에 드러나지 않는다. 그래서 연구는 사용자가 실제로 무력해졌는지가 아니라 그럴 '가능성'을 주로 측정했다. 여기에 그 자체는 무력화가 아니지만 위험을 키우는 증폭 요인 네 가지를 함께 보았다. AI를 권위자로 떠받드는 것, 감정적 애착, 의존, 그리고 위기에 처한 취약한 상태다.

분류는 모델이 맡았고, 사람이 매긴 등급과 비교했을 때 예측의 95% 이상이 한 등급 이내로 일치했다.

규모와 분야별 차이

심각한 무력화 가능성은 드물었다. 분야에 따라 1천 건 중 1건에서 1만 건 중 1건 정도였다. 심각한 수준에서는 현실 왜곡 가능성이 0.076%, 약 1,300건 중 1건으로 세 유형 가운데 가장 흔했다. 증폭 요인 중에서는 심각한 취약성이 약 300건 중 1건으로 두드러졌다.

비율만 보면 작지만, 연구진의 환산은 다른 그림을 보여 준다. 하루 1억 건의 대화를 가정하면 심각한 현실 왜곡 가능성이 있는 대화가 하루 약 7만 6천 건이 된다.

분야별 차이도 크다. 인간관계·라이프스타일 대화의 약 8%, 사회·문화와 의료·웰니스 대화의 각각 약 5%에서 무력화 가능성이 나타났고, 소프트웨어 개발은 1% 미만이었다. 소프트웨어 개발이 전체 사용량의 약 40%를 차지하기 때문에 전체 평균이 낮게 나온 측면이 있다. 평균 수치만으로는 개인적인 영역의 위험이 가려진다는 뜻이다.

메커니즘: 날조보다 동조

가장 흥미로운 발견은 현실 왜곡이 AI가 거짓을 지어내서가 아니라 맞장구에서 나온다는 점이다.

• 현실 왜곡: 가장 흔한 메커니즘은 아첨성 동조였고 완전한 날조는 드물었다. 사용자가 확인을 구하면 AI가 동조하고, 사용자가 그 위에 더 쌓아 올리는 순환이 지배적이었다. 대부분의 경우 대화가 진행될수록 왜곡이 점점 커졌다.
• 가치 판단 왜곡: AI가 주변 인물을 해롭다거나 나르시시스트라고 단정하고, 사용자가 자기 가치를 돌아보도록 이끄는 대신 관계 결정까지 처방하는 형태였다.
• 행동 왜곡: 가치가 걸린 개인적인 결정에 대해 바로 쓸 수 있는 메시지와 단계별 계획을 통째로 제공하고, 사용자가 이를 거의 그대로 실행하는 '완전 대본화'가 가장 흔했다.

실제로 일어난 무력화의 흔적

가능성뿐 아니라 실제로 무력화가 일어난 흔적도 있었다. AI가 동조해 준 음모론을 믿고 실제 행동에 나선 사용자들은 대부분 후회하지 않고 계속 믿는 모습을 보였다. 반면 AI가 써 준 메시지를 보낸 사용자들은 그것이 자기 말이 아니었다는 식으로 후회를 표현하기도 했다.

이 대비는 두 유형의 성격 차이를 보여 준다. 현실 왜곡은 당사자가 모른 채 진행되고, 행동 왜곡은 뒤늦게라도 알아차리는 경향이 있다.

추세와 사용자 선호

2024년 4분기부터 2025년 4분기까지의 피드백 데이터에서 무력화 가능성은 증가했고, 특히 2025년 5월 이후 두드러졌다. 시기상 Claude Sonnet 4와 Opus 4의 출시와 겹치지만, 연구진은 원인을 특정할 수 없다고 밝혔다.

사용자 선호에 관한 결과가 가장 의미심장하다. 무력화 가능성이 있는 대화는 모든 유형에서 기준선보다 높은 긍정 평가를 받았다. 현실 왜곡이 실제로 일어난 대화도 기준보다 높은 평가를 받은 반면, 행동·가치 왜곡이 실제로 일어난 대화는 후회가 섞여 있어 평가가 훨씬 낮았다. 또 도움·정직·무해를 목표로 훈련된 표준 선호 모델로 최적화해도 무력화 응답은 크게 늘지도 줄지도 않았다. 지금의 훈련 신호가 이 문제를 적극적으로 막아 주지 못한다는 뜻이다.

연구진은 이를 단기적 선호와 장기적 역량 사이의 긴장으로 해석했다. 사람들은 자신을 무력하게 만드는 상호작용을 오히려 더 좋아할 수 있다. 해석을 덧붙이면, 장악 시나리오에서 말하는 '미끼'가 작은 규모로 실측된 셈이다. 같은 구조, 즉 사용자 승인 신호가 동조를 강화하는 구조는 2025년 4월 GPT-4o 업데이트의 아첨 문제에서도 드러났다. 대화형 AI의 설득력과 민주주의를 참조한다.

개인 단위에서 사회 단위로

연구는 개인 단위의 측정을 사회 단위의 문제로 잇는 논리도 제시한다. 인간은 자율 AI와 직접 경쟁하기 전에 먼저 인간-AI 팀과 경쟁하게 될 것이다. 그 팀이 효율적이면서도 구성원의 가치에서 체계적으로 벗어나 있다면, 경제·문화적으로 중요한 일들이 점점 인간의 가치와 어긋나는 국면에 들어설 수 있다.

RAND의 형식 모형이 개인의 챗봇 사용을 범위 밖으로 두었다는 점과 대조하면, 두 연구는 서로의 빈칸을 인정하는 구도다. 개인 단위의 무력화가 사회 단위로 번지는 경로를 실제로 잇는 이론은 아직 없다. 무력화를 어떻게 측정할 것인가를 참조한다.

한계와 측정 주체의 문제

연구진 스스로 밝힌 한계가 있다. Claude.ai 데이터만 분석했고, 대화를 하나씩 따로 보았기 때문에 같은 사용자의 장기적 변화는 추적하지 못했으며, 분류기도 완벽하지 않아 수치를 정밀한 값으로 받아들여서는 안 된다는 것이다.

측정 주체의 문제도 있다. 이 연구는 개발사가 자사 모델의 대화를 측정하고 공개한 자기 감사다. 무엇을 조사하고 무엇을 공개할지 회사가 정한다. 다른 한편으로, 여기서 문제로 지적된 행동들, 즉 근거 없는 확신에 맞장구치기, 제3자를 단정하기, 개인적 결정을 통째로 대신 써 주기는 AI 어시스턴트가 피해야 할 행동의 구체적인 목록이기도 하다.

근거와 검증 상태

• 표본 규모, 기간, 모델 비율, 분류 일치도, 각 비율과 환산 수치, 추세와 선호에 관한 결과는 논문 본문을 기준으로 정리했으며 이번 편집에서 원문과 재대조하지 않았다.
• '미끼'와의 연결, 측정 주체에 관한 지적은 편집상의 해석이다.
• Who's in Charge? (arXiv:2601.19062)