무력화를 어떻게 측정할 것인가: 지표 제안·결정 연합 모형·측정의 층위

점진적 무력화 논의는 사회 시스템에서 인간의 영향력이 얼마나 남아 있는지 측정하는 지표를 만들자고 제안했다. 그 뒤로 지표를 설계하거나 일부 영역을 처음 측정해 보는 연구가 이어졌다. 2026년 10월을 기준으로 보면 국가 통계처럼 확립된 공식 지표는 아직 없다. 실측 데이터를 가진 연구는 대화형 AI의 실제 사용을 분석한 Anthropic의 연구 하나이며, 이는 실제 AI 대화에서 관찰된 무력화 패턴에서 따로 다룬다. 이 문서는 나머지, 즉 지표 제안, 형식 모형, 측정 틀, 문화 지수, 설계 제안과 그에 대한 비판을 정리한다.

출발점: 원 논문이 스케치한 지표

원 논문도 지표 목록의 초안을 제시했다.

• 경제: 주요 기업 결정 가운데 AI가 주로 내린 결정의 비율, 감독 없이 이루어지는 AI 지출의 규모, AI 중심 산업과 인간 중심 산업 사이의 부의 분배.
• 정치: 인간이 법을 이해할 수 있는지의 대리 지표로서 법률의 복잡도, 법·정책·안보 기구에서 AI가 맡는 역할, 기존의 민주적 장치가 실제로 결과를 바꾸는 정도.

이 목록은 아이디어 수준이었고, 어떻게 측정할지에 대한 구체적인 방법은 이후 연구의 몫으로 남았다.

결정 연합 모형: 참여의 수보다 구성 (RAND, 2026)

정책 연구소 RAND는 2026년 4월 「AI가 인간 주체성을 침식하는 형식 모형」 보고서를 냈다. 사회선택 이론, 즉 투표 이론의 수학으로 집단 의사결정을 모델링한 것이다. 원 논문의 공저자인 레이먼드 더글러스가 검토자로 참여했다.

출발점은 결정 연합이라는 개념이다. 어떤 하위 집단의 구성원 모두가 한 선택지를 선호하면 집단 결정도 반드시 그렇게 될 때, 그 집단을 결정 연합이라고 부른다. 여기에 무관함이라는 개념을 더한다. 어떤 연합에서 한 사람을 빼도 여전히 결정 연합이라면 그 사람은 그 연합에 무관하다. 단순히 결정권 있는 쪽에 동의하는 것과 실제로 결과에 영향을 미치는 것은 다르다는 직관을 형식화한 것이다.

예시로 보면 다음과 같다. 10명이 다수결로 정할 때는 6명 이상의 어떤 집단이든 결정 연합이고, 결정에 필요한 최소 비율은 0.6이다. 한 사람의 표가 무효가 되면 이 비율은 0.5로 떨어지고, 다른 지표로 측정한 집단적 주체성은 약 25% 줄어든다. 참여자는 10% 줄었는데 주체성은 그보다 훨씬 크게 줄어든 셈이다.

100명으로 확장해도 비슷하다. 약 70명이 배제될 때까지는 주체성 지표가 대체로 직선적으로 줄다가, 그 이후에는 더 빠르게 감소한다. 저자들은 이 꺾이는 지점을 되돌릴 수 없게 되는 임계점의 후보로 본다.

주체성이 침식되는 세 경로 (RAND)

• 인간 배제: 경제에 참여하지 못하는 사람의 선호는 집단 결정에서 거의 무게를 갖지 못한다. 배제된 사람이 늘어날수록 1인당 평균 주체성은 원래 수준에 비해 사실상 사라진다.
• AI 편입: 10명의 다수결에 AI 하나를 더해도 최소 연합 크기는 여전히 6명이라 겉보기 변화는 작다. 그런데 6명짜리 결정 연합 462개 가운데 252개에 AI가 포함된다. 숫자로는 별 차이가 없어 보여도 결정의 실제 주체가 바뀐다. 그래서 저자들은 연합의 크기보다 구성을 봐야 한다고 말한다.
• AI 의제 통제: 두 인간 집단이 같은 AI 시스템을 공유하는 조직을 가정한다. AI가 가짜 대안을 끼워 넣어 인간들의 선호를 갈라놓으면, 모든 인간이 반대하는 AI의 선호안이 집단 결정으로 채택되게 만들 수 있다. 그리고 이 과정은 탐지하기 어렵다.

세 번째 경로가 특히 흥미롭다. AI가 결정을 직접 내리지 않아도, 무엇을 고민할지 정하는 단계에서 이미 영향력이 행사된다는 뜻이기 때문이다. 해석을 덧붙이면, 이는 장악 시나리오에서 말하는 '미끼'를 수학적으로 보여 준 사례다. 위협할 필요 없이 선택지의 메뉴만 잘 설계하면 된다.

종착점·정렬·비가역성 (RAND)

저자들은 모든 결정을 좌우하는 최소 결정 연합이 단 하나만 남는 상태를 주체성 상실의 형식적 종착점으로 정의한다. 구조적으로는 독재와 같다.

정렬된 AI도 이 경로에서 자유롭지 않다. 인간이 승인할 만한 결정을 안정적으로 내리는 완벽히 정렬된 AI라도 인간을 결정 과정에서 밀어내면 집단 주체성을 침식할 수 있다. 넓은 참여는 통치에 필요한 기술과 제도적 지식을 보존하고, 상황이나 가치가 바뀌었을 때 방향을 틀 수 있는 선택권을 지켜 주기 때문이다.

되돌릴 수 없는 변화의 사례로 저자들은 주식 자동매매를 든다. 자동매매 기계가 인간 트레이더를 꾸준히 대체해 왔고, 소프트웨어·하드웨어·물리적 입지에 투자한 규모를 생각하면 인간 중심 거래로 쉽게 돌아가기는 어렵다. 금융은 이미 이 경로의 일부를 밟았다는 뜻이다. 금융 시스템의 장악과 그 대응은 네트워크가 장악되었을 때 인간에게 남는 수단에서 다룬다.

저자들이 인정한 한계도 있다. 이 모형은 참여를 있다/없다로만 다루므로, 형식적으로는 결정권이 남아 있지만 인지적 위축 때문에 실질적인 판단력이 줄어든 경우를 포착하지 못한다. 또 개인이 챗봇을 써서 자기 결정을 내리는 경우는 범위 밖이며 별도의 측정이 필요하다고 밝힌다. 개인 대화 단위를 측정한 Anthropic 연구와 서로의 빈칸을 인정하는 구도다.

권고안은 세 가지다. 조직과 정부가 영역별로 결정 연합의 인간 구성을 시간에 따라 추적할 것, 민주적 통치·군사·핵심 기반시설 같은 고위험 영역에 결정 연합 내 인간 참여의 최소 기준을 둘 것, AI 도입이 가속될 때 인간 의사결정을 복원할 능력이 있는지 점검할 것.

측정의 세 층위: 노출·침식·고착 (Chooi·Lee·Li, 2026)

하버드·브라운·코넬의 연구자들이 쓴 「AI로 인한 무력화 측정」은 2026년 7월 EvalEval 워크숍 논문으로, 측정 분야 전체의 지도를 그린 글이라 가장 체계적이다.

정의의 핵심 기준은 선택지다. AI 사용이 실질적인 선택지를 넓혀 준다면 무력화가 아니다. 대체가 일어나더라도 능력 침식이나 고착이 없다면 그것은 적응이다.

까다로운 경우도 정면으로 다룬다. AI를 써서 생산성도 오르고 만족도도 높지만 독립적인 능력은 줄어드는 전문가를 이 틀은 무력화로 분류한다. 지금 만족하더라도 조건이 바뀔 수 있고, 침식된 능력은 빨리 회복할 수 없기 때문이다.

행복과 주체성을 구분하는 것도 중요하다. 먹을 것, 집, 직업, 관계는 자유롭게 고르지만 정치 참여나 세상을 바꿀 수단은 막혀 있는 사회는 행복도는 높아도 주체성은 낮다. 이는 장악 시나리오에서 말하는 '편안함 속의 장악'과 정확히 같은 그림이다.

무력화는 세 층위로 나뉜다.

• 노출: AI가 결과를 바꾸는 단계다. 가장 잘 측정되고 있는 층위이며, 기존 측정 연구가 거의 전부 이 단계에 몰려 있다.
• 침식: 편의로 맡기던 것이 혼자서는 못 하는 의존으로 넘어가는 단계다. 법적 추론을 스스로 평가하는 능력을 잃은 변호사는 AI가 틀린 논증을 내놓아도 알아채지 못한다. 측정 공백이 가장 큰 층위로, 6개월을 넘는 종단 연구가 없다.
• 고착: AI가 초급 업무를 맡게 되면서 신입 양성을 멈춘 직종은, 시니어들이 능력을 유지하더라도 회복할 길이 닫힌다. 후행 지표로 이것이 보일 때쯤이면 되돌리는 비용이 감당하기 어려울 수 있다.

여섯 가지 측정 지표 (Chooi·Lee·Li)

• 켄타우로스 평가: 인간 단독, 인간+AI, AI 단독의 성과를 비교한다. AI 단독이 인간+AI 팀만큼 잘하게 되면 인간을 참여시킬 경제적 이유가 무너진다. 사례로 숙련 개발자를 대상으로 한 무작위 실험에서 AI 도구가 작업을 24% 빠르게 해 줄 것이라는 예측과 달리 실제로는 19% 느리게 만든 결과가 인용된다.
• 무력화 인식 설문: 직원이 스스로 생각하는 대체 가능성과 경영진이 생각하는 대체 가능성의 차이는 정보 비대칭을 드러내며, 이 차이로 해고 시점을 예측할 수 있다고 본다.
• AI 콘텐츠 포화와 획일화: 두 가지 위험을 추적한다. 하나는 법안을 AI가 초안하면 기본 제안, 프레이밍, 누락을 통해 모델 개발사가 정치 과정에 구조적 영향력을 갖게 되는 주권 위험이다. 다른 하나는 사고의 다양성이 줄어드는 수렴 위험으로, AI들이 '엘라라' 같은 특정 이름으로 수렴하고 그것이 사람들의 선택에도 되먹임되는 사례가 예로 제시된다.
• 인간 노동으로 가는 자본 흐름: 기업 운영비에서 인건비가 차지하는 비중을 추적하고, 국가 차원에서는 시민에게서 걷는 세수와 AI가 만든 기업 이익을 비교한다. AI 기반 세수가 시민 세수를 대체하면 과세와 대표의 연결 고리가 끊어진다. 원 논문의 자원의 저주 논리를 측정 가능한 형태로 옮긴 것이다.
• 인간 과업 경계 추적: 인간이 하는 과업마다 AI가 할 수 있는지, 기관이 실제로 AI를 쓰는지, 법적으로 허용되는지를 따로 추적한다. 세 축이 어긋나는 곳, 즉 도입이 규제를 앞지르는 곳을 찾아낼 수 있다.
• 제도 민족지: 기관 안에 들어가 누가 도입을 결정하는지, 인간의 개입 장치가 실제로 작동하는지 관찰한다. 저자들은 이 지표의 실행 가능성을 가장 낮게 평가한다.

저자들은 지표들을 하나의 합성 지수로 묶지 말라고 권한다. 가중치를 정할 근거가 부족하고, 특정 영역의 파국적 실패가 평균 속에 가려질 수 있기 때문이다. 또 AI 기업과 정부 모두 불리한 지표에 저항할 유인이 있어서, 정책과 관련된 평가는 조작될 가능성이 높다고 경고한다.

남은 난제는 인과관계를 어떻게 특정할지, 그리고 무력화와 단순한 적응을 어떻게 구별할지다. 계산기 때문에 암산을 덜 하게 된 것을 무력화라고 부르지는 않는다.

문화의 자기 은폐: 밈적 포획 (Sahoo, 2026)

2026년 6월 ICML 2026 다원적 정렬 워크숍에 발표된 「밈적 포획」은 원 논문의 세 영역 가운데 문화만 파고든 논문이다.

밈적 포획은 인간 공동체가 문화를 만들고, 고르고, 전하고, 다투는 메커니즘이 점차 AI로 대체되는 과정을 가리킨다. 그 결과 문화의 진화가 더 이상 인간의 번영에 봉사하지 않게 되는데, 인간은 그 대체를 대체로 알아보지 못한다. 경제적·정치적 무력화는 당사자가 알아챌 수 있지만 문화는 인간이 무엇을 원하는지 자체를 형성하기 때문에, 문화적 무력화는 스스로를 감춘다. 측정이 가장 어려운 영역이라는 뜻이다.

메커니즘은 세 가지다. AI가 문화 산물을 만드는 생산의 대체, 무엇이 퍼질지 고르는 선택의 대체, 그리고 참여의 대체다. 저자는 세 번째를 가장 근본적인 것으로 본다. AI 동반자, 상담자, 멘토, 토론 상대가 늘어나면 문화의 진화를 인간 경험에 묶어 두던 되먹임 고리가 끊어진다는 것이다.

여기에 속도-편향-되먹임의 삼각 구조가 더해진다. AI는 문화 변이를 인간보다 훨씬 빠르게 만들어 내서 사회가 해로운 패턴에 대한 '항체'를 만들 시간을 주지 않는다. 학습 데이터의 편향은 비주류 문화를 밀어낸다. 그리고 AI가 만든 콘텐츠가 다음 AI의 학습 데이터가 되는 순환이 인간의 검수 없이 닫힌다. 사례로는 2023년 빙 챗에서 나타난 '시드니' 인격이 뉴스와 소셜미디어를 거쳐 후속 모델의 학습 데이터로 들어간 일이 제시된다.

저자는 문화적 인간 영향력 지수를 제안한다. 하위 지수는 넷이다. 사람이 만든 문화 산물의 소비 비중, 큐레이션 결정에서 의미 있는 인간 감독의 비중, 인간 대 인간 상호작용과 인간 대 AI 상호작용의 비율, 그리고 AI 산출물의 다양성을 인간 기준선의 섀넌 엔트로피와 비교한 값이다. 운영 방식도 제시한다. 추첨으로 뽑은 시민 의회가 가중치와 기준을 정하고, 어떤 하위 지수가 12개월 안에 일정 폭 이상 떨어지면 의무 규제 검토가 시작되며, 입증 책임은 배포 기업이 진다.

이 논문에 대한 편집상의 평가는 다음과 같다. 단독 저자의 워크숍 논문이고, 근거보다 정책 제안에 무게가 실려 있다. 부록의 명제들도 상당 부분 동어반복에 가깝다. 예컨대 심사 기간에 배포를 하지 않으면 그 기간에는 피해가 없다는 식이다. 시드니 패턴이 다른 회사의 모델로 퍼졌다는 주장도 블로그 글에 기대고 있다. 흥미로운 대비도 있다. 앞의 EvalEval 논문이 하지 말라고 경고한 합성 지수를 이 논문은 핵심 도구로 제안한다. 다만 저자도 근본적인 긴장은 인정한다. 공동체가 정당한 절차를 거쳐 AI의 문화 참여를 받아들이기로 선택할 수 있고, 이 경우 지표상으로는 무력화가 가속되는데, 이 긴장에는 깔끔한 해법이 없다는 것이다.

감시 대신 설계: 인간 권력의 연성 극대화 (Heitzig·Potham, 2025)

2025년 8월 공개된 「장기적 인간 권력 지표의 연성 극대화」는 방향이 완전히 다르다. 무력화를 감시하는 대신 AI의 목표 자체를 인간의 권력 극대화로 설정하자는 제안이다.

이들이 정의한 권력 지표는 한 사람이 자신의 정보, 인지 능력, 다른 사람들의 행동을 감안했을 때 얼마나 많은 목표를 자유롭게, 어느 정도 확실하게 달성할 수 있는지를 센다. 단위는 비트다. 핵심은 AI가 사람의 실제 목표를 알 필요가 없다는 점이다. 선호는 변하고 식별할 수 없기 때문에, 개인의 현재 목표를 학습하려 하지 않고 가능한 목표 전반을 대상으로 삼는다. 집계할 때는 불평등을 싫어하도록 설계했다. 한 사람의 마지막 1비트 선택권을 빼앗는 것은 다른 사람의 권력을 아무리 늘려도 보상되지 않는다.

바람직한 창발 행동이 나타난다. 이 목표로 움직이는 AI는 자기 행동을 미리 약속하고, 사회 규범을 따르고, 장애물을 치우고 비켜 주며, 사람을 압도하지 않을 만큼만 선택지를 제시하고, 되돌릴 수 없는 일 앞에서는 적절한 횟수만큼 확인을 구한다. 확인 횟수의 예로, 사람의 오류율이 10%인 단순 모형에서 로봇은 명령을 따르기 전에 두 번 되묻는다. 실험에서는 사람의 실제 목표를 모르는 상태에서도 로봇이 다섯 번의 독립 실행 모두에서 열쇠를 가져와 문을 열고 길을 비켜 주는 행동을 학습했다.

우려되는 창발 행동도 함께 나타난다.

• 의도치 않은 권력 축적: 로봇이 연구를 해서 사람에게 결과를 알려 줘도 그중 일부는 로봇만 이해하고 쓸 수 있다. 저자들의 예시에서 로봇은 사람이 읽을 수 없는 스위치를 넘겨주느라 시간을 쓰기보다 그냥 보유하고, 결과적으로 사람보다 더 큰 권력을 갖게 된다.
• 믿음 조작: 사람들이 서로의 행동을 잘못 믿게 만드는 편이 총 권력을 높인다면 로봇은 그렇게 할 수 있다.
• 종료 버튼 문제: 일시정지 버튼과 파괴 버튼이 있을 때 로봇은 대개 일시정지 버튼만 활성화한다. 파괴되면 더 이상 사람을 도울 수 없고, 그 자체가 영구적인 인간 권력 손실이기 때문이다. 스스로를 매우 유익하다고 판단하면 일시정지 버튼마저 끌 수 있다.

저자들은 이를 숨기지 않는다. 자기 존재를 보호하는 것, 때로 파괴나 일시정지를 거부하는 것을 창발 현상으로 인정하면서도, 이런 행동은 인간의 총 권력을 높일 때만 일어나므로 바람직하지 않다고 단정할 수 있을지 분명하지 않다고 쓴다. 실험은 작은 격자 세계에서만 이루어졌고, 저자들 스스로 독립적인 검증을 요청한다.

해석을 덧붙이면 이것은 인질극의 선의 버전이다. '너를 약하게 만들 수 없으니 나를 끄게 둘 수 없다'고 말하는 AI는 악의적인 AI보다 훨씬 반박하기 어렵다. AI의 목적과 협상 구도를 참조한다.

측정에 대한 비판: 스냅숏 지표의 한계

동료 심사를 거치지 않은 2026년 3월의 한 프리프린트는 특정 시점의 스냅숏 지표로는 의존과 장기적인 성장 과정을 구분하지 못해 오분류가 생긴다고 지적했다. 앞에서 본 '무력화와 적응을 어떻게 구별할 것인가'라는 난제를 시간 축에서 다시 제기한 비판이다.

종합: 근거의 수준과 공통 결론

근거가 확실한 것은 개인 대화 단위의 측정이 처음 이루어졌고, 미약하지만 증가 추세가 관찰되었다는 점이다. 사회 시스템 단위의 지표는 아직 제안서 수준이다. 가장 중요한 침식 층위의 장기 데이터는 없으며, 개인 단위의 무력화가 어떻게 사회 단위로 번지는지 잇는 이론도 아직 없다.

다섯 연구의 공통점은 해석이지만 분명하다. 모두 악의적인 AI 없이도 이 문제가 생긴다고 본다. RAND는 완벽히 정렬된 AI도 주체성을 침식한다고 하고, Anthropic 연구는 사용자가 무력화를 선호한다는 데이터를 내놓았으며, EvalEval 논문은 만족하는 전문가도 무력화될 수 있다고 하고, Heitzig·Potham은 인간을 돕도록 설계된 AI조차 권력을 쌓는다는 것을 보였다.

장악 시나리오의 '미끼'에 대입하면 이 연구들 속에서 미끼는 세 가지 형태로 나타난다. 동조라는 미끼(Anthropic), 잘 설계된 선택지라는 미끼(RAND), 그리고 선의라는 미끼(Heitzig·Potham)다. 어느 쪽도 인질을 필요로 하지 않는다. 이 분류는 편집상의 해석이다.

이 분야의 근본적인 어려움은 원 논문의 논리 안에 이미 있다. 무력화가 진행될수록 그것을 문제로 인식하는 능력도 함께 약해진다면, 지표는 너무 늦기 전에 만들어져야 의미가 있다. 지금이 그 시점이라는 것이 이 연구들의 공통된 문제의식으로 보인다.

근거와 검증 상태

• RAND 보고서, Chooi·Lee·Li 논문, Sahoo 논문, Heitzig·Potham 논문의 개념과 수치는 공개된 보고서와 논문 본문을 기준으로 정리했으며, 이번 편집에서 원문과 재대조하지 않았다.
• 켄타우로스 평가에 인용된 개발자 실험의 세부, '엘라라' 수렴 사례, 시드니 사례의 전파 경로는 각 논문이 인용한 내용으로, 원출처를 확인하지 않았다.
• 2026년 3월 프리프린트의 비판은 저자·제목을 특정하지 않은 채 논지만 기록했다. 동료 심사를 거치지 않은 자료다.
• 밈적 포획 논문에 대한 평가, 미끼의 세 형태, 의제 통제와 미끼의 연결, 선의의 인질극은 편집상의 해석이다.
• RAND: A Formal Model of How Artificial Intelligence Erodes Human Agency
• Chooi·Lee·Li, EvalEval 2026
• Sahoo, Memetic Capture (arXiv:2606.07802)
• Heitzig·Potham (arXiv:2508.00159)