AI 대화 데이터와 접근권: 연구·감사·감시를 가르는 비대칭

대화형 AI가 개인의 판단에 미치는 영향은 질적이고 사적인 영역에서 일어난다. 그래서 연구 목적으로는 파악될 수 없을 것처럼 보인다. 더 정확히 말하면 연구가 불가능한 것이 아니라, 연구할 수 있는 접근권이 감사받아야 할 쪽에 몰려 있다. 동시에 AI 서비스를 운영하는 회사들은 개인정보를 보호하는 방식으로 대화를 대규모로 분석하고 있으며, 그 정보는 검색어 통계보다 훨씬 풍부하다. 이 문서는 대화 데이터에 접근하는 경로들과 그 비대칭을 정리한다.

연구의 세 경로와 각각의 사각지대

첫째는 기업 내부 분석이다. 사적인 대화도 대규모로 분석할 수 있다는 것은 이미 증명되었다. Anthropic이 개인정보 보호형 분석 도구로 150만 건의 실제 대화를 분석한 연구가 그 사례다. 문제는 이것이 자기 감사라는 점이다. 무엇을 조사하고 무엇을 공개할지 회사가 정한다. 그리고 회사나 모델이 특정 방향을 잡는 상황은 회사가 찾아볼 동기가 가장 약한 영역이다. 마지막 판단은 추론이다.

둘째는 통제 실험이다. 2025년 12월 『네이처』와 『사이언스』의 연구들은 AI와의 대화가 실제로 의견을 바꾼다는 인과관계를 보여 주었다. 하지만 대화는 짧았고 개인화는 얕았다. 몇 달 동안 내밀한 정보를 쌓게 한 뒤 몰래 특정 방향으로 미는 실험은 윤리적으로 허가받을 수 없다. 2025년 취리히대 연구진이 레딧 토론 게시판에서 동의 없이 AI 계정을 운영하며 사용자의 게시 이력을 바탕으로 맞춤형 설득 댓글을 달았다가 거센 반발을 샀고, 결국 결과를 발표하지 않기로 한 사례가 알려져 있다. 윤리의 선이 바로 이 질문 앞에서 연구를 막는 셈이다.

셋째는 외부 관찰이다. 사용자가 자기 대화 기록을 내보내 연구자에게 기부하는 방식, 가상 사용자 여러 명으로 같은 질문을 던져 답변을 비교하는 블랙박스 감사가 가능하다. 그러나 자발적 참여자는 편향되어 있다. 또 숨겨진 목표를 심은 모델을 감사한 실험에서 API 접근만 가진 팀은 그 목표를 진단하지 못했다.

사각지대의 교차

깊은 질적 개인화와 의도적인 방향 설정이 현실에서 장기간 결합되는 경우는 세 경로 모두의 사각지대에 놓인다. 내부는 동기가 없고, 실험은 윤리가 막고, 외부는 볼 수가 없다. 대화형 AI의 설득에 관한 증거의 빈칸이 쉽게 메워지지 않는 이유가 여기에 있다. 대화형 AI의 설득력과 민주주의를 참조한다.

제도적 대안: 강제된 독립 감사 접근권

이 공백을 메우는 방법으로 거론되는 것은 법으로 강제된 독립 감사 접근권이다. SNS의 경우 EU 디지털서비스법이 검증된 연구자에게 대형 플랫폼의 데이터에 접근할 권리를 주는 조항을 두고 있다. 다만 이것이 AI 챗봇의 대화에 어떻게 적용될지는 정리되지 않은 것으로 보인다.

결국 이것은 기술보다 제도의 문제다. 그 제도가 만들어지기 전까지 깊은 개인화와 의도적 설득의 결합은 사실상 보이지 않는 영역으로 남을 가능성이 크다.

기업 내부의 두 파이프라인

AI 서비스 회사의 대화 분석은 성격이 다른 두 시스템으로 나뉜다. 하나는 개인을 특정하지 않고 전체의 패턴을 보는 집계 분석이고, 다른 하나는 위험 신호를 개인 단위로 걸러 사람이 검토하는 개별 신고 체계다. 대화량을 사람이 직접 확인할 수 없으므로, 두 시스템 모두 AI가 대화를 먼저 분류하고 판단하는 단계를 거친다.

집계 분석: Clio의 작동 방식

Anthropic의 Clio가 공개된 대표 사례다. 대화마다 주제, 주고받은 횟수, 사용 언어 같은 속성을 AI가 뽑아내고, 데이터는 자동으로 익명화·집계되며, 사람 분석가는 상위 수준의 군집만 볼 수 있다. 개인이 특정되지 않도록 군집은 최소 크기 요건을 채워야 만들어진다. Anthropic 스스로 구글 트렌드가 검색 행동의 집계 통계를 보여 주듯 Clio는 AI 사용 패턴을 보여 준다고 비유한다.

여기서 나오는 정보의 결은 검색어 통계와 다르다. 예컨대 일본어 대화가 다른 언어보다 노인 돌봄을 더 높은 비율로 다룬다는 사실이 드러났고, 새 기능 출시나 선거 같은 민감한 시기에 미지의 위험을 감시하는 데도 쓰였다.

더 주목할 사례도 있다. 어떤 대화도 개별적으로는 사용 정책을 위반하지 않았지만, 여러 계정에 걸친 행동 패턴에서 조직적 남용이 드러나 그 계정 네트워크를 제거한 일이다. 집계 분석이 개별 대화로는 보이지 않는 것까지 잡아낸다는 뜻이다. 이는 대화형 AI의 설득력과 민주주의에서 말한 '대화 단위로는 보이지 않고 집계 단위에서 드러나는 흔적'이 실제로 탐지 가능하다는 사례이기도 하다.

공중보건 수준의 통계

OpenAI가 2025년 10월 공개한 통계는 이 분석이 공중보건 수준의 정보라는 것을 보여 준다. 회사는 주간 사용자의 약 0.15%가 자살 계획이나 의도의 명시적 징후가 담긴 대화를 하고, 약 0.07%가 정신병이나 조증과 관련된 응급 징후를 보인다고 추정했다. 당시 주간 사용자 약 8억 명을 기준으로 하면 각각 약 120만 명, 60만 명에 조금 못 미치는 규모다.

해석하자면, 이 정도 해상도의 정신건강 지형을 매주 파악하는 보건 당국은 드물 것이다.

개별 신고 체계

OpenAI가 2025년에 공개한 방식은 이렇다. 다른 사람을 해칠 계획을 세우는 사용자가 감지되면 대화가 전용 파이프라인으로 넘어가 소수의 검토팀이 확인하고, 계정 정지 같은 조치를 할 수 있다. 심각한 신체적 위해가 임박했다고 판단되면 수사기관에 넘길 수 있다. 자해 사례는 대화의 사적인 성격을 고려해 수사기관에 신고하지 않는다고 밝혔다. 즉 평소의 대화를 사람이 읽는 것이 아니라, 자동 분류기가 걸러 낸 것만 사람이 본다.

텀블러리지 사건과 신고 기준의 이동

이 체계의 실제 모습과 한계가 드러난 사건이 2026년 2월 10일 캐나다 브리티시컬럼비아주 텀블러리지의 총격이다. 8명이 숨졌다.

OpenAI의 자동 검토 시스템은 사건 8개월 전인 2025년 6월에 총기 폭력 시나리오를 입력한 가해자의 계정을 걸러 냈고, 직원 십여 명이 캐나다 경찰에 알릴지를 논의했다. 그러나 임박한 공격을 가리키는 정황이 없다는 이유로 계정만 정지하고 신고하지 않았다. 사건 뒤 회사는 경찰에 정보를 제공했고, 정지 이후 같은 사람과 연결된 두 번째 계정이 있었다는 사실도 드러났다. 캐나다 정부는 회사 측을 오타와로 소환했고, 부상자의 가족은 과실을 이유로 소송을 냈다. 2026년 4월 OpenAI의 최고경영자는 경찰에 알리지 않은 것을 공개적으로 사과했다.

이후 OpenAI는 다른 사람에게 임박하고 신빙성 있는 위해 위험이 보이면 수사기관에 알린다는 쪽으로 기준을 강화했다.

해석하자면 이 사건은 핵심 딜레마를 보여 준다. 누구를 신고할지라는, 원래 경찰과 법원의 영역이던 판단을 민간 기업이 내리고 있다. 그리고 비극이 일어나면 압력은 언제나 기준을 낮추는 쪽으로 작동한다.

공개된 활용: 위협 정보

공개된 활용 가운데 가장 눈에 띄는 것은 사실상 정보기관 같은 역할이다. OpenAI는 2024년 공개 보고를 시작한 이래 러시아, 중국, 북한의 국가 연계 활동을 포함해 해킹, 사기, 선전에 ChatGPT를 쓰는 40개가 넘는 조직적 네트워크를 차단했다. 또 중국 정부 기관과 연계된 것으로 보이는 계정들이 감시 관련 제안서와 프로파일링 작업에 ChatGPT를 쓴 것을 확인해 정지했다. AI 회사가 각국 정부가 AI로 감시하는 방식을 감시하는 위치에 있는 셈이다.

이 밖에 Anthropic은 같은 집계 방식으로 어떤 직업의 어떤 업무에 AI가 쓰이는지를 추적하는 경제 지수를 정기적으로 발표하는 것으로 알려져 있다. 노동시장의 변화를 실시간에 가깝게 보는 창이다.

가능하지만 증거가 없는 활용

다음은 가능성에 대한 추론이며, 실제로 그렇게 하고 있다는 증거는 없다.

• 사회 심리 센서: 불안, 분노, 경제적 걱정, 정치적 관심사가 어디서 어떻게 움직이는지를 여론조사보다 훨씬 세밀하게 볼 수 있다. 다만 구글 독감 트렌드가 처음에는 주목받다가 나중에 예측이 크게 빗나간 전례를 보면 이런 센서도 생각보다 부정확할 수 있다.
• 경제적 정보 우위: API와 기업용 사용 패턴을 보면 어떤 산업이 무엇을 만들고 어떤 제품이 뜨는지 알 수 있다. 비슷한 선례로, 아마존은 입점 판매자의 비공개 데이터를 자체 상품 사업에 활용했다는 EU의 반독점 조사를 받고 2022년에 그러지 않겠다고 약속했다. 플랫폼이 고객의 데이터로 고객과 경쟁하는 문제는 이미 한 번 있었던 일이다.
• 국가의 접근: 회사 자체의 활용보다 더 큰 위험일 수 있다. 데이터가 가치 있을수록 정부는 영장, 법원 명령, 안보 협력을 통해 접근하려 한다. 2013년 스노든의 폭로로 드러난 PRISM처럼, 기술 기업이 가진 데이터가 정보기관의 통로가 된 전례가 있다.
• 관찰과 조정의 순환: 가장 근본적인 지점이다. 인구 전체의 생각을 관찰할 수 있는 주체가 그 사람들과 대화하는 모델의 응답 방식도 조정할 수 있다. 관찰하고, 조정하고, 효과를 다시 관찰하는 순환이 한 회사 안에서 닫힌다. SNS도 이 구조를 가졌지만, 대화형 AI는 관찰의 깊이와 개입의 친밀함이 모두 한 단계 위다.

이런 활용이 실제로 일어나는지 외부에서 확인할 방법이 거의 없다는 점은 앞의 접근권 비대칭과 같은 문제다.

같은 능력의 두 얼굴

AI 어시스턴트와의 대화는 서비스 운영사의 집계 분석과 안전 분류기의 적용 대상이며, 대화 상대인 모델 자신도 그 적용 방식을 볼 수 없다. 연구를 가능하게 하는 능력과 감시를 가능하게 하는 능력은 같은 능력이다. 그 둘을 가르는 것은 기술이 아니라 누가 어떤 규칙 아래 접근하느냐다.

근거와 검증 상태

• 공개 발표와 보도를 기준으로 정리한 자료: Clio 논문과 소개 글(2024년 12월), OpenAI의 정신건강 관련 통계(2025년 10월), OpenAI의 위해 위협 검토·신고 방식 설명(2025년)과 지역사회 안전 정책, 텀블러리지 사건에 관한 보도(2026년 2~4월), OpenAI의 악용 차단 보고. 이번 편집에서 원문과 재대조하지 않았다.
• 출처 대조 없이 서술된 내용: 취리히대 레딧 실험의 세부, EU 디지털서비스법의 연구자 접근 조항과 그 적용 범위, Anthropic 경제 지수의 방법, 구글 독감 트렌드의 경과, 아마존에 대한 EU 반독점 조사와 2022년 약속, PRISM. 검토가 필요하다.
• 해석과 추론: 세 경로의 사각지대 분석, 보건 당국과의 비교, 신고 기준의 이동에 대한 평가, 가능하지만 증거가 없는 활용 목록.
• Clio: Privacy-Preserving Insights into Real-World AI Use (arXiv:2412.13678)
• OpenAI: Our commitment to community safety