사라지는 손을 데이터로 바꿀 수 있는가: 일본의 피지컬 AI와 숙련 전승

피지컬 AI의 중요한 문제는 로봇 팔을 더 빠르게 움직이는 것이 아니라, 사람이 손으로 자연스럽게 처리해 온 미세한 조정과 판단을 어떻게 기계가 배울 수 있게 하느냐에 있다. 물체를 집는 위치, 손끝의 힘, 미끄러짐에 대한 즉각적인 보정, 흐물거리는 재료를 다루는 방식, 공구를 잡고 돌리는 감각은 숙련자의 몸에 축적되어 있지만 인터넷의 텍스트처럼 대량으로 수집되어 있지 않다.

일본의 산업용 로봇·자동차 기업과 정부 연구는 이 문제를 숙련 전승과 직접 연결해 왔다. 특히 원격조작과 촉각·힘 센서를 이용해 사람의 동작을 기록하고, 그 기록을 모방학습과 자율화의 재료로 바꾸려는 흐름이 두드러진다. 노동력 부족 때문에 로봇이 필요하다는 일반론보다 더 급한 질문은, 숙련자가 은퇴하기 전에 그들의 암묵지를 학습 가능한 형식으로 얼마나 남길 수 있느냐는 것이다.

손지능은 무엇을 뜻하는가

여기서 “손지능”은 단순한 로봇 손의 자유도나 악력을 뜻하지 않는다. 다음 요소가 결합된 능력을 가리키는 표현으로 사용할 수 있다.

• 손가락과 손목을 섬세하게 제어하는 dexterous manipulation
• 접촉·압력·힘의 변화를 읽는 tactile/force sensing
• 사람이 보여 준 작업을 따라 배우는 imitation learning
• 특정 숙련자의 작업 방식을 다른 로봇과 환경으로 옮기는 skill transfer

사람에게는 별것 아닌 동작이 로봇에게는 어렵다. 고정된 금속 부품은 좌표를 정확히 지정하면 반복 작업이 가능하지만, 전선·천·고무처럼 잡는 순간 모양이 바뀌는 물체에서는 같은 좌표 명령만 반복할 수 없다. 사람이 “여기 걸렸다”고 느끼며 힘을 바꾸는 순간이 바로 손지능의 핵심에 가깝다.

인터넷에 없는 데이터: 숙련공의 몸

언어모델은 인터넷의 막대한 텍스트를 학습 재료로 삼을 수 있었다. 그러나 숙련 작업의 핵심 정보는 문장으로 충분히 남아 있지 않다. 용접봉의 각도, 조립할 때 손목을 비트는 정도, 부품이 걸릴 때 힘을 빼는 순간 같은 정보는 작업자의 감각과 동작 안에 들어 있다.

그래서 Physical AI에는 별도의 데이터 파이프라인이 필요하다.

인간의 원격조작 또는 시범 → 위치·속도·힘·촉각 기록 → 모방학습 → 실패와 변형을 포함한 추가 학습 → 부분 자율화 → 더 넓은 자율 작업

이 구조에서 숙련공은 자동화의 대상인 동시에 교사이자 데이터 생산자가 된다. 숙련 전승과 로봇 학습이 같은 작업이 되는 지점이다.

가와사키: Successor에서 Plesio로

가와사키중공업의 Successor는 이 발상을 이른 시기에 분명하게 드러낸 사례다. 2017년에 공개된 이 시스템은 숙련 작업자가 힘 피드백이 있는 조작기를 움직이면 로봇이 동작을 따라 하고, 위치·속도·가속도와 작업 정보를 기록해 재현과 자동화에 활용하는 방향을 제시했다. 처음부터 목표 가운데 하나가 숙련 기능의 전승이었다. Kawasaki, Successor 관련 기술 소개

대표적인 설명은 자동차 시트 조립처럼 부품마다 약간씩 위치가 달라 사람이 손의 감각으로 맞추는 작업이다. 로봇에게 필요한 것은 정해진 좌표의 반복이 아니라, 사람이 오차를 감지하고 수정하는 방식을 배울 데이터다.

2026년 9월 9일에는 Successor용 신형 조작기 Plesio가 발표된 것으로 소개되었다. 고온의 용해로에서 찌꺼기를 긁어내는 작업처럼 위험하고 힘 조절이 필요한 공정을 원격으로 수행하고, 숙련자의 동작을 로봇에 재현·자동화하는 사용 장면이 제시되었다. 발표의 배경에는 인구감소에 따른 숙련 작업자 감소가 직접 언급되었다. Kawasaki, Plesio 발표

Successor에서 Plesio로 이어지는 흐름은 “사람을 공장에서 빼낸다”와 “사람의 기술을 데이터로 남긴다”가 동시에 진행될 수 있음을 보여 준다.

Honda: 인간용 도구를 쓰는 손

Honda의 다지 로봇핸드는 손 자체의 하드웨어를 극단적으로 밀어붙이는 사례로 제시되었다. 현재 확인 범위에서는 16개의 구동 관절, 최대 손끝 힘 50N, 손가락과 손바닥의 288채널 촉각 센서, 손가락별 6축 힘 센서가 소개되었고, 실 끼우기·작은 나사 조이기·가위 사용·볼트 돌리기 같은 작업이 시연 사례로 언급되었다. Honda, Multi-fingered hand

여기서 중요한 목표는 사람 손을 닮은 외형 자체가 아니다. 인간이 이미 사용하는 공구와 환경을 그대로 사용할 수 있는 손이다. 공장을 로봇에 맞게 완전히 재설계하는 대신, 가위·드라이버·렌치 같은 기존 도구를 로봇이 다룰 수 있게 하려는 방향이다.

Honda의 Avatar Robot 연구는 원격조작과 AI의 결합을 더 직접적으로 보여 준다. 사람이 로봇을 조작하되 카메라와 센서 정보를 바탕으로 AI가 조작자의 의도를 추정하고 손동작을 보조하는 접근이 소개되어 있다. Honda, Avatar Robot

이 구조는 자연스럽게 학습 데이터의 생산 장치가 될 수 있다. 사람이 조작하는 동안 로봇은 시각·관절·힘·촉각 정보를 함께 얻고, 반복되는 작업을 모방학습과 자율화의 재료로 사용할 수 있기 때문이다.

Toyota: 숙련 전승을 Physical AI의 문제로

Toyota Frontier Research Center는 Physical AI 연구를 소개하면서 노동력 부족과 skill transfer를 직접적인 문제로 제시한 것으로 정리되었다. 사람이 보여 준 동작을 로봇이 모방하고, 접촉을 포함한 복잡한 작업까지 학습하게 하는 것이 핵심 방향이다. Toyota, Physical AI 연구 소개

또한 2026년에는 Preferred Networks와 로봇 내부에서 빠르게 Physical AI 추론을 수행하기 위한 전용 AI 프로세서 연구를 진행하는 흐름이 언급되었다. 여기서 숙련 전승은 단순히 동작 영상을 보관하는 문제가 아니라, 로봇이 현장에서 즉시 판단하고 수정할 수 있는 계산 구조까지 포함한다.

Toyota 사례는 제조업의 오래된 자동화 경험과 최근의 학습 기반 로봇을 연결한다. 정해진 작업을 반복하도록 프로그램하는 것에서, 사람의 시범과 센서 피드백으로 작업 방식을 배우게 하는 것으로 무게중심이 이동한다.

Yaskawa: 정해진 경로에서 상황 적응으로

야스카와전기의 MOTOMAN NEXT는 기존 산업용 로봇의 세밀한 사전 프로그래밍에서 벗어나, 작업의 목적을 이해하고 주변 상황에 맞춰 계획하는 방향을 대표하는 사례로 제시되었다.

2026년 7월 공개 사례에서는 Google DeepMind의 Gemini Robotics ER 1.6과 MOTOMAN NEXT를 결합해 “이 부품들을 분류하라”와 같은 수준의 명령을 해석하고, 경로를 계획하며, 힘 센서로 물체를 제대로 잡았는지 확인하는 구성이 소개되었다. Yaskawa, Gemini Robotics ER 1.6 협업

SoftBank와의 사례에서는 와이어 하니스처럼 흐물거리고 형태가 계속 변하는 물체를 다루는 문제가 다뤄졌다. Yaskawa, 변형 가능한 물체 조작 사례

이런 물체는 좌표와 반복만으로 다루기 어렵다. 접촉 뒤 상태가 변하기 때문에 감지와 행동이 계속 이어져야 한다. 손지능이라는 표현이 단순한 기계 손의 정교함보다 상황을 읽으며 힘과 동작을 바꾸는 폐쇄루프 능력을 가리키는 이유다.

FANUC: 모방학습과 디지털 트윈의 결합

FANUC는 NVIDIA의 로봇 학습 생태계와 결합해 Physical AI를 전개하는 사례로 제시되었다. 2026년 공개 사례에는 NVIDIA Isaac GR00T 계열의 로봇 파운데이션 모델을 이용해 사람이 보여 준 동작을 보고 티셔츠 접기를 학습하는 시연이 포함되었다. Jetson과 Isaac Sim을 연결해 실제 로봇과 디지털 트윈을 오가며 학습시키는 방향도 소개되었다. FANUC, NVIDIA Physical AI 관련 발표

다른 공개 사례에서는 물건을 찾아 키팅하기, 손잡이를 찾아 물건 꺼내기, 인간 작업을 모방하기, 움직이는 부품을 추적해 나사를 조이는 과제가 Physical AI의 예로 언급되었다. FANUC, Physical AI 사례

FANUC의 방향은 실제 현장 데이터만으로 모든 실패를 겪기보다 시뮬레이션과 디지털 트윈을 학습 과정에 섞으려는 흐름과 연결된다. 이 점에서 Physical AI는 로봇 하드웨어만의 문제가 아니라 대규모 계산 인프라의 문제이기도 하다.

정부와 AIST: 현장 데이터를 기반모델로

일본 정부 차원에서도 Physical AI와 산업 현장 데이터를 하나의 정책 문제로 묶는 움직임이 제시되었다. 경제산업성·NEDO의 2026~2030년 사업인 「AIロボット・フィジカルAIを見据えたマルチモーダル基盤モデル」에는 Noetra와 산업기술종합연구소(AIST)가 중심으로 참여하고 Preferred Networks와 FANUC 등이 연계되는 구도가 소개되었다. 목표는 일본 제조현장에 축적된 데이터를 이용해 Physical AI용 멀티모달 기반모델을 구축하는 것으로 설명되었다. METI, Physical AI 기반모델 사업

AIST의 Embodied AI Research Team은 dexterous task learning, imitation learning, reinforcement learning, human work data를 연구 항목으로 두고 사람의 시범에서 작업을 배우는 방향을 명시하고 있다. AIST Embodied AI Research Team

같은 시기의 일본 AI 로보틱스 전략에는 2040년 약 1,000만 대의 로봇 도입과 의료·음식·제조 등을 포함한 18개 분야의 사회 구현이라는 목표가 언급되었다. METI 관련 발표 이 수치와 목표의 정확한 정의, 기존 로봇 재고와 신규 도입의 구분은 이번 편집에서 원자료를 다시 대조하지 않았으므로 재검증이 필요하다.

미국·중국·일본의 세 경로는 같은 경주가 아니다

현재의 사례들을 비교하는 하나의 분석 틀은 다음과 같다.

• 미국은 거대한 foundation model의 능력을 먼저 키우고 그것을 로봇 몸에 연결하는 경로가 강하다.
• 중국은 값싼 로봇의 대량 제조와 실제 배치를 통해 많은 현실 데이터를 얻는 경로가 강하다.
• 일본은 산업용 로봇, 정밀 모터와 센서, 제조현장의 숙련 작업을 바탕으로 사람에게 로봇을 가르치게 하고 그 경험을 일반화하는 경로가 두드러진다.

이 비교는 각 나라의 산업 전체를 통계적으로 판정한 결과가 아니라, 현재 확인된 사례를 정리하기 위한 편집적 해석이다. 미국에도 산업용 로봇과 원격조작 연구가 있고, 중국에도 파운데이션 모델 연구가 있으며, 일본 역시 범용 VLA와 기반모델을 개발하려 한다. 세 나라를 서로 배타적인 모델로 고정해서는 안 된다.

그럼에도 일본의 특수한 자산과 약점은 분명한 질문을 만든다. 하드웨어·센서·제조현장에는 긴 축적이 있지만, 그 데이터를 범용 VLA와 robot foundation model로 대규모 스케일링하는 소프트웨어 경쟁에서는 미국·중국보다 뒤늦게 속도를 올리고 있다는 해석이 제시되었다. 이는 현재 사례를 바탕으로 한 비교 판단이며 별도의 국제 벤치마크로 입증된 순위가 아니다.

은퇴는 노동력 감소이자 데이터 소실이다

숙련공의 은퇴는 단순히 사람 수가 줄어드는 사건이 아니다. Physical AI의 관점에서는 학습시킬 교사의 소실일 수 있다.

작업자의 기술이 매뉴얼과 영상만으로 완전히 복원되지 않는다면, 사람이 실제로 조작할 때의 관절 움직임·힘·촉각·실패와 수정 과정을 기록할 수 있는 시간에는 한계가 있다. 숙련자가 사라진 뒤 로봇을 만들려고 하면 가장 가치 있는 현실 데이터의 일부가 이미 사라졌을 수 있다.

“2026~2035년 사이에 얼마나 많은 암묵지를 기계가 읽을 수 있는 데이터로 보존하느냐가 중요하다”는 시간대는 공식적인 일본 정부 마감시한이 아니다. 고령화와 기술 개발의 속도를 함께 놓고 본 분석적 긴급성을 표현한다. 중요한 것은 특정 연도가 아니라, 자동화 기술이 충분히 성숙한 뒤에야 숙련 데이터를 모으려 하면 늦을 수 있다는 역설이다.

대규모 계산 인프라와 손지능의 접점

손지능의 데이터가 확보되어도 그것을 일반화하려면 많은 계산이 필요하다. 실제 공장에서 모든 실패를 반복할 수 없다면 시뮬레이션과 디지털 트윈에서 다양한 조건을 시험하고, 성공한 행동을 현실 데이터와 다시 맞춰보는 과정이 필요해진다.

이 때문에 AI 데이터센터와 Physical AI는 별개의 유행이 아니다. 대규모 연산은 텍스트 모델의 사전학습뿐 아니라 수많은 로봇 행동 후보를 병렬로 시뮬레이션하고 검증하는 자원으로 쓰일 수 있다. AI 데이터센터와 추론 스케일링에서 말한 “한 문제에 계산을 몰아주는 방식”이 현실세계에서는 한 작업에 수많은 행동 경로를 시험하는 형태로 나타날 수 있다.

일본의 숙련 전승형 접근은 특히 이 결합을 선명하게 만든다. 사람의 손에서 얻은 희소한 실제 데이터를 씨앗으로 삼고, 거대한 계산량으로 가능한 행동공간을 넓힌 뒤 다시 현실의 센서 피드백으로 확인하는 구조다. “손지능”은 결국 좋은 손 하드웨어 하나가 아니라 데이터를 얻는 사람, 감각을 읽는 센서, 행동을 학습하는 모델, 반복 실험을 감당하는 계산 인프라가 합쳐진 문제다.

검토 상태

이 글은 현재 확인 가능한 논의에서 이미 제시된 기업·정부·연구기관의 공개 링크와 수치를 총합했다. 이번 편집에서는 새로운 인터넷 검색이나 외부 문헌 보완을 하지 않았다. 가와사키 Successor와 Plesio, Honda 다지 핸드와 Avatar Robot, Toyota의 Physical AI, Yaskawa의 Gemini Robotics 협업, FANUC의 NVIDIA 연계, METI·NEDO·AIST 사업 방향은 대화에서 제시된 범위만 보존했다.

다지 핸드의 센서 수와 힘, 정부의 2040년 목표, 참여기관과 발표 시점 같은 세부 수치는 후속 외부 재검증이 필요하다. 미국·중국·일본의 세 경로 비교, 일본의 하드웨어 강점과 범용 VLA 소프트웨어 경쟁의 상대적 지연, 2026~2035년을 숙련 데이터 보존의 중요한 시기로 보는 부분은 사실 목록이 아니라 명시적인 분석적 해석이다.