사람이 젠가 블록을 조심스럽게 빼내는 순간, 머리에 쓴 장치가 뇌파를 측정합니다. 손의 움직임뿐 아니라 “지금 어렵다고 느꼈는지”, “실수를 발견했는지”, “예상하지 못한 일이 벌어졌는지”까지 데이터로 기록하려는 것입니다.
최근 테크크런치가 소개한 Encord와 독일 신경과학 스타트업 Zander Labs의 실험은 뇌파가 차세대 피지컬 AI와 휴머노이드 로봇 학습 데이터의 중요한 퍼즐 조각이 될 수 있다는 가능성을 보여줍니다. 다만 영화처럼 생각만으로 로봇을 자유롭게 조종하는 기술과는 차이가 있습니다.
피지컬 AI란 무엇인가
피지컬 AI는 화면 속에서 글이나 이미지만 생성하는 AI와 달리, 카메라·센서·로봇 팔 등을 이용해 현실을 인식하고 실제 행동까지 수행하는 인공지능을 말합니다.
창고에서 상품을 옮기는 로봇, 전선을 연결하는 휴머노이드, 스스로 이동하는 자동차가 대표적인 예입니다. 하지만 현실 세계에는 조명 변화, 마찰, 무게, 물체의 미끄러짐처럼 텍스트만으로 학습하기 어려운 변수가 매우 많습니다.
엔비디아 역시 로봇용 AI가 부족한 실제 데이터를 보완할 수 있도록 시뮬레이션과 합성 데이터를 적극적으로 활용하고 있습니다. 2026년에는 실제 데이터의 생성·증강·평가 과정을 자동화하는 ‘Physical AI Data Factory Blueprint’도 발표했습니다.
왜 로봇 학습에 뇌파가 필요한가
현재 로봇을 훈련하는 대표적인 방법은 사람이 머리나 몸에 카메라를 착용하고 작업하는 모습을 촬영하거나, 사람이 로봇 팔을 원격으로 조종하면서 행동 데이터를 만드는 것입니다.
하지만 영상만 보아서는 사람이 어느 순간에 어려움을 느꼈는지 알기 어렵습니다. 예를 들어 두 사람이 똑같이 랜선을 서버에 연결하더라도, 한 사람은 쉽게 성공하고 다른 사람은 방향을 잘못 잡았다가 마지막 순간에 수정할 수 있습니다. 완성된 영상만 보면 두 작업이 모두 ‘성공’으로 표시될 가능성이 있습니다.
Encord는 여기에 뇌파 데이터를 결합하려 합니다. Zander Labs의 장치는 EEG, 즉 두피에서 측정한 전기 신호를 분석해 업무 부담, 집중, 놀람, 오류 인식, 의도와 관련된 패턴을 찾아내는 방식을 개발하고 있습니다. 이는 사용자가 명령을 의도적으로 보내는 일반적인 BCI와 달리, 작업 중 자연스럽게 나타나는 반응을 읽는 수동형 뇌-컴퓨터 인터페이스, Passive BCI에 가깝습니다.
쉽게 비유하면 기존 로봇 학습 영상이 ‘운전 장면이 담긴 블랙박스’라면, 뇌파가 추가된 영상은 운전자가 언제 당황했고 어느 순간 위험을 감지했는지 표시된 블랙박스라고 할 수 있습니다.
뇌파가 직접 로봇을 조종하는 것은 아니다
여기서 가장 정확히 짚어야 할 부분이 있습니다.
이번 실험의 핵심은 작업자의 생각으로 로봇을 실시간 조종하는 것이 아니라, 사람이 작업하면서 발생한 뇌파를 AI 학습용 보조 라벨로 사용하는 것입니다. 즉 뇌파는 로봇의 리모컨이라기보다 영상 데이터에 붙는 숨은 메모에 가깝습니다.
물론 뇌파를 이용해 로봇 손을 직접 움직이는 연구도 실제로 진행되고 있습니다. 2025년 네이처 커뮤니케이션즈에 발표된 연구에서는 비침습 EEG로 사람이 상상한 손가락 움직임을 구분해 로봇 손가락을 제어했습니다. 두 손가락 구분 정확도는 평균 80.56%였지만 세 손가락 구분은 60.61%였으며, 반응에도 약 1초의 지연이 있었습니다.
또한 실험 참가자들은 이전에 BCI 훈련을 경험한 사람들이었고, 사전 테스트 성적이 낮은 참가자는 제외됐습니다. 연구진 역시 결과를 일반인 전체에 그대로 적용하거나 복잡한 일상 작업에 바로 사용할 수는 없다고 밝혔습니다. 따라서 “이제 누구나 생각만으로 로봇을 자유롭게 움직인다”는 해석은 과장입니다.
기사 속 숫자는 확정된 사실일까
테크크런치 기사에는 로봇 AI의 돌파구를 만들려면 유튜브 전체 영상보다 약 5배 큰 데이터가 필요할 수 있다는 Encord 관계자의 전망이 등장합니다. 또한 정밀하게 주석을 단 데이터는 일반적인 1인칭 영상보다 100배 가치가 높으면서 생산비는 20배 정도라는 주장도 소개됩니다.
그러나 이 수치들은 독립적인 학술 연구나 공개 벤치마크로 검증된 결과가 아니라 회사 관계자의 추정치입니다. 로봇 종류와 작업 난이도, 모델 구조, 시뮬레이션 사용 비율에 따라 필요한 데이터 규모가 크게 달라질 수 있으므로 확정된 산업 기준으로 받아들이기는 어렵습니다.
Encord와 Zander Labs의 뇌파 결합 프로젝트 역시 현재는 초기 시험 단계입니다. 실제 고객사의 로봇 모델에 적용했을 때 성능이 얼마나 향상되는지 공개된 비교 결과는 아직 없습니다. 따라서 현재로서는 ‘입증된 돌파구’가 아니라 검증 중인 새로운 데이터 수집 방식이라고 표현하는 것이 정확합니다.
뇌파 데이터가 가진 또 하나의 문제, 프라이버시
뇌파 데이터가 집중도나 피로, 오류 인식과 연결되기 시작하면 일반 영상보다 훨씬 민감한 개인정보가 될 수 있습니다. 직원의 뇌파를 이용해 업무 집중도를 평가하거나, 고용주가 스트레스 상태를 감시하는 방식으로 확대될 가능성도 배제하기 어렵습니다.
이러한 우려 때문에 UNESCO 회원국들은 2025년 세계 최초의 ‘신경기술 윤리 권고’를 채택했습니다. 이 권고는 신경 데이터 활용 과정에서 명확한 동의, 개인정보 보호, 인간의 자율성 및 정신적 사생활을 보호하는 장치가 필요하다는 방향을 제시합니다.
결론: 뇌파는 로봇의 두뇌가 아니라 더 정밀한 교재다
뇌파가 당장 휴머노이드 로봇을 완성할 마법의 열쇠라고 보기는 어렵습니다. 그러나 사람이 어느 순간 실수를 알아차리고, 무엇을 어렵게 느끼며, 언제 더 많은 집중력을 사용하는지 알려주는 데이터는 로봇 학습의 질을 높일 가능성이 있습니다.
앞으로의 핵심은 단순히 데이터를 많이 모으는 것이 아닙니다. 영상, 힘과 압력, 근육 신호, 로봇 관절 정보, 뇌파까지 결합해 왜 그 행동이 성공하거나 실패했는지를 설명하는 고품질 멀티모달 데이터를 만드는 경쟁이 시작될 가능성이 큽니다.
결국 뇌파는 로봇을 직접 움직이는 조종 장치라기보다, 로봇이 인간의 판단 과정을 더 잘 배우게 만드는 특별한 교재가 될 수 있습니다. 다만 실제 성능 향상과 비용 효율성, 신경 데이터 보호가 입증되어야 비로소 피지컬 AI의 진정한 돌파구라고 부를 수 있을 것입니다.
