이번 뉴스레터에서는 다중 모달 로봇 동작 학습, 세계 모델 및 모델 기반 계획, 인과적 및 교차 모달 표현 학습 및 Physical AI를 중심으로 연구하는 장수진 교수님 연구실을 소개합니다.

장수진 교수님은 2026년 3월부터 한양대학교 ERICA 인공지능학과 부교수로 재직하고 있으며, Human-centered Physical Intelligence (HPI) Lab을 이끌고 있습니다. 

Purdue University에서 Human-AI-Robot Interaction을 주제로 기계공학 박사 학위(2017)를 받았습니다. 

이후 Motorola Mobility(2017-2018), 삼성전자 종합기술원 자율주행팀(2019-2024), AI센터 Autonomous Machine Intelligence팀(2024-2026)에서 로봇 지능의 핵심 요소인 3차원 인지, 멀티모달 행동 학습, 크로스모달 표현 학습, 도메인 적응 기술을 연구해 왔습니다. 

연구 성과는 NeurIPS, ICML, CVPR, ICRA, AAAI, CHI 등 세계 최고 수준의 학회에 게재되어 왔으며, 

현재는 새로운 환경에도 잘 적응하고, 예상하지 못한 상황에서도 안정적으로 동하며, 경험을 통해 스스로 발전하는 피지컬 AI를 중점적으로 연구하고 있습니다.

> Q1. 현재 진행 중인 산학과제 또는 연구과제에 대해 소개 부탁드립니다.

저희 HPI 연구실은 실세계에서 인지하고, 행동하고, 사람과 상호작용하는 인간 중심의 피지컬 AI 에이전트를 개발합니다. 

제조와 물류, 자율주행, 헬스케어, 가정처럼 사람이 일하고 생활하는 실제 환경에서 안전하고 유용하게 쓰일 수 있는 지능을 목표로, 다양한 주제를 연구하고 있습니다.

첫 번째 주제는 멀티모달 로봇 행동 학습입니다. 로봇이 작업을 수행하려면 영상과 언어, 촉각처럼 성질이 다른 신호를 함께 해석해 행동으로 옮겨야 합니다. 저희는 여러 감각 정보를 하나의 행동 정책으로 연결하고, 사람의 시연이나 언어 지시로부터 조작/주행 기술을 학습해 처음 보는 물체와 환경에도 일반화되도록 만드는 데 중점을 두고 있습니다.

두 번째 주제는 세계 모델과 모델 기반 계획입니다. 실제 환경에서는 시행착오의 실패 비용이 크기 때문에, 환경이 어떻게 변할지를 예측하는 내부 모델을 학습하고 그 모델 위에서 행동을 미리 시뮬레이션해 계획을 세우는 방식을 연구합니다. 여기에 인과 관계를 고려한 표현 학습을 결합하여, 단순한 상관관계에 기대지 않고 환경이 바뀌어도 유지되는 표현을 얻는 것이 목표입니다.

세 번째 주제는 3차원 시각 인지와 장면 이해입니다. 로봇이 물체를 집거나 공간을 이동하려면 주변을 평면 영상이 아니라 3차원 구조로 이해해야 합니다. 저희는 카메라와 라이다 등 여러 센서로부터 주변 공간의 점유 상태와 물체의 위치, 형태를 복원하고, 센서 구성이나 환경이 달라져도 성능이 유지되는 인지 모델을 연구하고 있습니다.

마지막으로 인간, AI, 로봇 사이의 상호작용을 다룹니다. 로봇이 사람과 공존하려면 작업 성능뿐 아니라 사람이 그 행동을 예측하고 신뢰할 수 있어야 합니다. 이를 위해 사람의 의도를 파악하고, 필요할 때 사람의 개입을 수용하며, 행동의 근거를 설명할 수 있는 로봇 지능으로 연구를 확장할 계획입니다.

이러한 연구는 현재 여러 국책 및 산학 과제를 통해 수행하고 있습니다. 피지컬 AI 분야 연구는 AI스타펠로우십, AX대학원, 개인기초연구(핵심연구)를 통해 진행하고 있으며, 산학 협력으로는 화장품 포장 공정 자동화를 위한 휴머노이드 로봇 활용 실증 과제에 참여하고 있습니다.

> Q2. 연구실 멤버를 소개해 주신다면?

저희 HPI 연구실은 2026년 3월 인공지능학과에 새로 문을 열었고, 현재 여섯 명의 학부연구생과 함께 연구하고 있으며, 이 중 일부는 대학원 진학을 준비하고 있습니다. 

학생들과 함께 수행하고 있는 연구 주제는 Vision-Language-Action, Vision-Language-Navigation, Causal World Models입니다. 

로봇이 보고 들은 것을 행동으로 옮기는 문제, 언어 지시를 따라 낯선 공간을 이동하는 문제, 환경의 인과 구조를 학습해 새로운 상황에 적응하는 문제로, 모두 피지컬 AI가 실세계로 나가기 위해 반드시 풀어야 하는 주제입니다.

> Q3. 효과적인 연구성과를 위한 연구실 분위기나 연구과제 수행 노하우가 있다면 소개 부탁드립니다.

연구는 혼자 오래 붙들고 있을 때보다 서로의 생각을 부딪혀 볼 때 더 빨리 발전한다고 생각합니다. 

그래서 지도교수와 주 1회 이상 팀 미팅을 하며 아이디어가 완성되기 전에 자주 공유하고, 서로의 실험 설계와 주장에 대해 자유롭게 질문하고 토론하는 것을 기본 문화로 삼고 있습니다. 

또한 문제를 실세계 조건에서 정의하는 것을 중요하게 여깁니다. 벤치마크 점수를 올리는 연구와 실제 로봇이 낯선 환경에서 동작하게 만드는 연구는 다른 문제인 경우가 많습니다. 

지도교수가 산업 현장에서 겪은 문제들을 학생들과 공유하고, 학생들이 그 해결에 필요한 핵심 기술을 스스로 도출할 수 있도록 지도하고 있습니다. 

연구에 집중할 수 있도록 로봇과 GPU 장비도 갖추고 있으며, 교내 타 연구실 및 국내외 연구 그룹과의 공동 연구도 적극적으로 추진하고 있습니다.

> Q4. 2026년 연구실 발전을 위해 꼭 하고 싶은 말씀이 있으시다면?

피지컬 AI 연구는 최근 국내외에서 많은 관심을 받고 있는 인공지능의 다음 단계 연구이며, 아직 해결해야 할 난제가 많이 남아 있는 도전적인 분야입니다.

특히 새로운 환경에서 사람 수준의 적응력으로 처음 접하는 작업을 해결하는, 범용적이고 신뢰할 수 있는 물리 지능을 구현하기까지는 풀어야 할 문제가 많고 상당한 시간과 자원이 필요합니다. 

이러한 문제는 한 분야의 지식만으로 접근하기 어렵고, 인공지능과 컴퓨터 비전, 로보틱스, 제어, 인간-컴퓨터 상호작용처럼 서로 다른 배경을 가진 연구자들이 함께 모여야 의미 있는 진전을 만들 수 있다고 생각합니다. 

피지컬 AI의 난제에 함께 도전하고, 범용적이면서 신뢰할 수 있는 물리 지능을 구현하여 사회와 인류에 기여하고자 하는 분들의 많은 관심 부탁드립니다.