이번 뉴스레터의 연구실 소개는 유용재교수편으로 인터뷰를 통하여 연구실에서 추구하는 운영방향과 연구 분위기를 생생하게 리뷰해 보았습니다. 유용재교수님은 POSTECH 컴퓨터공학과에 박사학위를 받으신 후, 캐나다 McGill University 박사후연구원(2020-22)을 거쳐 현 한양대ERICA 인공지능학과 조교수로 2021년 부임하셨습니다. 학문적 성취를 소개하면 POSTECH 컴퓨터공학과 최우수 박사학위논문상(2019), IEEE Transactions on Haptics Best Paper Award (2023), IEEE World Haptics Conference Best Poster Paper Award (2017), ACM SIGCHI Honorable Mention Award (2022) 논문상 등이 있습니다. 관련분야 역량을 소개하면 인간-AI 상호작용, 촉각 및 다감각 모델링 및 렌더링, VR/AR 및 보조공학 등, 다양한AI 응용연구를 진행하고 있으며, 대표적 성과로는 주식회사 닷과 협업, Microsoft Ignite에서 소개된 시각 장애인을 위한 시-촉각 자동변환기술, 헥사휴먼케어와 협업한 사례로 사용자 데이터를 기반으로 학습된AI를 이용한 로봇의 인간유사궤적 생성 및 제어 등이 있으며, 현재 정부연구2건(2023-27 한국연구재단 우수신진연구, 2023-25 한국콘텐츠진흥원 문화기술선도개발사업)을 수행 중에 있습니다. 연구실 명칭은 다중감각지능 및 인터랙션 연구실로 창의적인 연구실로 거듭나기 위한 도전적인 활동에 대하여 정리해 봅니다.

Q1. 현재 진행중인 연구에 대한 소개 부탁드립니다.

인간-컴퓨터 상호작용(HCI) 분야 자체가 굉장히 넓은 분야인데, 그 중에서도 저희는 “인공지능을 이용하여 사용자를 돕는” 기술을 주력으로 하고 있습니다. 우선, 가상 및 증강현실 기술에AI를 접목, 기존 현실세계에서 재현하기 어렵거나 또는 새로운 경험을 제공하는 가상 및 증강현실AI 상호작용 기술, 시, 청각이나 신체 장애가 있으신 분들과 같이 도움이 필요한 분들께 적절한 AI 기술 및 하드웨어 장치를 이용하여 돕는Human Centered Computing, 마지막으로 AI 모델의 컴퓨팅 결과를 로봇과 결합, 물리적인 방법으로 사용자에게 직접적으로 제공하는 햅틱스 및 로봇AI입니다.

 <연구장비 및 사용사례-HY-ERICA에 소개>

한 예로, 사람의 손과 몸 감각을 취득하여 이를 학습, 모델링한AI를 이용하여 초심자에게 조각, 운동 동작 등을 가르칠 수 있는 시스템을 개발하여AI 상호작용 분야의 최우수 학회인 ACM IUI에서25년3월에 발표를 앞두고 있습니다. 또, 주식회사 닷과 협업한 사례로 시-촉각 자동변환AI기술 또한 좋은 사례인데요, 주식회사 닷이 개발한 촉각 디스플레이에서 효과적으로 표현하기 위해AI를 이용, 눈으로 보이는 정보를 “만져서 이해할 수 있도록” 바꾸는 렌더링 알고리즘을 개발하여MS 개발자 컨퍼런스인Ignite에 선보였습니다. 해당 방법론은 또 동영상 정보를 간략화하여 시각 장애인이 동영상을 이해할 수 있도록 한다든지, 교육을 위해 활용한다든지 다방면에서 활용될 수 있으며, 실제로 골프 동영상의 변환 사례는 ACM SUI’24에서 Honorable Mention 논문상을 수상하기도 했습니다. 

<IUI – 조각에 활용되는 미세 손동작의AI를 이용한 모델링 및 학습>

마지막으로, 다양한 로봇 및 하드웨어 장치들에AI를 접목하여 사용자를 돕고 새로운 경험을 제공해 주는 연구들이 있습니다. 대표적 예시들로 ACM Siggraph Asia 2024에서 발표된 홈시어터를 위한4D 효과의 자동생성 알고리즘 논문을 들 수 있는데요, 영상 및 소리를AI를 이용하여 분석해서 여기에 어울리는 촉각 효과를 자동으로 생성해 주는 연구를 진행했으며, 또 헥사휴먼케어와의 협업으로 진행 중인 연구로, 재활운동을 효과적으로 돕기 위해AI를 이용, 건강한 사람의 움직임을 수집하고 이를 이용하여 로봇이 환자군에게 건강한 사람의 궤적을 따라할 수 있도록, “인간 유사(Human-like)” 궤적을 생성하고 제어할 수 있는 AI를 만들었습니다.

 ※ 골프 동영상의 자동 촉각 변환(ACM SUI’24 Honorable Mention 논문상 수상)>

<영화에서 홈 시어터의4D Effect 자동 생성–ACM Siggraph Asia 2024 논문 발표>

Q2. 다중감각지능 및 인터랙션 연구실 멤버를 소개해 주신다면?

저희 연구실은 25년1월 기준으로 박사통합과정3명, 석사과정9명과 학부인턴6명으로 총18명의 학생이 저와 함께 연구를 수행하고 있습니다. 박사과정으로는 임재완(가상및증강현실AI), 박혜민(감성 상호작용AI), 남서용(멀티미디어/다감각AI) 학생이 있고, 석사과정에 김해림(사용자중심AI), 박지영(Teaching AI), 정민호(멀티미디어/다감각AI), 김승겸(시각AI), 서민주(로봇AI), 최수연(사용자중심AI), 서하은(로봇AI), 김은채(가상및증강현실AI), 이태윤(가상및증강현실AI) 학생이 연구를 진행중입니다. 학부인턴으로 김아름, 이나영, 곽도훈, 정현욱, 신의성, 신혜성 학생이 있습니다. 대부분 대학원생들은 학부 때부터 인턴으로 저희 연구실 연구에 참여하여 왔으며 이른 시기에 좋은 성과를 내고 있어 개인적으로 매우 기쁘고 자랑스럽게 생각하고 있습니다. 대표적으로, 저희 연구실의 올해 신입생5명은 전부 본교SW중심대학사업단의 “SW융합인”으로 선정되어 장학금을 수혜 받았으며, 논문상 및 경진대회 수상만 해도 24년 한 해 동안 9건이나 되었습니다. 

(국제논문상1, 국내논문상2, 전국단위경진대회1, 캡스톤2, 교내수상3)

<연구실 멤버 단체 사진 – 2024. 4월>

Q3. 효과적인 연구성과를 위하여 연구실 분위기를 포함하여 연구과제수행 노하우 혹은 특별한 방법이 있으면 소개 부탁드립니다.

저희는 분야 특성 상 혼자서 할 수 있는 게 많지 않습니다. 따라서 다른 사람들 또는 기관과의 협업이 필수적이며, 다양한 사람들의 관심사를 바탕으로 한 노력들이 결합되어야 하나의 완성된 연구가 도출될 수 있습니다. 또, 연구과제에서 필요로 하는 요구조건들이 있고, 또 모두의 관심사가 다 다를 겁니다. 따라서 저희는 연구주제 선정부터 수행에 이르기까지 팀 내지는TF를 짜서 진행하게 되는데, 적재 적소에 인원을 잘 배치해서 잘 녹여내 과제의 목표를 달성하는, 일종의HR이 저한테 있어서는 상당히 중요한 노하우가 된 것 같습니다. 여기에 있어 특별한 노하우가 있는 것은 아니지만, 팀 단위로Brainstorming 하는 시간을 충분히 갖기 위해 노력하고, 가급적이면 학생 개인별로 면담하고 세부적인 지도를 하기 위해 노력하고 있습니다. 또, 각 팀 및TF의 리더 학생들이 연구 활동을 주도적으로 해 나갈 수 있도록, 가급적이면 생각을 많이 할 수 있는 방향으로 지도를 하는 것이 바람직하지 않나 생각합니다. 또, 열심히 하지만 부족한 부분이 많은 제 지도임에도 불구하고 학생들이 잘 따라오고, 스스로 동기부여가 되어 열심히 한다는 게 학생들에게도 감사한 부분입니다.

<SUI Honorable Mention Award 수상학생들> 

Q4. 기타 하고 싶은 말씀이 있으시다면?

저희 연구 분야는 최근AI분야의 트렌드로 떠오르고 있는 사업화 및 제품화라는 측면에 있어서 가장 가까운 분야가 아닌가 생각하고 있습니다. 저희는 저희 스스로가AI를 제품이나 서비스 등 각종 사업에 적용하기에 나름 노하우를 가지고 있다고 생각하고 있으며, 산학 협력 관련된 문의나 협업 제안은 언제든지 환영입니다.

이상으로 인터뷰에 응해주신 유용재교수님께 감사드리며 다중감각지능 및 인터랙션 연구실 소개가 AI융합연구소 참여교수님과 HAI멤버십 회원사에 연구실의 미션과 연구내용을 알리는데 도움이 되었을 것이라 생각합니다. 유용재교수님 연구실이 우수한 연구성과를 바탕으로 성장하시길 기원합니다.