미래형 확장 현실(eXtended Reality, XR)은 현실 공간과 가상 공간을 밀결합하고, 실시간 사용자 상호작용을 통해 몰입형 사용자 경험을 제공하는 차세대 미디어 기술이다. XR 응용은 2023 년 240 조원 이상의 시장 규모가 예상되는 등 크게 주목받고 있으며 상업, 교육, 의료, 스마트 팩토리 등 다양한 분야에 활용 가능성이 무궁무진하다(그림 1).

그림 1. 미래형 XR 응용 스펙트럼

미래형 XR 응용은 1) 현실 공간을 심층 분석하고, 2) 사용자가 요구하는 가상 정보를 생성하여, 3) 분석된 현실 공간 위에 정보를 실시간으로 사실감있게 밀결합 렌더링해야 한다. 이를 위해서는 다수의 심층 신경망(Deep Neural Network, DNN) 연산 및 복잡한 렌더링 작업의 동시 수행이 요구된다. 

최근 산업계와 학계에서 범용 XR 응용 개발 플랫폼이 활발히 개발되고 있으나(예: Google ARCore, Windows Mixed Reality Toolkit, OpenXR), 평면 위 물체 배치, 컨트롤러 기반 인터랙션 등 제한적인 기본 기능만을 제공하여 지원 가능한 응용이 매우 제한적이다. 범용 모바일 딥러닝 플랫폼 연구 역시 활발히 진행중이나(예: Google TensorFlow-Lite, Xiaomi MACE) 단일 DNN 연산만을 지원하며, 렌더링 작업과 동시 수행 시 시스템 자원을 효율적으로 공유 하지 못해 XR 의 핵심인 실시간 상호작용 인터페이스 구현이 어렵다. 클라우드 오프로딩 시스템 연구 역시 물체 탐지 등 단일 작업에 최적화 되어있으며, 연산 전체 또는 뒷단을 오프로딩하는 기초적인 수준에 머무르고 있다. 미래형 XR 응용 을 위한 다중 DNN 동시, 실시간 실행은 미해결 문제로, 모바일과 클라우드를 동시에 활용하는 통합적인 접근이 필수적이다.

본 과제는 1) 미래형 XR 응용에 요구되는 현실 공간 및 사용자 행동의 심층 분석을 위한 딥러닝 워크로드 및 응용 요구사항을 새롭게 특정하고, 2) 다수의 유용한 XR 응용을 지원할 수 있는 모바일-클라우드 협력적 딥러닝 플랫폼 및 핵심 원천 기술(예: XR 컨텐츠 기반 모바일-클라우드 협력적 다중 DNN 실시간 연산, 멀티태스킹 특화 온-디바이스 XR 실행 엔진)을 개발하여 XR 시장의 확장을 선도한다. 그림 2는 본 연구에서 목표로 하는 XR 특화 모바일-클라우드 협력적 딥러닝 플랫폼 구조도를 나타낸다. 

그림 2. 목표 모바일-클라우드 협력적 딥러닝 플랫폼 구조도

본 연구에서 목표로 하는 모바일-클라우드 협력적 딥러닝 플랫폼은 미래형 XR 서비스 시장을 선도할 원천 기술이 될 것으로 예상되며, IoT, 자율주행 자동차, 드론 등 다양한 지능형 임베디드 시스템의 최적화 및 서비스 제공에도 널리 활용될 수 있을 것으로 예상된다.