초거대 인공지능(Hyperscale AI)는 복잡한 문제를 처리하는 데에 뛰어난 정확도를 보여 다양한 산업 섹터와 학계에서 주목을 받고 있다. 초거대 AI는 수십억 개의 파라미터를 갖도록 높은 은닉 차원을 갖는 레이어를 다수 구성하고, 응용의 요구에 따라 컨볼루션 신경망(Convolutional neural network), 그래프 신경망(Graph neural network), 트랜스포머(Transformer)와 같은 모델 구조를 채택하여 문제 처리 정확도를 높인다.

한편 초거대 AI는 시스템에 매우 높은 계산 성능을 요구한다. 특히, 초거대 AI에서 계산자원을 가장 많이 요구하는 연산은 행렬곱(Matrix multiplication)인데, 이는 레이어들이 주로 행렬곱에 추가로 비선형함수를 배치한 형태로 구성되어 있기 때문이다. 초거대 AI 모델들을 가속하기 위해 기존 연구들은 AI 모델의 레이어와 파라미터를 하드웨어 가속기에 나누어 배치하여 모델을 병렬적으로 처리하는 방식을 채택해 왔다.

본 연구진은 초거대 AI 모델들의 연산 특징이 학습 과정 중 계속하여 변화함을 새롭게 발견하였으며, 이에 의해 기존 연구들이 낮은 성능을 보임을 발견했다. 이에 따라 본 연구진은 바탕으로 초거대 AI 모델에게 특화된 알고리즘과 가속 소프트웨어, 그리고 전용 하드웨어를 설계하고자 한다. 구체적으로, 소프트웨어 수준 연구에서는 초거대 AI의 변화하는 희소성에 대응할 수 있는 최적의 행렬곱 연산자 판별 알고리즘을, 하드웨어 수준 연구에서는 임의의 행렬곱 연산자 실행을 지원하는 포맷무관 가속기를 연구하고자 한다. 이후 시스템 수준 연구에서는 동적으로 변화하는 행렬곱 지연시간을 고려한 작업량 재분배가 가능하도록 레이어 오케스트레이션 기법을 연구하고, 최종적으로 통합 수준의 연구를 통해 초거대 AI 모델을 위한 소프트웨어/하드웨어 통합 플랫폼을 개발하고자 한다.

본 연구에서는 초거대 AI의 실행시간을 즉각적으로 단축할 수 있다는 것뿐만 아니라, 딥러닝 분야 전반에 이득을 제공하여 수십억 달러 규모의 이득을 가져올 것이다. 또한 학문 및 산업에 중대한 지식재산권 축적과 영향력을 줄 수 있을 것으로 기대한다.