국내 연구진이 인공지능(AI) 딥러닝 모델을 처리에 필수인 기계학습 시스템 성능을 끌어올리는 성과를 거뒀다.

한국과학기술원(KAIST)은 김민수 전산학부 교수팀이 기계학습 시스템 성능을 대폭 높일 수 있는 세계 최고 수준 행렬 연산자 융합 기술(FuseME)을 개발했다고 20일 밝혔다.

보통 딥러닝 모델은 행렬 곱셈, 행렬 합, 행렬 집계 등 '행렬 연산자'로 구성된 '방향성 비순환 그래프(DAG) 질의 계획'으로 표현된다. 수많은 컴퓨터로 구성된 클러스터로 처리한다. 모델과 데이터 규모가 커지면 처리에 실패하거나 시간이 오래 걸린다.

연구팀은 DAG 질의 계획의 행렬 연산자로부터 생성되는 중간 데이터에 주목했다. 이들을 메모리에 저장하거나 다른 컴퓨터로 전송하는 것이 문제 원인임에 착안, 행렬 연산자들을 하나의 연산자로 융합하는 기술로 문제를 해결했다. 이를 통해 중간 데이터 저장이나 전송이 이뤄지지 않게 했다.

지금까지 기계학습 시스템들은 낮은 수준의 연산자 융합 기술만을 사용해 성능이 별로 개선되지 않거나, 처리 실패 등을 겪었다. 연구팀의 FuseME 기술은 DAG 질의 계획에서 어떤 연산자끼리 융합하는 것이 더 유리한지 판별해 그룹으로 묶고 클러스터 사양, 네트워크 통신 속도, 입력 데이터 크기 등을 고려한다. 이론상 최적 성능을 내는 'CFO 연산자'를 융합한다.

................