데이터 먹는 하마 '초거대 AI' 개발…KT IDC가 지원한다

KT 직원들이 하이퍼스케일 AI 존이 구축된 IDC 내에서 장비를 점검하고 있다. /사진=KT

KT (37,100원 ▼150 -0.40%)가 인공지능(AI) 연구개발 및 상용화 인프라 환경과 운영 컨설팅을 지원하는 'KT 하이퍼스케일(초거대) AI 서비스'를 출시했다고 9일 밝혔다. 기업이나 연구기관이 초거대 AI 모델을 학습시키는 과정에서 발생하는 대용량의 데이터를 안정적으로 운영, 관리할 수 있도록 고성능 인프라를 제공한다.

KT 하이퍼스케일 AI 서비스는 AI 컴퓨팅 파워, 개발자 툴킷, 전문가그룹의 최적화 및 컨설팅, 데이터센터 등으로 구성된다. AI 모델 학습, 추론에 최적화된 지능형처리장치(IPU)를 기반으로 안전하고 빠르며 필요한 만큼 추가할 수 있다는 점이 가장 큰 특징이다.


대규모 AI모델을 학습시키기 위해선 HPC(슈퍼컴퓨팅) 수준의 인프라가 필요한데 이에 대응하기 위해선 기존 랙(2.2kW)의 약 10~20배의 집적도가 필요하다. KT가 국내 최초로 도입한 IPU는 그래픽 처리를 위해 설계된 GPU와 달리 병렬처리에 최적화된 AI 전용 프로세스 칩이다. 기존 AI 인프라에 비해 계산 효율성, 메모리 확장성이 최대 16배 증가하지만 GPU 기반 동일 구성에 비해 60% 이상 저렴하고, 40~80% 수준의 에너지 효율성까지 갖춰 향후 늘어나는 AI 연구개발 수요에도 에너지 사용량을 최소화할 것으로 기대된다.

KT는 인터넷데이터센터(IDC)에 '하이퍼스케일 AI존'을 구축했다. KT IDC는 산업표준 인증과 함께 암호화, 엄격한 접근제어로 데이터를 안전하게 보호해주는 역할을 한다. KT는 현재 전국 14개 IDC를 운영 중인 국내 최대 사업자로서 테라급 인터넷 백본을 기반으로 수도권 각 IDC를 연결한 하나의 거대한 '원(One) IDC' 네트워크를 구성해 대용량 트래픽에도 차질 없는 서비스가 가능하다.

KT 하이퍼스케일 AI 서비스는 현재 사용 중인 표준 머신러닝 개발 프레임워크를 모두 지원하고, 관련 모든 라이브러리를 무상 제공한다. 또한 국내 1위 매니지드서비스제공사(MSP) 메가존클라우드와 함께 기존 보유한 AI 모델링을 IPU로 최적화하거나 더 빠르게 추론할 수 있는 AI 모델로 개선할 수 있는 컨설팅 서비스도 제공한다.


KT가 인프라 구축에 나선 것은 최근 인간의 뇌처럼 종합적으로 추론하고 창의적인 답변을 낼 수 있는 '초거대 AI'가 각광받으면서 폭증하는 데이터 수요를 지원할 필요성이 커졌기 때문이다. 네이버, LG전자, 카이스트, 서울대학교 등 각 기업과 학계, 연구기관 등이 초거대 AI 연구개발에 뛰어들고 있지만 대용량 연산과 대규모 데이터 학습이 필요한 만큼 인프라 구축에 엄청난 비용이 들어 웬만한 규모의 기업이나 기관은 뛰어들기가 쉽지 않았다.

KT 하이퍼스케일 AI 서비스를 이용하는 기업, 연구기관, 대학, 금융·의료기관 등은 많은 비용이 드는 별도의 인프라 구축 없이 AI 연구개발에만 매진할 수 있다는 장점이 있다. 합리적인 가격에 필요한 만큼 자원을 이용할 수 있고, 병렬구조를 통해 서버를 빠르게 확장할 수 있다.

이미희 KT 클라우드·디지털전환(DX)사업본부장(상무)는 "KT 하이퍼스케일 AI 서비스가 AI에 관심이 많지만 고비용의 인프라 때문에 망설였던 기업과 기관들이 뛰어드는 계기가 됐으면 한다"며 "KT는 국내 최고 수준의 백본망과 IDC를 기반으로 AI, 블록체인 등 차세대 핵심기술 개발을 선도할 솔루션을 지속적으로 선보이겠다"고 말했다.