전시에 인공지능(AI의 결정에 따라 군사 로봇이 적에게 공격을 가한다. 의료 분야에서는 환자 진단을
내놓는다. 기업에서는 AI 결정으로 채용 지원자 당락을 결정하고, 인력 구조조정이 가해진다. AI가
고도화 된 언젠가 현실화 될 수 있는 미래 모습이다.

강력하고 편리한 도구인 AI는 시시각각 발전하고 있다. 뛰어난 연산능력을 바탕으로 우리를 대신해
각종 사안을 결정할 수 있다. 심지어 사람의 생명이나 일자리 같은 중요 문제까지 좌우 하는 날이
올 수 있다는 전망이 나온다. 미래 전망은 우리에게 의문을 남긴다. 'AI가 내린 결정은 믿을만한 것인가?'
 AI가 내린 결정을 신뢰하고 따르려면, 어떤 이유로 결정이 도출됐는지를 알 수 있어야 한다. 특히 군사나
 의료, 자율주행자동차와 같이 사람 생명과 직결된 분야나 금융·보험 등 개인 자산, 정보를 다루는 분야에서는
 AI로 도출한 결과의 근거, 도출 타당성에 대한 확신이 무엇보다 중요하다.

쉽지 않은 일이다. 머신러닝과 딥러닝 기술의 개발로 AI가 고도화 될수록 내부 속사정은 점점 더 가늠하기
어려워졌다. 특히 딥러닝 기술을 통해 어떤 결정을 내놓을 때는 헤아릴 수없이 많은 노드와 레이어를 거친다.
이 가운데 개별 노드가 도출 결과에 어떻게 관여했는지 과정을 추적하는 것은 쉬운 일이 아니다. 딥러닝 모델은
 일일이 파악할 수 없을 정도로 복잡해 '블랙박스'라고까지 불린다.

'설명가능 AI(Explainable AI·XAI)'가 주목받는 것이 이 때문이다. XAI는 말 그대로 결과물이 도출되는 과정을 설명할 수 있는 AI다. 예를 들어 여러 사진에서 고양이 이미지를 찾아내는 시스템이 있다고 치면, 기존에는 단순히 고양이인지 아닌지 여부만 판별하는데 그치는 반면, XAI 시스템은 근거까지 제시한다. 얼굴의 수염이나 귀의 모양, 몸의 털이나 꼬리 모양을 근거로 해당 이미지의 대상이 고양이라는 결론을 내렸다고 설명한다.

XAI는 1970년대부터 존재했던 개념이지만, 복잡한 머신러닝과 딥러닝이 개발되면서 근래 몇 년 사이 중요성을
 더했고, 세계 각지 그룹이 연구에 매진하고 있다. 미국 국방성 산하 고등연구계획국(DARPA)이 대표적이다.
 이들은 2017년부터 XAI를 연구하고 있다. AI가 갖춰야 할 새로운 역량으로 '설명능력'을 도입, 결론을 도출하
게 된 이유과 과정을 설명하는 연구에 나서고 있다. 구글이나 페이스북과 같은 거대 IT기업도 연구에 나서
결과물을 내놓는 상황이다. 특히 구글은 이미 설명가능 AI서비스를 제공하고 있다.

유럽연합(EU)이 재작년 5월 발효한 일반정보보호규정(GDPR) 13~14조에서 알고리즘이 행한 결정에 대해 질문하고,
관여한 논리 설명을 요구할 권리를 명시한 것도 이런 추세를 가속화하고 있다.

XAI 개발은 과정을 알 수 있는 설명 모델, 관련 인터페이스 등을 개발하는 곳이 골자다. 접근 방법은 다양하다.
학습모델 내 노드에 설명을 위한 '라벨'을 더하거나, 새롭게 설명가능 모델을 개발하는 방법, 학습 모델을 비교해
과정을 제시하는 등 다양한 방법이 있다. 기존 '합성곱 신경망'에 역산 과정을 추가, 추론 결과를 역으로 계산하는
 '계층별 관련도 전파법(Layer-wise Relevance Propagation)'도 XAI 기술 가운데 하나다.

전반적인 기술이 많이 무르익지 않았지만, XAI 기술이 보편화된다면 현재 AI 발전에 기폭제 노릇을 할 수 있게 된다.
'왜'를 설명할 수 없다는 점이 기존 AI 한계점이었다면, 반대로 이것이 해결될 때 AI 적용·활용폭이 커지게 된다.

AI모델 발전도 견인할 수 있다. 결과 도출 과정을 알 수 있게 되면 AI 모델의 미진한 부분 역시 알 수 있게 된다.
학습이 잘 안 된 경우나 오류를 잡아내 모델 정확도를 더욱 높일 수 있는 계기를 마련하게 된다. 이승민 한국전자
통신연구원(ETRI) 박사는 “AI 기술이 보다 발전하고, 사회 전반에 자리를 잡으려면 지금보다 신뢰성과 정확도를
높이는 작업이 선행돼야 한다”며 “XAI는 이런 과정에 꼭 필요한 기반을 마련해 준다”고 말했다.

대전=김영준기자 kyj85@etnews.com