[강승우의 머신러닝 이야기] 설명 가능한 AI

[강승우의 머신러닝 이야기] 설명 가능한 AI

강승우 위데이터랩 AI 연구소장

최근 머신러닝 기술의 발전으로 딥러닝(Deep Learning)에서 훈련되는 신경망(Neural Network)은 객체 탐지, 문서 분류, 감성 분석 등에서 사람과 비슷하거나 더 나은 결과를 보여주고 있다. 그러나 딥러닝은 무엇을 근거로 판단을 내리는지 알 수 없다. 예를 들어 훈련된 딥러닝 시스템이 사진에서 고양이를 인식했을 때, 어떤 과정으로 판단을 내렸는지 알 수가 없다는 것이다. 이러한 이유로 딥러닝 모델을 ‘블랙박스(black box)’라고 부른다.

과정을 설명할 수 없는 판단은 공감하고 신뢰하기 어렵다. 이에 블랙박스와 같은 머신러닝 모델의 내부를 조명하는 ‘설명가능한 AI (XAI – eXplainable AI)’ 기술 개발이 진행되고 있다.

미국 국방부(Pentagon)은 미군의 전투 능력 향상에 인공지능(AI)를 도입하고자 했다. 그 한가지 방안으로 숲에 숨어 있는 위장된 탱크를 찾는 인공지능을 만들기로 했다. 위장된 탱크를 찾는 딥모델 생성을 한 연구소에 의뢰했다.

의뢰받은 연구소에는 다행(?)스럽게도 탱크 포격 훈련장이 근처에 있어서 다양한 탱크의 사진을 구하기 어렵지 않았다. 벽에 가려져 포신만 보이는 사진, 바퀴(궤도)가 조금만 보이는 사진 등등 많은 탱크 사진을 수집하고, 탱크가 없는 사진도 수집했다.

모아진 데이터로 딥러닝 모델을 훈련시킨 결과는 놀라웠다. 거의 100%로 가까운 정확도를 보였다. 흡족한 결과에 국방부로 자신있게 훈련된 모델을 보냈다. 그러나, 국방부의 응답은 ‘매우 실망스럽다’ 이다. 국방부의 테스트에서는 50% 정도의 성능을 보인 것이다.

연구소는 국방부에서 테스트한 사진들을 넘겨받아 확인을 했다. 결과는 국방부의 테스트와 같았다. 이에 연구소는 훈련에 사용한 사진들과의 차이를 살폈다. 연구소에서 테스트한 사진은 탱크가 훈련하러 가는 밝은 날에 찍힌 사진 뿐이었다. 그러나 국방부의 사진은 흐린 날, 눈오는 날 등 다양한 상황에서 탱크를 찍은 사진 이었다. 연구소에서 훈련된 딥러닝 모델은 맑은 날을 판별하는 AI 모델이었다.

연구소는 실수를 인정하고 다음에 동일한 실수를 하지 않는 방법을 고안했다. 데이터의 어떤 부분을 보고 딥러닝 모델이 판단하는지를 시각화한 것이다. 즉 “딥러닝 모델이 무엇을 보고 판단한 것인지”를 확인하는 방법이다. 이 방법으로 연구소는 동일한 실수를 하지 않을 수 있었다. 딥러닝 모델의 판단을 ‘설명할 수 있게(explainable)’ 된 것이다.

위의 사례는 사실 도시전설과 같이 꾸며낸 이야기이다. 하지만 설명가능한 AI(eXplainable AI)의 필요성을 잘 보여주는 이야기로 많이 인용된다.

미국 국방부 산하 방위고등연구국(DARPA - Defense Advanced Research Projects Agency)는 머신러닝이 보여주는 극적인 성과를 현실 적용이 늦어지는 이유로 사람이 이해할 수 없기 때문으로 얘기한다. 설명가능한 AI는 모델의 판단에 신뢰를 갖게 한다. 이에 최근 설명가능한 AI에 대한 활발한 연구가 이뤄지고 있다.

설명가능한 AI의 필요성을 정리하면 다음과 같다.

▲ AI 모델의 신뢰, 투명성, 이해를 얻음

▲ GDPR(General Data Protection Regulation – EU의 개인정보 보호법) 등 규제 준수

▲ 공정성 등 사회적 책임 수행

▲ AI 모델의 정당함을 보일 수 있는 책임감 있고 신뢰할 수 있는 건전한 모델 생성

▲ AI 모델 성능과 해석에 편향과 오해를 최소화

▲ AI 모델과 그 예측에 대한 검증 가능

최근 딥러닝 기술은 이력서 검증, 인사 평가, 재범 가능성 판단 등 사람에 대한 평가에도 도입하려는 시도가 있다. 이와 같이 사람에 대해 평가에 사용되는 딥러닝 기술은 그 공정성에 대중의 신뢰를 얻어야 한다. ‘설명가능한 AI’ 기술이 필요성이 더 높아지고 있다.

필자 강승우 위데이터랩 인공지능연구소장 겸 부사장은 펜타 컴퓨터를 거쳐 BEA, Oracle에서 최고 기술 아키텍트로서 기업의 IT 시스템 문제가 있는 곳의 해결사 역할을 해왔다. 글로벌에 통하는 한국 소프트웨어 개발에 대한 열정으로 S전자 AWS 이벤트 로그 분석을 통한 이상징후 탐지, R사의 건축물 균열 탐지 등의 머신러닝 프로젝트를 진행했다. 현재는 딥러닝을 이용한 소프트웨어 취약점 탐지 자동화 연구와 머신러닝과 딥러닝강의를 진행하고 있으며, 비즈니스화에도 노력을 기울이고 있다. 최근 저서로 '머신러닝 배웠으니 활용해볼까요?'가 있다.

(이 칼럼은 GTT KOREA의 편집 방향과 다를 수 있습니다.)