[인공지능 만화]3-6. 인공지능은 어떻게 판단을 할까? 다르파 XAI 플로젝트

대출을 받기 위해 은행에 갔습니다. 하지만 대출부적격자여서 대출을 받을 수 없다는 대답을 듣게 되었죠.

그 이유를 물어보니 AI의 판단이 그렇다는 말 뿐 근거를 명확히 말해주지 않는 납득할 수 없는 상황이 펼져집니다.

이렇게 현재 AI는 명확한 근거흫 설명할 수 없는 '블랙박스' 구조를 갖고 있습니다.

하지만 최근 AI를 금융 · 의료 기관등에서 사용하기 시작하면서 AI가 적용된 시스템을 신뢰하기 위해 블랙 박스 안에 숨겨진 내용을 파악할 필요성이 생겼죠.

그렇게 AI가 떤 근거로 결론을 냈는지 그 과정이 숨겨져 있는 블랙박스를 열어보는 XAI(eXplainable AI)에 대한 관심이 높아졌습니다.

XAI란 우리말로'설명가능한 인공지능'으로 인공지능 모델이 결론을 내리기까지 어떤 근거로 의사결정을 내렸는지를 알 수 있게 해주는 기술입니다.

*XAI예시: 아프리카 코끼리 heat map

->AI가 이 사진 속 코끼리를 아프리카 코끼리라고 판단한 근거가 붉게 나타나있음

사용자는 이 기술을 통해 기존 인공지능에서 알 수 없었던 6가지 질문에 대한 답을 할 수 있게 된답니다.

<XAI 질문 리스트>

1. 왜 이런 결론을 냈는가?

2. 다른 것은 왜 안되는가?

3. 어떻게 성공한 것인가?

4. 어떻게 실패한 것인다?

5. 결과를 신뢰해도 되는가?

6. 에러를 어떻게 수정해야 하는가?

이러한 XAI 기술 연구는 그동안 여러 시도가 있었지만 2016년 특정 기관에 의해 본격적으로 시작되었습니다.

미국의'다르파(DARPA)'가 그 주인공이었죠.

다르파(DARPA)는 미국 국방부 소속의 군사 기술 연구 개발 기관으로서 구소련의 인류 최초 인공위성인 '스푸트니크 1호' 발사에 충격을 받아 1958년 경쟁 국가의 군사 관련 기술적 기습을 막기 위해 설립되었습니다.

실현 가능한 것도다는 불가능에 가까운 기술에 도전하는데에 지원을 아끼지 않는 다르파는 최초의 인터넷인 '아르파'와 GPS등 큰 파급력을 지닌 기술을 개발해왔죠.

이러한 다르파에서 2016년 XAI프로젝트가 등장합니다. 이 프로젝트의 목표는 인공지능을 설명할 수 있게 만드는 기술을 만들어 많은 모델에 적용할 수 있도록 하는 것입니다.

다르파의 XAI프로젝트 과정에서 AI이미지 인식 시스템을 개발하던 중 늑대인지 아닌지 판단할 때 늑대 자체의 특징이 아닌 이미지의 배경이 눈인지 아닌지에 따라 결정된다는 것을 XAI로 발견했고, 이러한 잘못된 근거를 정정하기도 했답니다.

XAI프로젝트 성공 여부에 대한 데이터 과학자들의 의견은 분분합니다.

AI가 결론을 내리는 과정을 명확하게 설명할 구 있게 될 것이라는 입장이 있는 반면,

데이터가 쌓려 발전되는 AI인 만큼 AI의 결론에 대한 모든 과정을 설명하기는 어려울 것이라는 입장도 있죠.

과연 이 프로젝트는 어떤 방향으로 흘러갈지 기대가 됩니다.

 

(출처)

https://www.sciencetimes.co.kr/news/xia%EB%A1%9C-%EC%9D%B8%EA%B3%B5%EC%A7%80%EB%8A%A5%EC%9D%84-%EC%84%A4%EB%AA%85%ED%95%9C%EB%8B%A4/

XAI로 인공지능을 설명한다 – Sciencetimes

https://www.darpa.mil/program/explainable-artificial-intelligence

https://www.darpa.mil/program/explainable-artificial-intelligence

https://www.darpa.mil/about-us/about-darpa

https://www.darpa.mil/about-us/about-darpa

Francois Chollet - Deep learning with Python

책: XAI 설명 가능한 인공지능, 인공지능을 해부하다 - 안재현

---

적송 권건우 

https://blog.naver.com/redpine71 

적송 숲에서 한가로이 거닐다 : 네이버 블로그

공무원을 꿈꾸며 대학에 들어갔으나 동서양문화에  심취하여 수많은 사부님들을 찾아다녔고 기나긴 갈 구끝에 서울 인사동과 중국 하남성 황토벌판 그리고  실리콘밸리에서 스승을 만났다. 지금은 산에서 내려 와 많은 친구들과 동서문명을 융합시키는 새로운 도 전의 여정에 있다. 그 중 하나로 빅데이터와 인공지 능의 본질을 연구하고 쉽게 전달하는 전도사로 활약 하고 있다. 

現 위데이터랩 대표이사 

現 디랩아카데미 원장 

現 성균관대, 한양대 겸임교수 

現 세계진소왕태극권총회 서울분회장 

現 국제서법연합 한국본부 사무차장 

前 삼성SDS Technical Architect 

 

가인

www.instagram.com/ga_casso

하루를 더 생생하게 기억하기 위해 일기장에 사진을 따라 그리는 것으로 그림을 그리기 시작했다. 가카소는 스스로 만든 별명인데 피카소처럼 재미난 그림을 그린다는 의미로 지었다. 미디어커뮤니케이션과 경영학을 전공하며 콘텐츠 기획에 관심을 갖게 되었고, 자전거·드럼·그림 등 다양한 취미를 갖고 있다. 항상 ‘한다면 한다’는 마인드로 새로운 것에 도전하며 꿈을 찾아가는 중이다.

 

전준혁

https://student-jjh.github.io/new/

Document

 

경영학을 전공으로 하는 학생. 우연히 갖게된 인공지능 역사탐구를 통해 공부의 방향성과 융합적 사고의 중요성을 알게 되었다. 경영학이 다양한 학문과의 관계 속에서 발전할 수 밖에 없는 학문이라는 것을 알게 되면서 코딩과 통계학 등 다양한 학문의 기초분야에 관하여 공부하고 있다.

 

루나 허령

https://brunch.co.kr/@hvnpoet 

루나의 브런치

 

컴퓨터과학과 소프트웨어공학을 전공하고, 지금 은 금융회사의 상품과 서비스를 분석, 설계, 구현하 는 일을 하고 있다. 대학 초년생 시절 마인드맵을 접 한 이후 즐겁게 생각하는 방법을 깨달았고, 소프트웨 어공학의 모델링 사상을 이해하고부터는 마인드맵과 모델링을 아우르는 마인드맵모델링을 연구 중이다. 세상에 대한 공학적인 접근 이외에도 마음공부와 서 예, 태극권 등으로 자신과 세상의 경계를 넘어 진리 를 탐구하고 있다.

現 삼성SDS Principal Engineer