[강승우의 머신러닝 이야기] 챗GPT는 어떻게 교육받을까?

[강승우의 머신러닝 이야기] 챗GPT는 어떻게 교육받을까?

강승우 위데이터랩 AI 연구소장

인공지능 챗GPT(ChatGPT)가 미국의 변호사, 의사 시험을 통과했다. 그리고, 학교 리포트와 판결문을 작성한다는 소식도 들린다. 다양한 분야에서 인공지능이 보여주는 능력은 환호를 넘어 두려움을 느끼게 한다. 최근 모학교 과제에 챗GPT를 사용해 문제가 되기도 했다. 학교 과제를 대신할 수 있는 인공지능으로 현재 교육 시스템의 위기를 얘기한다.

머신러닝(Mahcine Learning)은 인공지능을 교육하는 기술이다. 컴퓨터를 교육하는 기술의 발전이 인간 교육 기술에 해가 되는 뜻밖의 상황을 연출하고 있다. 빠르게 인간의 능력을 따라잡는 인공지능의 교육법을 살펴보자.

1902년 러시아 생리학자 파블로프는 1902년 타액이 입밖으로 흘러나오도록 수술한 개로 침샘을 연구하던 중, 사육사의 발소리로 개가 침을 흘리고 있던 것을 발견했다. 이를 계기로 조건에 따른 개의 반응을 학습시켰다. 개에게 먹이를 줄 때마다 작은 종을 울려서 소리를 냈다. 이것을 오랫동안 계속했다. 이런 조건에 훈련된 개는 먹이도 주지 않고 종만 울려도 침을 흘렸다. 개는 종소리에 대한 행동을 학습한 것이다. 먹이라는 보상을 통해 개를 학습시켰다.

머신러닝(딥러닝) 훈련 과정

인공지능을 학습시키기 위해서 보상을 제공한다. 인공지능의 보상 시스템을 이해하기 위해서는 훈련을 통해 인공지능이 배우게 되는 것이 무엇인지를 알아야한다. 인공지능은 훈련을 통해 가중치(weight)라 부르는 매개변수를 배우게 된다. 가중치는 입력된 값이 인공지능의 판단에 영향을 주는 정도를 결정한다. 그림에서 x1 은 W1 만큼 중요도를 갖고, x2는 W2 만큼 중요도를 갖는다.

머신러닝에서 컴퓨터가 배우는 것 – W1, W2, b

그런데, 이 중요도를 갖고 인공지능이 판단한 결과 y가 틀렸다면, W1과 W2 값을 틀린 만큼 변경하게 된다. 이 과정이 인공지능이 받는 보상이다. 즉, 인공지능의 판단에 대한 평가가 이루어지고, 그 평가에 따라 입력 데이터에 대한 중요도(Weight) 변경이라는 보상을 받는다.

인공지능 기술에서 사용하는 평가 시스템을 손실함수(Loss Function), 그리고, 인공지능에서 사용하는 보상 시스템을 옵티마이저(Optimiser)라 부른다.

머신러닝(딥러닝) 훈련 과정

손실함수는 수학적 계산을 통해 인공지능을 평가하고, 결과를 옵티마이저에 전달하여 가중치의 보상을 계산하도록 한다. 손실함수와 옵티마이저는 인공지능의 훈련 방향을 결정한다.

즉, 손실함수와 옵티마이저를 구성하는 수학적 계산에 따라서 훈련 결과로 만들어지는 인공지능의 지능(?)이 달라지게 된다. 간단한 일을 하는 인공지능의 손실함수와 옵티마이저는 단순한 사칙연산으로 구성된다.

딥러닝의 손실함수 예

예를 들어, 값을 예측하는 인공지능은 예측값이 틀린 정도를 제곱하는 것으로 평가하여, 이 값이 작아지도록 훈련한다.

복잡한 작업을 하는 인공지능 훈련에는 보다 복잡한 수식을 가진 손실함수와 옵티마이저가 사용된다. 한 그림의 스타일을 다른 그림에 적용하는 스타일 전이(Style Transfer)에는 다음과 같이 다소 복잡해 보이는 손실함수가 사용된다.

스타일 전이를 위해 정의된 손실함수

1750억개의 중요도(parameter)로 보다 정교한 작업을 훈련하는 챗GPT는 보다 정교하고, 효율적인 평가와 보상 시스템이 필요하다.

챗GPT의 동작원리

1750억개의 중요도(parameter)로 보다 정교한 작업을 훈련하는 챗GPT는 보다 정교하고, 효율적인 평가와 보상 시스템이 필요하다. 챗GPT는 지도학습(Supervised Learning) 과 강화학습(Reinforcement Learning)라는 2번의 학습 과정을 거친다.

여기에서 설명을 하지는 않겠지만, 각각의 과정에서 훈련 정도를 평가하는 수학적 계산식은 아래와 같이 복잡하다.

챗GPT에 사용되는 손실함수

놀라운 결과를 보여주는 인공지능은 어려운 수학 계산을 매우 많이 수행한 결과이다.

 

필자 강승우 위데이터랩 인공지능연구소장 겸 부사장은 펜타 컴퓨터를 거쳐 BEA, Oracle에서 최고 기술 아키텍트로서 기업의 IT 시스템 문제가 있는 곳의 해결사의 역할을 했다. 글로벌에 통하는 한국 소프트웨어 개발에 대한 열정으로 S전자 AWS 이벤트 로그 분석을 통한 이상징후 탐지, R사의 건축물 균열 탐지 등의 머신러닝 프로젝트를 진행했다. 현재는 딥러닝을 이용한 소프트웨어 취약점 탐지 자동화 연구와 머신러닝과 딥러닝강의를 진행하고 있으며, 비즈니스화에도 노력을 기울이고 있다. 최근 저서로 '머신러닝 배웠으니 활용해볼까요?'가 있다.