[인공지능 만화] 7. 인공지능은 어떻게 학습을 할까? — 델타룰과 백프로퍼게이션

군대에 가면

좋든 싫든

누구든 사격을 하게 됩니다.

아무리 잘 쏘는 명사수라도

반드시 해야만 하는 것이 영점조정입니다.

영점조정은 아래와 같이 합니다.

먼저 세 발을 표적지에 쏩니다.

그 탄착군을 조정해서 영점(기준점)을 맞춘 후에 사격을 하게 됩니다.

상하조정은 가늠자상하조절나사로

좌우조정은 가늠자돌림쇠로 조정합니다.

신경망에서의 델타룰이

바로 그 영점조정에 해당합니다.

이 델타룰은 ADALINE 모델에서 등장했습니다.

ADALINE 모델은 델타룰 개념을 추가하여

퍼셉트론 알고리즘을 향상시킨 모델입니다.

그런데 이런 델타룰은

여러 층의 퍼셉트론 환경에서는

적용하기가 어려웠습니다.

일찌기 마빈 민스키가

계산이 복잡할 뿐더러 적용하기도 어려워

다층 퍼셉트론에서의 학습은 사실상 불가능하다고 했습니다.

그렇게 해서 1960년대 인공지능의 역사는

차가운 겨울 뒤로 사라지는 듯 하게 되었다고 전에 말씀드렸습니다.

세상은 늘 발전하는 법.

그 겨울동안 몇몇 파이오니어에 의해

봄이 준비되고 있었습니다.

1969년 제어계측학에서

위치 호 Yu-Chi Ho 와 브라이손 Arthur E. Bryson 에 의해

백프로퍼게이션 Back-propagation 알고리즘이 세상에 나옵니다.

1974년 하버드대 폴 워보스 Paul Werbos 는

다층 퍼셉트론 환경에서

학습을 가능하게 해주는 백프로퍼게이션 알고리즘으로

박사학위 논문을 썼습니다.

그러나 당시 신경망에 냉랭했던 분위기에서

매장 당할까봐 발표하지 못했고

그러다 8년 후인 1982년에 와서야

위 논문을 저널에 발표하게 됩니다.

그리고 2년 뒤인 1984년프랑스에서 신경망 연구로 박사논문 준비중이던 얀 레쿤 Yann LeCun 이

이 논문을 발견하여 다시 세상에 나왔고,

1986년 캘리포니아대 데이빗 럼멜하트 David Rumelhart 와

제프리 힌튼 Geoffrey Everest Hinton 에 의해

백프로퍼게이션이 다시 발견되어 세상에 널리 알려지면서

신경망은 부활하게 됩니다.

이후 이야기.

1989년 제프리 힌튼 교수 밑에서 박사 후 과정을 하고 있던

얀 레쿤이 CNN에 백프로퍼게이션 알고리즘을 적용했고,

미국 우편번호 자동인식에 CNN을 적용하여 딥러닝 발전에 획기적인 전환점을 이뤄냈습니다.4

 

---

적송 권건우

http://blog.naver.com/redpine71 

적송 숲에서 한가로이 거닐다 : 네이버 블로그

 

공무원을 꿈꾸며 대학에 들어갔으나 동서양문화에 심취하여 수많은 사부님들을 찾아다녔고 기나긴 갈구끝에 서울 인사동과 중국 하남성 황토벌판 그리고 실리콘밸리에서 스승을 만났다. 지금은 산에서 내려와 많은 친구들과 동서문명을 융합시키는 새로운 도전의 여정에 있다.

前 삼성SDS technical architect

現 위데이터랩 대표이사

現 디랩아카데미 원장

現 성균관대, 한양대 겸임교수

現 세계진소왕태극권총회 서울분회장

#야만인 #동서양문화연구 #위데이터랩 #서예 #진소왕태극권

 

루나 허령

https://brunch.co.kr/@hvnpoet 

루나의 브런치

 

컴퓨터과학과 소프트웨어공학을 전공하고, 지금은 금융회사의 상품과 서비스를 분석, 설계, 구현하는 일을 하고 있다. 대학 초년생 시절 마인드맵을 접한 이후 즐겁게 생각하는 방법을 깨달았고, 소프트웨어공학의 모델링 사상을 이해하고부터는 마인드맵과 모델링을 아우르는 마인드맵모델링을 연구 중이다. 세상에 대한 공학적인 접근 이외에도 마음공부와 서예, 태극권 등으로 자신과 세상의 경계를 넘어 진리를 탐구하고 있다.

#야만인 #마음공부 #마인드맵 #모델링 #서예 #진소왕태극권 #천상병

 

야사와 만화로 배우는 인사이트::태극권(예정)

http://bit.ly/wctaseoul 

World ChenXiaoWang Taijiquan Association Seoul