본문 바로가기

데이터분석

[인공지능 만화] 13. '딥러닝'을 만들어낸 요슈아 벤지오 요슈아 벤지오 Yoshua Bengio 1964년 프랑스 파리 출생 1991년 맥길 McGill 대학교 컴퓨터공학 박사학위 1992년 MIT에서 박사후연구원 1993년 몬트리올대학교 교수 2018년 논문 인용 최고 2018년 튜링상 공동수상(제프리 힌튼 Geoffrey Everest Hinton, 요슈아 벤지오 Yoshua Bengio, 얀 레쿤 Yann LeCun) 1990년대 중반부터 신경망은 성과가 없어 전망이 우울해진 관계로 제자들이 계속 연구하도록 설득하기 어려워집니다. 1990년대 후반부터 2000년대 초반까지 신경망은 소위 트렌드가 아니었습니다.(지금은 완전 트렌드인 시대죠) 그러나 요슈아 벤지오는 1985년 석사과정에서 읽은 제프리 힌튼 교수의 논문을 보고 신경망에 엄청난 잠재력이 있음을 .. 더보기
[인공지능 만화] 12. 딥러닝에 시간을 더하다 유르겐 슈미트후버(1) 이번에 소개드릴 분은 스위스 인공지능 연구소 IDSIA 과학이사 USI 인공지능 교수 2009년부터 유럽 과학아카데미 회원 333개 동료심사논문 7번의 최고논문상 2013년 국제신경망협회 Helmholtz Award 수상 이런 것보다 우리에게 더 친숙한 것은 딥러닝에 시간 개념을 더한 RNN(Recurrent Neural Network )의 창시자 유르겐 슈미트후버 Jurgen Schmidhuber 교수입니다. 어릴 때부터 공상과학 소설을 많이 읽었고, 15세 때부터는 스스로 학습하는 최적의 인공과학자를 만드는 것이 꿈이었다고 합니다. 1987년부터 자가개선을 통한 범용문제풀기(Self-improving General Problem Solvers), 1991년부터 신경망 딥러닝(Deep Learning .. 더보기
[인공지능 만화] 11. 신경망의 긴 겨울을 실질적으로 끝낸 데이빗 럼멜하트 이번 이야기의 주인공은 인간 인지분야의 형식적 분석에 큰 공헌을 한 데이빗 럼멜하트 David E. Rumelhart 박사입니다. 데이빗 럼멜하트는 1942년 미국 출생으로 1963년 심리학과 수학 전공으로 학사, 1967년 수리 철학으로 박사 후 캘리포니아 대학과 스탠포드 대학 교수를 역임했습니다. 그는 많은 범위의 인간 인지모델을 개발했는데 예를 들면 운동제어, 스토리 이해, 시각문자인식, 은유와 유추 등에 관한 것이었습니다. 여기서 잠깐! 인지과학에 대해서 알아볼까요? 인지과학이란 느끼고, 생각하고, 표현하는 사람 두뇌의 정신활동과 같은 신체기능을 구체적인 공식이나 절차로써 재현해내는 방법을 연구하는 학문입니다. 인지과학은 컴퓨터과학 기반 위에서 나왔고, 그 이면에는 철학, 심리학, 신경과학, 언어.. 더보기
[인공지능 만화] 10. 홉필드 네트워크 톺아보기 1982년 물리학자 존 홉필드 John J. Hopfield 가 제안한 홉필드 네트워크는 신경망의 물리적 모델로서 최적화나 연상기억 등에 사용되는 모델입니다. 홉필드 네트워크는 모든 뉴런이 양방향으로 연결된 신경회로망의 동작모델로서 이진 입력(0, 1)을 받아 양(+)과 음(-)의 에너지 상태를 출력합니다. 이 모델은 다음과 같은 알고리즘으로 구성됩니다. (1) 학습패턴에 양극화 연산 적용 (2) 학습패턴에 대한 가중치 행렬 계산 (3) 계산된 가중치 행렬 저장 (4) 입력패턴에 대한 학습패턴을 연상 사례를 들어보겠습니다. 먼저 학습패턴이 주어집니다. 이 학습패턴은 이미 이전의 학습으로 주어진 패턴입니다. 홉필드 네트워크 알고리즘의 첫번째 단계는 기존의 학습패턴을 양극화(특징을 증폭)하는 것입니다. 이것.. 더보기
[인공지능 만화] 8. 신경세포의 초기모델 ADALINE 1943년 맥클럭 Warren McCulloch 과 피츠 Walter Pitss 가 뇌세포를 처음으로 모델링합니다. 이후 1958년 프랭클린 로젠블랫 Frank Rosenblatt 이 맥클럭과 피츠의 뇌모델에 도널드 헵 Donald Olding Hebb 의 학습이론에서 힌트를 얻은 weight를 추가함으로써 퍼셉트론을 만들어냅니다 이번 이야기의 주제는 사람이 아닌 모델입니다. 신경세포의 초기 모델로 불리는 아달라인 ADALINE 은 스탠포드 대학의 버나드 위드로 Bernard Widrow 와그 의 제자 테드 호프 Ted Hoff 가1960년에 개발한 모델입니다. 퍼셉트론은 순입력함수의 리턴값을 임계값을 기준으로 1과 -1로 분류합니다. 아달라인은 순입력함수의 리턴값과 실제 결과값의 오차가 최소화되도록 가.. 더보기
[인공지능 만화] 7. 인공지능은 어떻게 학습을 할까? — 델타룰과 백프로퍼게이션 군대에 가면 좋든 싫든 누구든 사격을 하게 됩니다. 아무리 잘 쏘는 명사수라도 반드시 해야만 하는 것이 영점조정입니다. 영점조정은 아래와 같이 합니다. 먼저 세 발을 표적지에 쏩니다. 그 탄착군을 조정해서 영점(기준점)을 맞춘 후에 사격을 하게 됩니다. 상하조정은 가늠자상하조절나사로 좌우조정은 가늠자돌림쇠로 조정합니다. 신경망에서의 델타룰이 바로 그 영점조정에 해당합니다. 이 델타룰은 ADALINE 모델에서 등장했습니다. ADALINE 모델은 델타룰 개념을 추가하여 퍼셉트론 알고리즘을 향상시킨 모델입니다. 그런데 이런 델타룰은 여러 층의 퍼셉트론 환경에서는 적용하기가 어려웠습니다. 일찌기 마빈 민스키가 계산이 복잡할 뿐더러 적용하기도 어려워 다층 퍼셉트론에서의 학습은 사실상 불가능하다고 했습니다. 그렇게.. 더보기
[인공지능 만화] 6. 기나긴 인공지능의 겨울시기, 봄을 준비하다 핀란드에는 우리가 아는 IT 천재들이 많습니다. MySQL 만든 몬티 와이드니어스 Michael Monty WideniusInno DB 만든 헤이키 튜리 Heikki Tuuri Linux 만든 리누스 토발즈 Linus Benedict Torbalds 그런데 여기 원조 천재가 있습니다. 2008년 IEEE 프랭크 로젠블랫상을 받은 테우보 코호넨 Teuvo Kohonen 교수입니다. 이전 이야기로 돌아가 보면 사이버네틱스로부터 시작했던 인공지능의 연구가 존 매카시 John McCathy 와 마빈 민스키 Marvin Lee Minsky 의 기호주의로 꽃을 피우다 연결주의 프랭크 로젠블랫 Frank Rosenblatt 의 퍼셉트론 연구로 인공지능 역사에 신경망의 획이 그어집니다. 이어 마빈 민스키의 퍼셉트론 한.. 더보기
[인공지능 만화] 5. 딥러닝의 실질적 효시 쿠니히코 후쿠시마 효시 嚆矢 소리나는 화살 옛날 활로 전쟁하던 시절 공격을 시작하는 신호로 쓰이던 도구 이렇게 쓰이는 용도입니다. 일본 전자산업이 세계를 주름잡던 시절 1966년 교토대학에서 전자공학으로 박사학위를 받은 쿠니히코 후쿠시마 Kunihiko Fukushima 박사 1970년대 NHK 연구소에 근무하면서 신경망 연구에 몰입합니다. 사실 후쿠시마 박사는 1965년부터 두뇌에 관심을 갖고 모델링에 뛰어 들었습니다. 특히 허블 David Hunter Hubel과 비셀 Torsten Nils Wiesel의 고양이 시각연구에 영향을 많이 받아 시각시스템 Visual System에 몰입하게 됩니다. 손에 잡힐 듯 신경망 연구가 깊어지는데 손글씨를 인식하는데 난관이 있음을 깨닫습니다. 후쿠시마 박사는 S-cell과 C-ce.. 더보기
[인공지능 만화] 4. 꺼져가는 인공지능을 되살린 제프리 힌튼 로젠블랫 Frank Rosenblatt의 단순 퍼셉트론으로는 XOR 문제를 해결할 수 없다는 증명으로 많은 연구 후원자들이 떠났습니다. 죽어가던 신경망 연구를 살리고 지급의 딥러닝을 탄생시킨 제프리 힌튼 Geoffrey Everest Hinton을 소개합니다. 힌튼은 우리가 잘 아는 부울대수를 창시한 조지 부울 George Boole의 후손이기도 합니다. 힌튼은 고교시절 친구가 쥐의 뇌연구가 재미있다는 말에 자신도 뇌연구에 흥미를 가집니다. 대학에서 생리학과 물리학을 전공하고, 대학원에서 철학과 심리학을 전공한 그는 크리스토퍼 롱게히긴스 Christopher Longuet-Higgins 교수 아래서 인공신경망으로 박사가 됩니다. 그러나 영국에서는 더이상 신경망 연구를 할 수 없다 판단하고 미국으로 건너갑.. 더보기
[인공지능 만화] 3. 뇌의 비밀을 밝혀내다 1960년대 쿠플러 박사의 연구실에서는 뇌의 시각정보화 처리의 원리를 연구했습니다. 망막의 여러 성분이 각기 다른 대뇌피질을 자극하고 뇌는 그 신호를 분석하여 구체적 시각이미지를 생성해낸다는 연구였습니다. 즉, 여러 성분들을 조합하여 이미지를 생성한다는 것이었습니다. 이 뇌의 시각정보화 처리 연구로 허블 David Hunter Hubel과 위즐 Torsen Nils Wiesel은 1981년에 노벨 생리의학상을 수상하게 됩니다. 이 연구는 1979년 Kunihiko Fukusima에 영향을 주어 네오코그니트론 Neocognitron을 만들게 됩니다. 네오코그니트론은 사람의 손글씨의 다양한 형태의 특징을 추출하고 재조합하여 인식하는 능력을 보여줌으로써 세상을 깜짝 놀라게 했습니다. 적송 권건우 redpine.. 더보기

티스토리툴바