콘텐츠 썸네일형 리스트형 [인공지능 만화] 10. 홉필드 네트워크 톺아보기 1982년 물리학자 존 홉필드 John J. Hopfield 가 제안한 홉필드 네트워크는 신경망의 물리적 모델로서 최적화나 연상기억 등에 사용되는 모델입니다. 홉필드 네트워크는 모든 뉴런이 양방향으로 연결된 신경회로망의 동작모델로서 이진 입력(0, 1)을 받아 양(+)과 음(-)의 에너지 상태를 출력합니다. 이 모델은 다음과 같은 알고리즘으로 구성됩니다. (1) 학습패턴에 양극화 연산 적용 (2) 학습패턴에 대한 가중치 행렬 계산 (3) 계산된 가중치 행렬 저장 (4) 입력패턴에 대한 학습패턴을 연상 사례를 들어보겠습니다. 먼저 학습패턴이 주어집니다. 이 학습패턴은 이미 이전의 학습으로 주어진 패턴입니다. 홉필드 네트워크 알고리즘의 첫번째 단계는 기존의 학습패턴을 양극화(특징을 증폭)하는 것입니다. 이것.. 더보기 [인공지능 만화] 9. 인공지능의 봄을 알리다 홉필드 이번 이야기의 주인공은 존 홉필드 John J. Hopfield 박사입니다. 캠브리지 카벤디시 연구소에서 구겐하임 펠로우십(1968~69) 당시 그는 고체와 빛의 상호작용에 대한 선도적인 물리학자로 1969년에 올리버 버클리 상을 수상합니다. 미국으로 돌아온 이후 홉필드는 물리학과 생물학의 교차부문으로 자신의 연구분야를 완전히 바꿉니다. 양적 중심의 생물학 실험에 그의 수학에 기초한 이론은 기존 생물학 분야에 큰 바람을 일으킵니다. 캘리포니아 공대에서 로스코 디킨슨 교수로 임명된 것은 그의 연구 전환이 성공적이었다는 것을 입증합니다. 그가 처음부터 학계에 있던 건 아닙니다. 처음 입사한 곳은 벨 연구소입니다. 6명으로 구성된 이론 물리학 그룹에서 그를 채용했는데 이 때 홉필드는 박사과정 학생이었고, 19.. 더보기 [인공지능 만화] 8. 신경세포의 초기모델 ADALINE 1943년 맥클럭 Warren McCulloch 과 피츠 Walter Pitss 가 뇌세포를 처음으로 모델링합니다. 이후 1958년 프랭클린 로젠블랫 Frank Rosenblatt 이 맥클럭과 피츠의 뇌모델에 도널드 헵 Donald Olding Hebb 의 학습이론에서 힌트를 얻은 weight를 추가함으로써 퍼셉트론을 만들어냅니다 이번 이야기의 주제는 사람이 아닌 모델입니다. 신경세포의 초기 모델로 불리는 아달라인 ADALINE 은 스탠포드 대학의 버나드 위드로 Bernard Widrow 와그 의 제자 테드 호프 Ted Hoff 가1960년에 개발한 모델입니다. 퍼셉트론은 순입력함수의 리턴값을 임계값을 기준으로 1과 -1로 분류합니다. 아달라인은 순입력함수의 리턴값과 실제 결과값의 오차가 최소화되도록 가.. 더보기 [인공지능 만화] 7. 인공지능은 어떻게 학습을 할까? — 델타룰과 백프로퍼게이션 군대에 가면 좋든 싫든 누구든 사격을 하게 됩니다. 아무리 잘 쏘는 명사수라도 반드시 해야만 하는 것이 영점조정입니다. 영점조정은 아래와 같이 합니다. 먼저 세 발을 표적지에 쏩니다. 그 탄착군을 조정해서 영점(기준점)을 맞춘 후에 사격을 하게 됩니다. 상하조정은 가늠자상하조절나사로 좌우조정은 가늠자돌림쇠로 조정합니다. 신경망에서의 델타룰이 바로 그 영점조정에 해당합니다. 이 델타룰은 ADALINE 모델에서 등장했습니다. ADALINE 모델은 델타룰 개념을 추가하여 퍼셉트론 알고리즘을 향상시킨 모델입니다. 그런데 이런 델타룰은 여러 층의 퍼셉트론 환경에서는 적용하기가 어려웠습니다. 일찌기 마빈 민스키가 계산이 복잡할 뿐더러 적용하기도 어려워 다층 퍼셉트론에서의 학습은 사실상 불가능하다고 했습니다. 그렇게.. 더보기 [인공지능 만화] 6. 기나긴 인공지능의 겨울시기, 봄을 준비하다 핀란드에는 우리가 아는 IT 천재들이 많습니다. MySQL 만든 몬티 와이드니어스 Michael Monty WideniusInno DB 만든 헤이키 튜리 Heikki Tuuri Linux 만든 리누스 토발즈 Linus Benedict Torbalds 그런데 여기 원조 천재가 있습니다. 2008년 IEEE 프랭크 로젠블랫상을 받은 테우보 코호넨 Teuvo Kohonen 교수입니다. 이전 이야기로 돌아가 보면 사이버네틱스로부터 시작했던 인공지능의 연구가 존 매카시 John McCathy 와 마빈 민스키 Marvin Lee Minsky 의 기호주의로 꽃을 피우다 연결주의 프랭크 로젠블랫 Frank Rosenblatt 의 퍼셉트론 연구로 인공지능 역사에 신경망의 획이 그어집니다. 이어 마빈 민스키의 퍼셉트론 한.. 더보기 [인공지능 만화] 5. 딥러닝의 실질적 효시 쿠니히코 후쿠시마 효시 嚆矢 소리나는 화살 옛날 활로 전쟁하던 시절 공격을 시작하는 신호로 쓰이던 도구 이렇게 쓰이는 용도입니다. 일본 전자산업이 세계를 주름잡던 시절 1966년 교토대학에서 전자공학으로 박사학위를 받은 쿠니히코 후쿠시마 Kunihiko Fukushima 박사 1970년대 NHK 연구소에 근무하면서 신경망 연구에 몰입합니다. 사실 후쿠시마 박사는 1965년부터 두뇌에 관심을 갖고 모델링에 뛰어 들었습니다. 특히 허블 David Hunter Hubel과 비셀 Torsten Nils Wiesel의 고양이 시각연구에 영향을 많이 받아 시각시스템 Visual System에 몰입하게 됩니다. 손에 잡힐 듯 신경망 연구가 깊어지는데 손글씨를 인식하는데 난관이 있음을 깨닫습니다. 후쿠시마 박사는 S-cell과 C-ce.. 더보기 [인공지능 만화] 4. 꺼져가는 인공지능을 되살린 제프리 힌튼 로젠블랫 Frank Rosenblatt의 단순 퍼셉트론으로는 XOR 문제를 해결할 수 없다는 증명으로 많은 연구 후원자들이 떠났습니다. 죽어가던 신경망 연구를 살리고 지급의 딥러닝을 탄생시킨 제프리 힌튼 Geoffrey Everest Hinton을 소개합니다. 힌튼은 우리가 잘 아는 부울대수를 창시한 조지 부울 George Boole의 후손이기도 합니다. 힌튼은 고교시절 친구가 쥐의 뇌연구가 재미있다는 말에 자신도 뇌연구에 흥미를 가집니다. 대학에서 생리학과 물리학을 전공하고, 대학원에서 철학과 심리학을 전공한 그는 크리스토퍼 롱게히긴스 Christopher Longuet-Higgins 교수 아래서 인공신경망으로 박사가 됩니다. 그러나 영국에서는 더이상 신경망 연구를 할 수 없다 판단하고 미국으로 건너갑.. 더보기 [인공지능 만화] 3. 뇌의 비밀을 밝혀내다 1960년대 쿠플러 박사의 연구실에서는 뇌의 시각정보화 처리의 원리를 연구했습니다. 망막의 여러 성분이 각기 다른 대뇌피질을 자극하고 뇌는 그 신호를 분석하여 구체적 시각이미지를 생성해낸다는 연구였습니다. 즉, 여러 성분들을 조합하여 이미지를 생성한다는 것이었습니다. 이 뇌의 시각정보화 처리 연구로 허블 David Hunter Hubel과 위즐 Torsen Nils Wiesel은 1981년에 노벨 생리의학상을 수상하게 됩니다. 이 연구는 1979년 Kunihiko Fukusima에 영향을 주어 네오코그니트론 Neocognitron을 만들게 됩니다. 네오코그니트론은 사람의 손글씨의 다양한 형태의 특징을 추출하고 재조합하여 인식하는 능력을 보여줌으로써 세상을 깜짝 놀라게 했습니다. 적송 권건우 redpine.. 더보기 [인공지능 만화] 2. 동시대에 태어난 두 명의 천재적 맞수 아사다 마오는 김연아와 동갑내기로 어릴 때부터 서로를 라이벌로 인식하며 주거니 받거니 금메달을 차지해왔습니다. 둘의 이런 라이벌 관계는 팬들에게 많은 재미를 주기도 하였고 본인들에게 동기부여가 되기도 했을 것입니다. 성인무대에서는 김연아가 더 좋은 성적을 거둠으로써 아사다 마오는 상대적으로 덜 조명되는 결과가 나왔습니다. 많은 사람들은 아마도 김연아가 없었다면 아사다 마오가 올림픽에서 금메달을 땄을 거라고 말합니다. 아사다 마오는 김연아와 동시대에 활동함으로써 2인자에 머무를 수밖에 없었습니다. 이런 일은 체육계뿐만 아니라 문화예술계에도 같은 시대에 활동한 천재적 맞수들의 사례는 많이 있습니다. 인공지능 역사에 있어서도 두 명의 천재적인 라이벌이 있었으니 바로 마빈 민스키와 플랭클린 로젠 블랫입니다. 두.. 더보기 [인공지능 만화] 1. 인공지능 탄생의 서막 푸른 하늘을 훨훨 날고자 하는 인류의 꿈을 이루기 위해 사람들은 새를 연구했습니다. 레오나르도 다빈치가 남긴 그림을 보면 그가 새의 날개를 얼마나 철저히 연구했는지 알 수 있습니다. 그리고 마침내 라이트 형제는 키티호크 해변을 날아올랐고 현재는 안데스의 콘돌보다도 훨씬 빠르게 날 수 있게 되었습니다. 그리고 수푸트니크 우주선으로 지구 밖을 여행했고 이제는 태양계 바깥으로 인간이 만든 비행체가 날아가고 있으며 인류는 화성으로 이주할 꿈을 꾸고 있습니다. 인간은 컴퓨터를 발명해서 어마어마한 계산을 할 수 있었지만 그림을 인식한다는 것은 여전히 요원한 일이었습니다. 손글씨 숫자를 인식하는데 있어 사람은 너무나도 당연하게 해내지만 손글씨를 픽셀로 받아들이고 결국에는 매트릭스로 인식하는 컴퓨터는 조금만 기울여쓰거.. 더보기 이전 1 2 3 4 다음
