본문 바로가기

인공지능

[인공지능 만화] 16. 역사상 최고의 천재, 존 폰 노이만 스위스 취리히 공대 졸업 프린스턴 고등연구소 재직 맨하튼 프로젝트 참여 20세기 최고의 천재 누구일까요? 게임이론을 최초로 제안 브리태니커 백과사전을 통째로 암기 8세때 미적분 마스터 순서도와 몬테카를로법 최초로 사용 마지막 힌트 현대 컴퓨터의 구조를 제안 이 분만큼 천재성을 드러낸 일화를 많이 남긴 사람이 없습니다. 바로 헝가리 출신의 유태인으로 20세기 최고의 천재로 불리는 존 폰 노이만 John Von Neumann입니다. 존 폰 노이만의 천재성은 어려서부터 나타났는데 6세때 8자리 나눗셈을 암산 8세때 미적분 마스터 12세때 함수를 독파 또한 23세에 수학 박사학위 취득 29세때 미국 프린스턴 고등연구소 창립멤버 존 폰 노이만은 1930년대 나치의 유태인 탄압으로 미국으로 건너가 프린스턴 고등연구.. 더보기
[인공지능 만화] 15. 딥러닝 압도적 무공을 보여주,다 알렉스넷 과거 대륙들이 연결되어 있었고, 지금도 계속 움직이고 있다는 주장을 한 알프레트 베게너 Alfred Lothar Wegener는 세상의 웃음꺼리였습니다. 2019년 제프리 힌튼 Geoffrey Everest Hinton은 2018 튜링상 수상 연설에서 그 동안의 연구를 회상합니다. 때는 2000녀대 후반 제프리 힌튼 교수팀의 알렉스 크리체프스키 Alex Krizhevsky는 딥러닝이 현실적인 문제도 잘 해결할 수 있다는 것을 증명하기 위해 다양한 노력을 시작합니다. 그들은 먼저 2009년도에 딥러닝으로 이미지 분류 연구를 위해 CIFAR 데이터셋을 만듭니다. 2011년 딥러닝으로 CIFAR 데이터셋 이미지를 훌륭하게 인식해나가고 있을 즈음, 같은 연구실 일리야 수츠케버 Ilya Sutskever가 이미지.. 더보기
[인공지능 만화] 14. 학습 못지 않게 타고난 바도 중요하다. 딥러닝 초기화 좋은 환경에서 교육을 받으면 더 좋은 사람으로 성장할 수 있습니다. 하지만 똑같은 교육과 경험이더라도 태어날 때 어떤 유전자를 타고 태어났느냐에 따라 크게 달라지기도 합니다. 예를들면 방탄소년단 BTS 처럼요. 우리는 아미 유전자를 타고 태어났어요! 딥러닝에서도 마찬가지입니다. 1986년 데이빗 럼멜하트 David E. Rumelhart와 제프리 힌튼 Geoffrey Everest Hinton이 백프로퍼게이션 backpropagation 알고리즘을 개발하여 다층신경망 Multi Layer Neural Networks의 학습문제를 해결했지만 신경망이 깊어질수록 학습이 힘들어지는 Vanishing Gradient 문제가 발생하여 두 번째 신경망의 겨울로 들어갑니다. 지금까지는 어떻게 주어진 초기값에 경사하강.. 더보기
[인공지능 만화] 13. '딥러닝'을 만들어낸 요슈아 벤지오 요슈아 벤지오 Yoshua Bengio 1964년 프랑스 파리 출생 1991년 맥길 McGill 대학교 컴퓨터공학 박사학위 1992년 MIT에서 박사후연구원 1993년 몬트리올대학교 교수 2018년 논문 인용 최고 2018년 튜링상 공동수상(제프리 힌튼 Geoffrey Everest Hinton, 요슈아 벤지오 Yoshua Bengio, 얀 레쿤 Yann LeCun) 1990년대 중반부터 신경망은 성과가 없어 전망이 우울해진 관계로 제자들이 계속 연구하도록 설득하기 어려워집니다. 1990년대 후반부터 2000년대 초반까지 신경망은 소위 트렌드가 아니었습니다.(지금은 완전 트렌드인 시대죠) 그러나 요슈아 벤지오는 1985년 석사과정에서 읽은 제프리 힌튼 교수의 논문을 보고 신경망에 엄청난 잠재력이 있음을 .. 더보기
[인공지능 만화] 12. 딥러닝에 시간을 더하다 유르겐 슈미트후버(1) 이번에 소개드릴 분은 스위스 인공지능 연구소 IDSIA 과학이사 USI 인공지능 교수 2009년부터 유럽 과학아카데미 회원 333개 동료심사논문 7번의 최고논문상 2013년 국제신경망협회 Helmholtz Award 수상 이런 것보다 우리에게 더 친숙한 것은 딥러닝에 시간 개념을 더한 RNN(Recurrent Neural Network )의 창시자 유르겐 슈미트후버 Jurgen Schmidhuber 교수입니다. 어릴 때부터 공상과학 소설을 많이 읽었고, 15세 때부터는 스스로 학습하는 최적의 인공과학자를 만드는 것이 꿈이었다고 합니다. 1987년부터 자가개선을 통한 범용문제풀기(Self-improving General Problem Solvers), 1991년부터 신경망 딥러닝(Deep Learning .. 더보기
[인공지능 만화] 11. 신경망의 긴 겨울을 실질적으로 끝낸 데이빗 럼멜하트 이번 이야기의 주인공은 인간 인지분야의 형식적 분석에 큰 공헌을 한 데이빗 럼멜하트 David E. Rumelhart 박사입니다. 데이빗 럼멜하트는 1942년 미국 출생으로 1963년 심리학과 수학 전공으로 학사, 1967년 수리 철학으로 박사 후 캘리포니아 대학과 스탠포드 대학 교수를 역임했습니다. 그는 많은 범위의 인간 인지모델을 개발했는데 예를 들면 운동제어, 스토리 이해, 시각문자인식, 은유와 유추 등에 관한 것이었습니다. 여기서 잠깐! 인지과학에 대해서 알아볼까요? 인지과학이란 느끼고, 생각하고, 표현하는 사람 두뇌의 정신활동과 같은 신체기능을 구체적인 공식이나 절차로써 재현해내는 방법을 연구하는 학문입니다. 인지과학은 컴퓨터과학 기반 위에서 나왔고, 그 이면에는 철학, 심리학, 신경과학, 언어.. 더보기
[인공지능 만화] 10. 홉필드 네트워크 톺아보기 1982년 물리학자 존 홉필드 John J. Hopfield 가 제안한 홉필드 네트워크는 신경망의 물리적 모델로서 최적화나 연상기억 등에 사용되는 모델입니다. 홉필드 네트워크는 모든 뉴런이 양방향으로 연결된 신경회로망의 동작모델로서 이진 입력(0, 1)을 받아 양(+)과 음(-)의 에너지 상태를 출력합니다. 이 모델은 다음과 같은 알고리즘으로 구성됩니다. (1) 학습패턴에 양극화 연산 적용 (2) 학습패턴에 대한 가중치 행렬 계산 (3) 계산된 가중치 행렬 저장 (4) 입력패턴에 대한 학습패턴을 연상 사례를 들어보겠습니다. 먼저 학습패턴이 주어집니다. 이 학습패턴은 이미 이전의 학습으로 주어진 패턴입니다. 홉필드 네트워크 알고리즘의 첫번째 단계는 기존의 학습패턴을 양극화(특징을 증폭)하는 것입니다. 이것.. 더보기
[인공지능 만화] 9. 인공지능의 봄을 알리다 홉필드 이번 이야기의 주인공은 존 홉필드 John J. Hopfield 박사입니다. 캠브리지 카벤디시 연구소에서 구겐하임 펠로우십(1968~69) 당시 그는 고체와 빛의 상호작용에 대한 선도적인 물리학자로 1969년에 올리버 버클리 상을 수상합니다. 미국으로 돌아온 이후 홉필드는 물리학과 생물학의 교차부문으로 자신의 연구분야를 완전히 바꿉니다. 양적 중심의 생물학 실험에 그의 수학에 기초한 이론은 기존 생물학 분야에 큰 바람을 일으킵니다. 캘리포니아 공대에서 로스코 디킨슨 교수로 임명된 것은 그의 연구 전환이 성공적이었다는 것을 입증합니다. 그가 처음부터 학계에 있던 건 아닙니다. 처음 입사한 곳은 벨 연구소입니다. 6명으로 구성된 이론 물리학 그룹에서 그를 채용했는데 이 때 홉필드는 박사과정 학생이었고, 19.. 더보기
[인공지능 만화] 8. 신경세포의 초기모델 ADALINE 1943년 맥클럭 Warren McCulloch 과 피츠 Walter Pitss 가 뇌세포를 처음으로 모델링합니다. 이후 1958년 프랭클린 로젠블랫 Frank Rosenblatt 이 맥클럭과 피츠의 뇌모델에 도널드 헵 Donald Olding Hebb 의 학습이론에서 힌트를 얻은 weight를 추가함으로써 퍼셉트론을 만들어냅니다 이번 이야기의 주제는 사람이 아닌 모델입니다. 신경세포의 초기 모델로 불리는 아달라인 ADALINE 은 스탠포드 대학의 버나드 위드로 Bernard Widrow 와그 의 제자 테드 호프 Ted Hoff 가1960년에 개발한 모델입니다. 퍼셉트론은 순입력함수의 리턴값을 임계값을 기준으로 1과 -1로 분류합니다. 아달라인은 순입력함수의 리턴값과 실제 결과값의 오차가 최소화되도록 가.. 더보기
[인공지능 만화] 7. 인공지능은 어떻게 학습을 할까? — 델타룰과 백프로퍼게이션 군대에 가면 좋든 싫든 누구든 사격을 하게 됩니다. 아무리 잘 쏘는 명사수라도 반드시 해야만 하는 것이 영점조정입니다. 영점조정은 아래와 같이 합니다. 먼저 세 발을 표적지에 쏩니다. 그 탄착군을 조정해서 영점(기준점)을 맞춘 후에 사격을 하게 됩니다. 상하조정은 가늠자상하조절나사로 좌우조정은 가늠자돌림쇠로 조정합니다. 신경망에서의 델타룰이 바로 그 영점조정에 해당합니다. 이 델타룰은 ADALINE 모델에서 등장했습니다. ADALINE 모델은 델타룰 개념을 추가하여 퍼셉트론 알고리즘을 향상시킨 모델입니다. 그런데 이런 델타룰은 여러 층의 퍼셉트론 환경에서는 적용하기가 어려웠습니다. 일찌기 마빈 민스키가 계산이 복잡할 뿐더러 적용하기도 어려워 다층 퍼셉트론에서의 학습은 사실상 불가능하다고 했습니다. 그렇게.. 더보기

티스토리툴바