과거 대륙들이 연결되어 있었고, 지금도 계속 움직이고 있다는 주장을 한
알프레트 베게너 Alfred Lothar Wegener는 세상의 웃음꺼리였습니다.
2019년 제프리 힌튼 Geoffrey Everest Hinton은
2018 튜링상 수상 연설에서 그 동안의 연구를 회상합니다.
때는 2000녀대 후반
제프리 힌튼 교수팀의 알렉스 크리체프스키 Alex Krizhevsky는
딥러닝이 현실적인 문제도 잘 해결할 수 있다는 것을 증명하기 위해 다양한 노력을 시작합니다.
그들은 먼저 2009년도에 딥러닝으로 이미지 분류 연구를 위해 CIFAR 데이터셋을 만듭니다.
2011년 딥러닝으로 CIFAR 데이터셋 이미지를 훌륭하게 인식해나가고 있을 즈음,
같은 연구실 일리야 수츠케버 Ilya Sutskever가 이미지넷 대회에 참가할 것을 제안합니다.
당시 ILSVRC(ImageNet Large Scale Visual Recognition Challenge)는 비전 분야의 올림픽이라고 불렸는데
이미지 인식 오류가 1%라도 낮으면 우승 트로피를 주는 대회였습니다.
2010년부터 시작하여 이듬해인 2011년에는 제록스 연구소의 SVM 머신러닝 기법이 우승합니다.
이 때 오류율은 25.7%였습니다.
(그림출처)
http://image-net.org/challenges/LSVRC/2011/ilsvrc11.pdf
알렉스와 일리야는 이미지넷 대회에 출전하기로 마음먹고 연구를 시작합니다.
제한된 시간에 성능을 내기 위해 자신들의 모델에 GPU 기능을 추가합니다.
그럼에도불구하고 방해하는 문제가 있었으니 바로 오버피팅 문제였습니다.
특히 딥러닝에서는 신경망인지라 이 부분을 어떻게 해결해야 할 지 막막했습니다.
이 고질적인 오버피팅 문제를 해결한 사람은 연구실 후배인 니티시 스리바스타바 Nitish Srivastava였습니다.
그것은 모든 노드를 계산하지 않고,
랜덤하게 일부 노드의 계산값을 버리고 계산하자는
드랍아웃 dropout 아이디어였습니다.
이후 이 아이디어는 네 사람의 특허로 등록되고,
니티시의 석사논문으로 발표됩니다.
GPU와 드랍아웃에 이어 요슈아 벤지오 연구실에서 만든 ReLu(Rectified Linear Unit)로 바꿔보니 훨씬 향상됩니다.
드디어 2012년 ILSVRC 대회에 출전한 알렉스는 자신도 놀란 경이적인 기록으로 우승합니다.
이것으로 더 이상 딥러닝이 연구실에 머물지 않고, 인류의 역사를 바꿀 준비가 되었음을 세상에 알리게 됩니다.
이 대회 우승을 계기로 힌튼과 알렉스, 일리야는 자신들의 딥러닝 기술로 세상을 바꿀 비즈니스를 하기 위해
2012년 DNNResearch라는 스타트업을 창업했고,
1년 후 이들을 데려가기 위해 구글은 이 회사를 인수하게 됩니다.
(출처)
https://en.wikipedia.org/wiki/Alfred_Wegener
Alfred Wegener - Wikipedia
German polar researcher, geophysicist and meteorologist Alfred Lothar Wegener (;[1] German: [ˈʔalfʁeːt ˈveːɡənɐ];[2][3] 1 November 1880 – November 1930) was a German polar researcher, geophysicist and meteorologist. During his lifetime he was p
en.wikipedia.org
https://awards.acm.org/about/2018-turing
2018 ACM A.M. Turing Award Laureates
document on 2018 turing award
awards.acm.org
https://qz.com/1307091/the-inside-story-of-how-ai-got-good-enough-to-dominate-silicon-valley/
The inside story of how AI got good enough to dominate Silicon Valley
You might not know Alex Khrizhevsky's name, but he changed the world of AI forever.
qz.com
https://www.cs.toronto.edu/~kriz/cifar.html
CIFAR-10 and CIFAR-100 datasets
< Back to Alex Krizhevsky's home page The CIFAR-10 and CIFAR-100 are labeled subsets of the 80 million tiny images dataset. They were collected by Alex Krizhevsky, Vinod Nair, and Geoffrey Hinton. The CIFAR-10 dataset The CIFAR-10 dataset consists of 60000
www.cs.toronto.edu
http://image-net.org/challenges/LSVRC/2011
ImageNet
Introduction Data Task Development kit Timetable Features --> Submission Citationnew Organizers Contact Signup Testing --> Publication policy --> Citation --> Database rights --> News September 2, 2014: A new paper whic
image-net.org
http://image-net.org/challenges/LSVRC/2012/
ImageNet
Introduction Data --> Task Development kit --> Timetable Features --> Submission --> Citationnew Organizers Contact Workshop Download Evaluation Server Testing --> Publication policy --> Citation --> Database rights
image-net.org
http://people.idsia.ch/~juergen/computer-vision-contests-won-by-gpu-cnns.html
https://en.wikipedia.org/wiki/Ilya_Sutskever
Ilya Sutskever - Wikipedia
Ilya Sutskever is a computer scientist working in machine learning and currently serving as the Chief scientist of OpenAI.[1] He has made several major contributions to the field of deep learning. He is the co-inventor, with Alexander Krizhevsky and Geoffr
en.wikipedia.org
http://www.cs.toronto.edu/~nitish/
Nitish Srivastava
Nitish Srivastava PhD student Machine Learning Group Department of Computer Science University of Toronto About Me I was a PhD student in the Machine Learning Group working with Geoffrey Hinton and Ruslan Salakhutdinov. I obtained my Bachelor's in Computer
www.cs.toronto.edu
https://patents.google.com/patent/US9406017B2/en
US9406017B2 - System and method for addressing overfitting in a neural network - Google Patents
training a neural network having a plurality of layers on the plurality of training cases, each of the layers including one or more feature detectors, each of the feature detectors having a corresponding set of weights, and a subset of the feature detector
patents.google.com
적송 권건우 redpine71@wedatalab.com
http://blog.naver.com/redpine71
적송 숲에서 한가로이 거닐다 : 네이버 블로그
동서문명 탐구의 기난긴 여정
blog.naver.com
공무원을 꿈꾸며 대학에 들어갔으나 동서양문화에 심취하여 수많은 사부님들을 찾아다녔고 기나긴 갈구끝에 서울 인사동과 중국 하남성 황토벌판 그리고 실리콘밸리에서 스승을 만났다. 지금은 산에서 내려와 많은 친구들과 동서문명을 융합시키는 새로운 도전의 여정에 있다.
前 삼성SDS technical architect
現 위데이터랩 대표이사
現 디랩아카데미 원장
現 성균관대, 한양대 겸임교수
現 세계진소왕태극권총회 서울분회장
#야만인 #동서양문화연구 #위데이터랩 #서예 #진소왕태극권
루나 허령
루나의 브런치
야만인이야기 만화가 | 마음공부하는 천상시인 루나의 브런치입니다. #마음공부 #모델링 #마인드맵 #서예 #진소왕태극권 #천상병 #서울데이터과학연구회 #물질이개벽되니정신을개벽하자 #곳곳
brunch.co.kr
컴퓨터과학과 소프트웨어공학을 전공하고, 지금은 금융회사의 상품과 서비스를 분석, 설계, 구현하는 일을 하고 있다. 대학 초년생 시절 마인드맵을 접한 이후 즐겁게 생각하는 방법을 깨달았고, 소프트웨어공학의 모델링 사상을 이해하고부터는 마인드맵과 모델링을 아우르는 마인드맵모델링을 연구 중이다. 세상에 대한 공학적인 접근 이외에도 마음공부와 서예, 태극권 등으로 자신과 세상의 경계를 넘어 진리를 탐구하고 있다.
#야만인 #마음공부 #마인드맵 #모델링 #서예 #진소왕태극권 #천상병
'위데이터랩 도서 > 야사와 만화로 배우는 인공지능' 카테고리의 다른 글
| [인공지능 만화] 17. 인공지능의 창사자 앨런 튜링 (0) | 2021.06.14 |
|---|---|
| [인공지능 만화] 16. 역사상 최고의 천재, 존 폰 노이만 (0) | 2021.06.14 |
| [인공지능 만화] 14. 학습 못지 않게 타고난 바도 중요하다. 딥러닝 초기화 (0) | 2021.06.14 |
| [인공지능 만화] 13. '딥러닝'을 만들어낸 요슈아 벤지오 (0) | 2021.06.14 |
| [인공지능 만화] 12. 딥러닝에 시간을 더하다 유르겐 슈미트후버(1) (0) | 2021.06.14 |
