본문 바로가기

위데이터랩 도서/야사와 만화로 배우는 인공지능

[인공지능 만화] 34. 의사결정트리 알고리즘의 역사, 얼 헌트와 로스 퀸란

데이터과학을 공부하는 분들이라면 적어도 한 번은 들어보셨을 Kaggle.

Kaggle이 2010년 시작되었을 때부터 가장 많이 쓰이는 알고리즘이 Random Forest, XGBoost입니다.

이 알고리즘의 기원에 대해 알아봅니다.

의사결정트리 알고리즘은 매우 직관적입니다.

얼 헌트 Earl (Buz) Hunt 는 인간 및 인공지능 분야의 위대한 개척자 중 한 명입니다.

 

1954년 스탠포드 대학을 마치고 3년동안 미 해병대에서 장교근무하고,

1960년 예일대 심리 및 컴퓨터과학 전공으로 박사학위를 받습니다.

 

얼 헌트는 예일대 박사학위 논문에서

앨런 뉴얼 Allen Newell과 허버트 사이먼 Herbert A. Simon의 이론을

시뮬레이션하여 문제해결에 적용했습니다.

그가 만든 Concept Learning System(CLS)는다음과 같은 처리를 합니다.

1) 모두 C의 요소이면 Positive
2) 모두 C의 요소가 아니면 Negative
3) 그렇지 않으면 부분집합을 만들어 다시 1)부터 수행

의사결정트리는 처음에는 심리학에서 사용되다가 머신러닝에 적용되었습니다.

 

얼 헌트와 그의 팀은 1960년대 의사결정트리로

사람이 새로운 개념을 획득하는 모델을 만들었고,

제자 로스 퀸란 John Ross Quinlan이 그것을 체스 연구에 활용합니다.

이후 로스 퀸란이 발전시켜 의사결정 알고리즘을 만듭니다.(1986)

 

이 알고리즘은 얼 헌트의 Concept Learning에 Heuristic 개념을 더한 것입니다.

이 알고리즘은 처음에는 대단치 않게 시작했는데지금은 머신러닝 분야에서 가장 널리 쓰이고 있습니다.
그 이유로는

1. 이해가 쉽고,
2. 빠르게 배울 수 있고,
3. 미세조정 없이 매우 정확

하기 때문입니다.

(출처)

https://en.wikipedia.org/wiki/Earl_B._Hunt

 

Earl B. Hunt - Wikipedia

Earl B. Hunt (January 8, 1933 – April 12 or 13, 2016) [2][3][4] was an American psychologist specializing in the study of human and artificial intelligence. Within these fields he focused on individual differences in intelligence and the implications of

en.wikipedia.org

https://psych.uw.edu/news/2461

 

News - University of Washington Department of Psychology

In Memory of Professor Earl 'Buz' Hunt (1933-2016), a pioneer in the field of human and artificial intelligence. Earl Busby (Buz) Hunt (January 8, 1933 – April 12, 2016) was one of the great pioneers in the field of human and artificial intelligence. He

psych.uw.edu

https://www.psychologicalscience.org/observer/remembering-earl-b-buz-hunt

 

Remembering Earl B. ‘Buz’ Hunt

Friends and colleagues of an acclaimed intelligence researcher celebrate his wit, charm, and scientific focus on individual differences in cognitive abilities.

www.psychologicalscience.org

https://www.basicbooks.com/titles/pedro-domingos/the-master-algorithm/9780465061921/

 

The Master Algorithm

A thought-provoking and wide-ranging exploration of machine learning and the race to build computer intelligences as flexible as our ownIn the world's top re...

www.basicbooks.com

https://en.wikipedia.org/wiki/Ross_Quinlan

 

Ross Quinlan - Wikipedia

John Ross Quinlan is a computer science researcher in data mining and decision theory. He has contributed extensively to the development of decision tree algorithms, including inventing the canonical C4.5 and ID3 algorithms. He also contributed to early IL

en.wikipedia.org

https://www.rulequest.com/Personal/

 

Ross Quinlan's personal homepage

Ross Quinlan Software available for download: FOIL Release 6: (shell arch

www.rulequest.com


적송 권건우 redpine71@wedatalab.com

http://blog.naver.com/redpine71 

 

적송 숲에서 한가로이 거닐다 : 네이버 블로그

동서문명 탐구의 기난긴 여정

blog.naver.com

 

공무원을 꿈꾸며 대학에 들어갔으나 동서양문화에 심취하여 수많은 사부님들을 찾아다녔고 기나긴 갈구끝에 서울 인사동과 중국 하남성 황토벌판 그리고 실리콘밸리에서 스승을 만났다. 지금은 산에서 내려와 많은 친구들과 동서문명을 융합시키는 새로운 도전의 여정에 있다.
前 삼성SDS technical architect
現 위데이터랩 대표이사
現 디랩아카데미 원장
現 성균관대, 한양대 겸임교수
現 세계진소왕태극권총회 서울분회장
#야만인 #동서양문화연구 #위데이터랩 #서예 #진소왕태극권

루나 허령

https://brunch.co.kr/@hvnpoet 

 

루나의 브런치

야만인이야기 만화가 | 마음공부하는 천상시인 루나의 브런치입니다. #마음공부 #모델링 #마인드맵 #서예 #진소왕태극권 #천상병 #서울데이터과학연구회 #물질이개벽되니정신을개벽하자 #곳곳

brunch.co.kr

컴퓨터과학과 소프트웨어공학을 전공하고, 지금은 금융회사의 상품과 서비스를 분석, 설계, 구현하는 일을 하고 있다. 대학 초년생 시절 마인드맵을 접한 이후 즐겁게 생각하는 방법을 깨달았고, 소프트웨어공학의 모델링 사상을 이해하고부터는 마인드맵과 모델링을 아우르는 마인드맵모델링을 연구 중이다. 세상에 대한 공학적인 접근 이외에도 마음공부와 서예, 태극권 등으로 자신과 세상의 경계를 넘어 진리를 탐구하고 있다.
#야만인 #마음공부 #마인드맵 #모델링 #서예 #진소왕태극권 #천상병