티스토리 뷰
사람의 뉴런을 통해 착안
W:
b:
Activation
Hardware Implementations
1957, Frank Rosenblatt, Perceptron
- False Promises, 허황된 약속을 하게 됨
- AND/OR Problem은 가능하나 XOR의 문제는 풀 수 없었음.
1960, Widrow and Hoff, Adaline/Madaline
1969, Marvin Minsky, MIT AI Lab
- 기존 방식으로 XOR을 풀 수 없다고 얘기함
- MLP(Multilayer neural nets)를 통해 풀수도 있다고 했으나 W, b에 대해 학습을 할 수 없다.
- NN쪽에 대한 연구가 지지부진해짐
1974, 1982 by Paul Werbos, 1986 by Hinton
- Backpropagation 발표
- forward의 출력이 오류가 났을 경우 W, b 조정이 필요함
- Backward 처리를 통해 W, b를 조정
- Hinton이 재발견함에 따라 관심을 받기 시작함
1959, Hubel & Wiesel
- 고양이 실험, 이미지를 고양이가 볼 때 일부 부분에 대한 신경망이 있음
- 이를 통해 조합될 것으로 생각
1980, LeCun
- 고양이 실험을 착안하여 Convolutional Neural Networks 고안
- Convolutional Network Demo from 1993, https://youtube.com/watch?v=FwFduRA_L6Q
- 1990년 후반 이 알고리즘을 통해 책 판독에 활용되었음
- 1984~1994, 자율주행 자동차에 활용, NavLab
1995, Yann Lecun
- Backpropagation의 경우 작은 단위의 NN에만 작동함, 깊은 NN에 대해서는 역전파 시 에러의 전달이 약해짐
- Vanishing Gradient
- 다른 형태의 알고리즘이 나오게 됨, SVM, RandomForest, etc
- 2번째 침체기 도래
1987, Hinton
- CIFAR(Canadian Institute for Advanced Research)로 옮김
- 기초 연구에 대한 지원
2006 Hinton, 2007 Yoshua Bengio
- Hinton: "A fast learning algorithm for deep belief nets"
- Bengio: "Greedy Layer-Wise Training of Deep Networks"
- W의 초기값의 선택이 중요함을 밝힘
- 깊은 신경망 구축, Vanishing Gradient 해결을 위한 ReLU 발견
- Deep Nets, Deep Learning으로 명명
2012, ImageNet Large Scale Visual Recognition Challenge, ILSVRC
- Hinton 교수 연구실, Alex가 AlexNet 발표
- 15.3%대로 에러를 낮춤
ImageNet 이미지 추가, 년도 별 알고리즘 우승자
다른 역사 관련 링크
- http://www.tcpschool.com/deeplearning/deep_history
- Hinton 교수 메일 인터뷰: https://news.joins.com/article/20382230
- https://brunch.co.kr/@gdhan/1
- https;//jinseob2kim.github.io/deep_learning.html
- https://brunch.co.kr/@storypop/28
'공부하자 > 머신러닝' 카테고리의 다른 글
머신런닝 공부를 하면서 느낀 점 (0) | 2019.03.22 |
---|---|
ML02. AI, Machine Learning, Deep Learning Overview (0) | 2019.03.18 |
ML01. 학습 및 참고 사이트 (0) | 2019.03.18 |
ML03. 데이터 분석 (0) | 2018.04.25 |
Analytics 유형, Types of Data Analytics (0) | 2017.09.11 |
댓글
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
링크
TAG
- 가상호스트
- 화목난로
- deep learning
- machine learning
- signalP
- transmembrane
- wget
- pygr
- 우드스토브
- Aging
- TM
- color scripter
- 생물정보기업
- Python
- VirtualHost
- GaN
- Mate pair
- CNV
- illumina
- ssh
- Next Generation Sequencing
- Bioinformatics
- MySQL
- 달인
- tensorflow
- paired-end
- 리눅스
- 리눅스 모니터링
- edwith
- xbrowser
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | |||||
3 | 4 | 5 | 6 | 7 | 8 | 9 |
10 | 11 | 12 | 13 | 14 | 15 | 16 |
17 | 18 | 19 | 20 | 21 | 22 | 23 |
24 | 25 | 26 | 27 | 28 | 29 | 30 |
31 |
글 보관함