티스토리 뷰

사람의 뉴런을 통해 착안

W:

b:

Activation

http://joet.org/upload//thumbnails/joet-33-5-427f1.jpg

Hardware Implementations

1957, Frank Rosenblatt, Perceptron

  • False Promises, 허황된 약속을 하게 됨
  • AND/OR Problem은 가능하나 XOR의 문제는 풀 수 없었음.

1960, Widrow and Hoff, Adaline/Madaline

1969, Marvin Minsky, MIT AI Lab

  • 기존 방식으로 XOR을 풀 수 없다고 얘기함
  • MLP(Multilayer neural nets)를 통해 풀수도 있다고 했으나 W, b에 대해 학습을 할 수 없다.
  • NN쪽에 대한 연구가 지지부진해짐

1974, 1982 by Paul Werbos, 1986 by Hinton

  • Backpropagation 발표
  • forward의 출력이 오류가 났을 경우 W, b 조정이 필요함
  • Backward 처리를 통해 W, b를 조정
  • Hinton이 재발견함에 따라 관심을 받기 시작함

1959, Hubel & Wiesel

  • 고양이 실험, 이미지를 고양이가 볼 때 일부 부분에 대한 신경망이 있음
  • 이를 통해 조합될 것으로 생각

1980, LeCun

  • 고양이 실험을 착안하여 Convolutional Neural Networks 고안
    • Convolutional Network Demo from 1993, https://youtube.com/watch?v=FwFduRA_L6Q
  • 1990년 후반 이 알고리즘을 통해 책 판독에 활용되었음
  • 1984~1994, 자율주행 자동차에 활용, NavLab

1995, Yann Lecun

  • Backpropagation의 경우 작은 단위의 NN에만 작동함, 깊은 NN에 대해서는 역전파 시 에러의 전달이 약해짐
    • Vanishing Gradient
  • 다른 형태의 알고리즘이 나오게 됨, SVM, RandomForest, etc
  • 2번째 침체기 도래

1987, Hinton

  • CIFAR(Canadian Institute for Advanced Research)로 옮김
  • 기초 연구에 대한 지원

2006 Hinton, 2007 Yoshua Bengio

  • Hinton: "A fast learning algorithm for deep belief nets"
  • Bengio: "Greedy Layer-Wise Training of Deep Networks"
  • W의 초기값의 선택이 중요함을 밝힘
  • 깊은 신경망 구축, Vanishing Gradient 해결을 위한 ReLU 발견
  • Deep Nets, Deep Learning으로 명명

2012, ImageNet Large Scale Visual Recognition Challenge, ILSVRC

  • Hinton 교수 연구실, Alex가 AlexNet 발표
  • 15.3%대로 에러를 낮춤

 

ImageNet 이미지 추가, 년도 별 알고리즘 우승자

다른 역사 관련 링크

  • http://www.tcpschool.com/deeplearning/deep_history
  • Hinton 교수 메일 인터뷰: https://news.joins.com/article/20382230
  • https://brunch.co.kr/@gdhan/1
  • https;//jinseob2kim.github.io/deep_learning.html
  • https://brunch.co.kr/@storypop/28

 

 

댓글