티스토리 뷰

이미지: 사람 2명
출처: https://www.facebook.com/SyzygyGroup/photos/a.205403483317/10155176869023318/?type=3&theater

1950년 영국수학자 앨런 튜링

- ‘계산 기계와 지능(Computing Machinery and Intelligence)’ 논문 발표

- 기계가 생각할 수 있는지 테스트하는 방법, 지능적 기계의 개발 가능성, 학습하는 기계 등에 대해 기술

1955년, 미국 다트머스 대학 존 매카시 교수

- 다트머스 회의를 통해 처음으로 인공지능(AI)라는 용어가 사용되기 시작

- 당시 인공지능 연구의 핵심은 추론과 탐색

미국의 신경외과의 워렌 맥컬록(Warren Mc Cullonch)과 논리학자 월터피츠(Walter Pitts)

- 전기 스위치처럼 온/오프하는 기초기능의 인공신경을 그물망형태로 연결하면 사람의 뇌에서 동작하는 아주 간단한 기능을 흉내 낼 수 있다는 것을 이론적으로 증명

- 생물학적 신경망 내에서 반복적인 시그널이 발생할 때 신경세포들은 그 시그널을 기억하는 일종의 학습효과가 있음을 증명

1958년 코넬대 심리학자 프랭크 로센블래트

- 퍼셉트론(Perceptron: 뇌 신경을 모사한 인공 신경 뉴런) 탄생

1969년 마빈 민스키와 세이무어 페퍼트

- 저서를 통해 퍼셉트론은 AND 또는 OR 같은 선형 분리가 가능한 문제는 가능하지만, XOR문제에는 적용할 수 없다는 것을 수학적 증명

- 이로인해 미국방부 DARPA는 AI 연구자금을 2천만달러를 전격 중단 

1970년대 이후 대부분 기업은 R&D의 방향을 실용적인 통계기술에 집중

- 실험계획법 및 통계 분석기술로 제조 품질/생산효율 향상시킴

- 이 개념은 데이터마이닝이라는 이름으로 산업에 비효율성을 해결하는 도구로 현재까지 사용되어왔고 빅데이터 기술의 근간

1980년대 산업계에 전문가 시스템이 도입

- 1)지식과 경험의 데이터베이스화 2) 의사결정 추론엔진 3) 사용자 인터페이스로 구성

- 추론엔진 기술은 베이즈(Bayes)기반 확률적 방법과, 또 다른 접근법으로 0과 1 사이에도 여러 가지 값을 가질 수 있는 퍼지(Fuzzy)이론을 통해 다중 값 논리방법을 이용하는 방법이 주로 활용

- 방대한 관리방안과 투자대비 효용성의 한계가 노출되어 인공지능의 연구는 약화

- 1993년 미국부터 대부분 연구방향은 슈퍼컴퓨터와 시뮬레이션 분야로 연구방향을 전환

1990년대 검색 엔진 등의 발전

- 이를 통해 이전과는 비교도 할 수 없이 방대한 데이터를 수집

- 머신러닝(Machine Learning)을 통해 수많은 빅데이터를 분석하여 인공지능 시스템 자신 스스로 학습하는 형태로 진화

2006년 캐나다 토론토대학의 제프리 힌튼 교수

- 인간의 뇌를 모방한 신경망 네트워크(neural networks) 구조로 이루어진 딥러닝 알고리즘

- 얀 레쿤과 앤드류 응과 같은 세계적인 딥러닝 구루들에 의해 더욱 발전

- 주로 음성 인식, 영상 이해, 기계번역 등에 활용

이미지넷 경진대회: 1000개의 카테고리와 100만개의 이미지로 구성되어 정확도를 겨루는 대회

2012년 캐나다 토론토대학의 알렉스 크리제브스키

- IMAGENET이라 불리는 이미지 인식 경진 대회에서 딥러닝을 활용하여 자체적으로 이미지를 인식하는 컴퓨터로 우승을 차지

- 기존에는 인식율이 75%를 넘지 못했으나 알렉스는 84.7% 달성

- CNN 활용, 알렉스넷(Alexnet)이라 불리는 깊은 신경망(Deep Neural Network)을 설계 > GPU 연산

2014년 구글

- 딥마인드 테크놀로지 사 인수

2015년 마이크로소프트(MS)팀

- 96%가 넘는 정확도를 기록

2016년 알파고1.0

- 16만 기보 지도학습기반 심층강화학습과 확률적 샘플링기반 의사결정

2017년 알파고 2.0

- 비지도학습 소량데이터 기반 자가학습

대표적인 인공지능 기술

- CNN: 이미지 및 영상 분석에 주로 활용

- RNN: 음성과 문자 분석에 주로 활용

- GAN(Generative Adversarial Nets): Image를 만들어내는 모델과 다양한 모델간에 서로 대립(Adversarial)하며 성능 개선하는 학습개념

. 낮은 수준의 사람처럼 글쓰기,노래하기 등이 가능

B2C산업의 인공지능 적용 사례

- 구글과 페이스북은 딥러닝을 활용한 얼굴 인식 기술에서 99.96%와 97.25%의 정확도를 확보

- 아마존은 2014년 인공지능을 활용하여 로그인 시 물류창고에서 배송절차를 시작하는 결제예측배송 특허를 등록

- 영국 유니버시티 칼리지런던(UCL), 셰필드대, 미국 펜실베니아주립대의 공동 연구의 결과물로 만들어진 인공지능 판사는 79% 정확도로 재판의 결과를 예측

- IBM AI 로스는 파산관리변호사로 공식선임

- 국종양학회의 IBM왓슨의 대장암/직장암 진단 정확도는 이미 90%가 넘는 수준

- 테슬라의 AutoPilot은 인간 개입을 배제한 자율주행이 가능한 수준

B2B산업에서 인공지능 적용

- GE사의 Brilliant Factory의 Predix는 다양한 기계학습, 딥러닝 기반 데이터분석기술로 가동중지를 예방하는 의사결정을 내리고, 최적의 생산을 유지

- 지멘스(Siemens)의 스마트팩토리는 매일 5,000만건으로 제조공정의 75%를 자동으로 작업을 지시하며, 인력의 개입을 최소화

- 현재 인공지능 강자들은 각자 도메인특성과 빅데이터 기반을 중심으로 인공지능(AI) 분야의 우위를 선점하고 있다는 점을 주목



machine learning deep learning ai에 대한 이미지 검색결과

출처: https://blogs.nvidia.com/wp-content/uploads/2016/07/Deep_Learning_Icons_R5_PNG.jpg.png


출처: https://www.edwith.org/deeplearningchoi#


AI

- 인공지능은 함수(Functions)이다. 다른 용어로는 System, Filter라고 얘기할 수 있음

- 또는 초등학교 때 배운 수수께끼 상자


Machine Learning

- 데이터를 기반으로 학습하는 과정을 수행

- Supervised, Unsupervised, Reinforcement 크게 3가지로 분류할 수 있음.

- Reinforcement Learing의 경우 Reward를 줌으로써 행동에 영향을 끼침. 행동에 대한 보상, 행동을 고려

학습을 위한 과정은 Data storage > Abstraction > Generalization > Evaluation 단계를 거침.

ML은 목적에 따라 크게 4가지 카테고리로 구분됨.

types of machine learning algorithms에 대한 이미지 검색결과

출처: https://cdn-images-1.medium.com/max/1600/1*ZCeOEBhvEVLmwCh7vr2RVA.png


 Supervised learning

- Predictive Model

- Labeled Data를 사용

- 주요 알고리즘

. Classification: Logistic Regression, Decision Tree, KNN, Random Forest, SVM, Naive Bayes, etc

. Numeric prediction: Linear Regression, KNN, Gradient Boosting & AdaBoost, etc

. ex) Image labeling, Email span filter, Predicting exam score

- 유형은 크게 Regression과 Classification임.

. Regression: 범위 내 값 예측

. Binary Classification: Pass / Non-pass

. Multi-label Classification: 등급 판정

 Unsupervised learning

- Descriptive Model

- Unlabeled Data

- 주요 알고리즘

. Clustering: K-Means

. Pattern Discovery

. ex) Google news grouping, Word clustering

 Reinforcement learning.

Using this algorithm, the machine is trained to make specific decisions.

It works this way: the machine is exposed to an environment where it trains itself continually using trial and error. This machine learns from past experience and tries to capture the best possible knowledge to make accurate business decisions.

Example of Reinforcement Learning: Markov Decision Process.

 Semi-supervised learning

- labeled / unlabeled 데이터를 사용


Neural Network, Deep Learning

- 범주로 보면 Machine Learning > Neural Network > Deep Learning

- 딥러닝을 이행하기 위해서는 인공신경망의 개념이 중요

뉴런과 인공지능

- 다른 머신러닝 기법들과의 차이점, Nonlinear(복잡한, 원리의 이해가 어려운) activation Function

- 기준값을 바탕으로 정보를 전달한다. 무조건 입력이 오면 출력이 발행하는 것이 아님.

- Hidden Layer가 2개 이상인 NN을 Deep Learning이라고 함. Multiple Layer

- Layer를 많이 쓸 경우 발생하는 문제

. Overfitting: Trainning Data에 대한 정확도는 높으나 실제 테스트에서는 정확도가 낮음.

- 풀어야 하는 문제는 간단한데 모델이 너무 복잡한 경우

- 이를 해결하기 위해 Drop-out 기법 사용

. Vanishing Gradient: 기존 Sigmoid 함수를 사용할 경우 0의 값이 나오는 문제가 발생, 이를 해결하기 위해 ReLU 함수를 적용.


 Conveolutional Neural Network

- 영상처리에 특화된 알고리즘

- Filter(Mask)를 통해 이미지의 Feature를 뽑아냄.

- 뽑아낸 각가의 Feature를 채널이라고 함

- Filter 사이즈를 크게 하거나 영상 크기를 줄이는 방법으로 Feature를 뽑아냄.

. 이 두가지 방법을 적용한 것을 CNN이라고 함.

. 영상 사이즈를 작게 만드는 방법의 경우 Pooling의 과정을 통해 Filter 내에서 최대값 or 평균값 등를 뽑아내어 사이즈를 작게 만듬.


 Recurrent Neural Network

- one to one

- one to many

. 하나의 사진이 주어졌을 때 사진에 대한 설명이 생성됨.

- many to one

. SNS의 긍/부정 분석

- many to many

. 번역

- 순차적으로 계속 데이터가 주어진다면 모든 데이터를 다루기 어려워 짐. 성능 문제

- 입력 사이즈를 유지하면서 과거의 값들을 반영하는 방법이 Recurrent Neural Network

- Vanishing Gradient 문제를 해결하기 위해 LSTM을 적용

- Neural Memory를 잘 만드는 것이 중요함.

. forget gate, inpu gate, output gate의 개념


참고 자료

인공지능은 어떻게 발달해왔는가, 인공지능(AI)의 역사

스탠포드의 딥러닝 강의 CS231n: Convolutional Neural Networks for Visual Recognition 한글화 프로젝트

- 모두의 연구소 자료




Linear Regression

Multi Linear Regression

>> Gradient Descent Algorithm(최적화)

Logistic Linear Regression

>>> Sigmoid(Logistic Function), Convexity, Cross Entropy, Decision Boundary

Logistic Multi Linear Regression

Multiple Perceptron(Hidden Layer): Backpropagation algorith)

Single Classification

Multi Classification

Binary Classification

NN

CNN

RNN

LSTM

MLP


Activation Function

계단 함수(단층 퍼셉트론의 활성화 함수), Sigmoid, Tanh, ReLU, PReLU, Leaky ReLU, SoftPlus, ...


Batch Normalization(Optimizer?)

GD > StoChastic GD

RMSProp>Adam



댓글