Deep Learning 개요

딥러닝 구성 필수 요소

• 모델을 학습하기 위해 필요한 데이터 (Data)
  • MNIST, Fashion MNIST ...
• 주어진 데이터를 원하는 결과로 변환하는 모델 (Model)
  • 다층 퍼셉트론(MLP), 컨볼루션 신경망(CNN), 순환 신경망(RNN) ...
• 모델의 결과에 대한 오차를 수치화하는 손실 함수 (Loss Function)
  • 평균절대오차(MAE), 평균제곱오차(MSE), 교차 엔트로피(CE) ...
• 손실 함수의 값이 최소가 되도록 모델의 파라미터를 조정하는 최적화 알고리즘 (Optimization Algorithm)
  •  경사 하강법(GD), 확률적 경사 하강법(SGD), 모멘텀(Momentum) ...
• 성능 향상을 위한 기타 알고리즘
  • Dropout, Regularization, Normalization ...

 

데이터

 

해결하고자 하는 문제(task)에 따라 필요로 하는 데이터의 형태나 구성이 달라짐

문제 : 고양이 존재 여부 판단

데이터 : 고양이가 있는 이미지, 없는 이미지

문제 : 고양이, 개 존재 여부 및 위치 판단

데이터 : 고양이가 있는 이미지, 강아지가 있는 이미지, 둘 다 있는 이미지, 둘 다 없는 이미지

라벨링

(좌) : 각 대상의 위치를 사각형으로 표시

(우) : 각 대상의 위치를 영역으로 표시

 

 

모델

 

입력을 원하는 결과로 바꾸어주는 일련의 연산 과정을 구조화한 것 => 딥러닝의 학습 대상

 

손실 함수

 

실제 혹은 목표로 하는 값과 모델의 추정한 값 사이의 차이(오차)를 수치화하는 함수

 

 

최적화 알고리즘

 

손실 함수가 최소값을 가지도록 모델의 파라미터를 최적화하는 알고리즘

=> 딥러닝에서의 '최적화' : 최적의 해를 바로 찾는 것이 아닌, 근사최적해를 점진적으로 찾는 것

 

 

딥러닝 파이프라인

 

모델이 데이터를 통해 추정한 값이 정답/목표와 최대한 가까워지도록 (= 손실 함수의 값이 최소가 되도록) 파라미터를 최적화 알고리즘을 적용하여 최적의 모델 파라미터를 찾는 과정