활성화 함수

활성화 함수(Activation function) - 활성화 함수의 주요 목적은 딥러닝 네트웍에 비선형성을 적용하기 위함. but 오버피팅 되기 쉽다. 1) Sigmoid 함수 Vanishing Gradient 등의 이슈로 은닉층 활성화 함수로 사용되지 않음 이진 분류의 최종 Classification Layer의 Activation 함수로 주로 사용됨 2) ReLU(Rectified Linear Unit) 대표적인 은닉층의 활성화 함수 3) 소프트맥스 함수 Score 값을 확률값 0 ~ 1 로 반환 하지만, sigmoid와 다르게 개별 출력값의 합이 1이 되도록 매핑해준다. 다중 분류의 최종 Classification Layer의 Activation 함수로 주로 사용됨

2021.10.18