Machine Learning
딥러닝을 하면서 사용하는 활성화 함수는 크게 3가지 있습니다. sigmoid, softmax, ReLu 가 그 3가지에요!
시그모이드
이진 분류 모델의 마지막 활성화 함수!
- 시그모이드 함수는 입력값이 커지면 커질수록 1에 수렴하고, 작아지면 작아질수록 0에 수렴합니다.
- 시그모이드 함수를 미분하면, 양 쪽으로 향할수록 변화값이 거의 없습니다.
- 따라서, 오류역전파를 할 때, Vanishing Gradient 현상이 발견될 수 있습니다.
- 0 또는 1을 반환하기 때문에, 이진 분류 모델의 마지막 활성화 함수로 사용됩니다!
소프트맥스 | Softmax
입력받은 값을 출력으로 0~1사이의 값으로 모두 정규화하며 출력 값들의 총합은 항상 1이 되는 특성을 가진 함수이다. 분류하고 싶은 클래수의 수 만큼 출력으로 구성한다. 가장 큰 출력 값을 부여받은 클래스가 확률이 가장 높은 것으로 이용된다
다중 분류 모델의 마지막 활성화 함수!
ReLu
기본적으로 은닉층에 사용하는 활성화 함수!