선형회귀, 로지스틱 회귀, softmax함수와 cross entropy
기반지식
회귀(Regression) 이란?
관찰된 여러 데이터를 기반으로 각 연속형 변수 간의 관계를 모델링하고 이에 대한 적합도를 측정하는 분석 방법
간단하게 말해 두개 이상의 변수 사이의 함수관계를 찾아내는 통계적 방법
지도학습에서 분류와 회귀의 차이
분류 :
데이터 x의 여러 feature 값을 이용해 해당 데이터의 클래스 y를 추론, 그 데이터가 해당 클래스에 속할 클래스별 확률값을 출력회귀 : 데이터 x의 여러 feature 값을 이용해 연관된 다른 데이터 y의 정확한 값을 추론, 연관된 종속변수의 값을 직접 출력
선형회귀
H=Wx+b
머신러닝에서의 선형회귀모델의 수식은 다음과 같다
H는 가정, W는 가중치, b는 편향을 뜻한다.딥러닝으로 회귀 모델을 구한다는 것은 주어진 데이터를 이용하여 최적의 W와 b값을 찾는다는 뜻이다.
로지스틱 회귀
로지스틱 회귀분석(Logistic Regression) 이란 데이터가 어떤 범주에 속할 확률을 0에서 1사이의 값으로 예측하고 그 확률에 따라 가능성이 더 높은 범주에 속하는 것으로 분류해 주는 지도 학습 알고리즘이다.
선형회귀분석과 다른 점은 Y값이 확률로 되어 있기 때문에 출력값은 0과 1사이의 값으로 정해진다.1개 이상의 독립변수가 있을때 이를 이용해 데이터가 두개의 범주중 하나에 속하도록 결정하는 이진 분류(Binary Classification) 문제를 풀때 쓰인다.
Softmax 함수
Softmax 함수는 2가지가 아닌 여러 범주로 분류하는 함수이며 로지스틱 회귀의 활성함수인 시그모이드 함수로부터 유도된 것이다.
Softmax함수는 다중 로지스틱 회귀(Multinomial Logistic Regression)으로도 불린다.
Softmax 함수의 가장 큰 특징은 각 범주의 확률 값이 0과 1 사이의 값이고, 모든 범주의 확률값을 더했을 때 1이 나온다는 것이다.
Cross Entropy
Cross entropy 함수는 softmax 함수의 손실함수(Loss Function)로 쓰인다.