머신러닝의 모델들을 구축하다보면 이 모델의 실효성이 얼마나 되는가에 대한 평가를 해야 합니다. 회귀 모델로 예측을 했을 때 또는 분류 모델로 예측 분류를 했을 때 그 정확성이 얼마나 되는가에 대한 지표가 있다면 예측 모델의 예측력을 알 수 있을 것입니다. 예측 모델을평가할 수 있는 여러 지표들에 대해 알아보겠습니다.
머신러닝 예측 모델의 성능평가지표는 머신러닝 또는 딥러닝의 모델이 얼마나 잘 작동하는지 측정하고 평가하는데 사용하는 지표 또는 측정항목을 나타냅니다. 모델들 간의 예측 성능을 비교하기 위해 사용되기도하고 Overfitting을 피하고 최적의 모델을 구축하기 사용됩니다. 일반적으로 모델의 예측값과 실측값의 오차 값을 기준으로 하여 산출하는 지표가 대부분이며 예측 모델의 특성에 따라서 다른 지표가 사용될 수 있습니다.
결과값을 예측하는 회귀분석 모델 및 예측 모델의 평가지표로는 MSE, MAE, RMSE, R-Square, MSLE, MAPE 등이 있으며 상세 설명은 다음과 같습니다.
출처: unsplash.com 머신러닝
MSE(평균 제곱 오차, Means Squred Error)
MSE는 예측값과 실제값의 차이를 제곱한 후 평균을 산출한 값으로 회귀모델의 예측 오차를 측정합니다. MSE가 높을 수록 예측오차가 크다는 것을 의미하며 머신러닝 모델의 예측력이 좋지 않다는 것 또한 의미합니다.
MAE(평균 절대 오차, Mean Absolute Error)
MAE는 예측값과 실제값의 절대값차이를 평균 한 값으로 MSE와 같이 회귀모델의 오차를 측정하는 지표입니다. MAE가 높을 수록 오차가 크다는 것을 나타냅니다.
RMSE(평균 제곱근 오차, Root Mean Squared Error)
RMSE는 MSE의 제곱근으로 예측 오차의 제곱근 평균을 산출한 값입니다. RMSE는 MSE보다 예측 오차의 크기를 더욱 직관적으로 해석할 수 있습니다.
R^2(결정계수, R-Squared)
R Squared는 결정계수로 회귀모델이 종속변수를 어라나 잘 설명하는지를 측정하며 설명력이라고도 지칭합니다. 산출값이 1에 가까울 수록 모델이 종속변수를 잘 설명한다고 평가합니다.
MSLE(평균 제곱 로그 오차, Mean Squared Logarithmic Error)
MSLE는 로그 스케일에서 예측값과 실제값 간의 제곱오차를 측정하며 양수의 값에 로그를 취한 데이터에 주로 사용되는 편입니다.
MAPE(평균 절대비율 오차, Mean Absolute Percentage Error)
MSE와 RMSE의 단점을 보완한 지표로 백분율로 표현된 예측 오차의 절대값의 평균을 산출하며 회귀모델 또는 예측 모델의 예측 정확도를 백분율로 표현하는 지표입니다.
분류 모델 또는 딥러닝 모델을 평가 하는 성과지표에는 정확도, 정밀도, 재현율, F1Score, ROC 곡선과 AUC를 들 수 있습니다. 이 지표들을 이해하기 위해서는 오차 행렬에 대해서 이해할 필요가 있습니다.
오차행렬(Confusion Matrix)
| Positive(예측) | Negative(예측) | |
| Positive(정답) | TP(True Positive) | FN(False Negative) |
| Negative(정답) | FP(False Positive) | TN(True Negative) |
TP(True Positive) : 모델이 Positive로 예측했고 실제로 정답(Positive)인 경우
TN(True Negative) : 모델이 Negative로 예측했는데 실제로 정답(Negative)인 경우
FP(False Positive) : 모델이 Positive로 예측했는데 실제로 정답이 아닌 (Negative) 경우
FN(False Negative): 모델이 Negative로 예측했는데 실제로 정답이 아닌(Positive) 경우
정확도(Accuracy)
정확도는 전체 예측 중 올바르게 예측한 비율을 나타내는 비표로 이진 분류나 다중 분류에 적용될 수 있습니다. 정확도는 전체 데이터 중에 정확하게 예측한 데이터의 비율이라고 할 수 있습니다.
정확도 = TP+TN/(TP+FP+TN+FN)
정밀도(Precision)
정밀도는 Positive하게 판단한 것 중에 True positive의 비율을 말하며 False positive를 최소화 하기 위한 지표입니다.
정밀도 = TP/(TP+FP)
재현율(Recall)
재현율은 실제 정답이 Positive 중에서 올바르게 예측한 Positive 비율을 말하며 False Negative를 최소화 하기 위한 지표입니다.
재현율 = TP/(TP+FN)
F1Score
F1Score는 정밀도와 재현율의 조화 평균으로 산출되며 정확도 지표 보다 불균형한 데이터 분포에서 모델의 성능을 더욱 정확하게 판단하는데 도움이 됩니다.
F1score = 2* 정밀도 * 재현율/ (정밀도 +재현율)
ROC 곡선과 AUC
ROC 곡선(Receiver Operating Characteristic Curve)은 이진 분류 모델의 성능을 시각적으로 표현하는 그래프이며 AUC(Area Under the Curve)는 ROC 곡선 아래의 면적을 나타내는 값으로 모델의 부류 능력을 나타내는데 사용됩니다.