[Deep learning] Precision & Recall & IoU

정도율과 재현율 그리고 f score을 우선 알아야 추후에 classification이나 computer vision을 모델링하여 결과를 평가할때, 필수적으로 알아야하는 부분이다. computer vision에서는 IOU가 사용한다. 그렇기에 yolo 프로젝트 모델링 파트를 블로그에 올리기 전에 평가지표들을 모두 정리하는 과정을 갖도록 해봤다.

 

오차행렬(Confusion Matrix)

Binary Classification 평가 결과를 나타낼 때 가장 널리 사용하는 방법이다. multi Classification또한 평가지표들에 정도율 재현율 f score들을 사용한다.

 

Confusion Matrix

정확도(accuracy)

모든 분석 결과에서 양성을 양성으로 판별하고 음성을 음성으로 판별한 값들의 비율을 말한다.

 

 Accuracy = ( FN + FP) / (TN + TP + FN + FP) 

 

전반적인 모델의 정확성을 판별할 때 사용한다. 회귀나 다른 모델에서도 자주 사용되는 개념이기 때문에 이해하기 쉽다.

 

정도율(Precision)

양성으로 예측된 집단중 실제 양성 집단의 비율을 말한다. (어느정도 맞췄나)

FP(거짓 양성)의 수를 줄이는 것이 목표일 때, 성능 지표로 사용한다. 

 

재현율(Recall)

실제 양성 집단 중에서 양성으로 예측한 집단의 비율을 말한다.(얼마큼 재현했나)

보통, 자율주행처럼 직각적으로 바로 판단 후,

조치를 내려야하는 상황들이 있는 서비스는 재현율에 더 민감하게 결과를 확인하고 높이려고 노력한다.

F1 score

Precision과 Recall의 조화 평균이다.

조화 평균는 데이터가 측정된 시간이 다르거나 불균형 데이터일 때 데이터가 큰 부분에 영향을 줄여주기 위해서 사용된다.

불균형한 데이터를 사용할 때는 F1 score를 중점으로 보는 것이 좋다.

 

Precision - Recall - curve

Y축이 Precision, X축이 Recall인 그래프를 plot하는데

precision과 recall이 임계값(Threshold)에 의해 어떻게 변하는지 보여주는 그래프다.

Precision과 Recall 두 지표를 다 잡을 수 있는 최적의 임계값(Threshold)는 무엇인지 파악할 수 있다.

 

그래프에서도 볼 수 있듯이 Precision과 Recall의 관계는 반비례다.

Precision Recall curve

 

IoU(Intersection over Union)

먼저 라벨링 해놓은 area와 예측한 area의 교집합의 정도를 말한다.

라벨링한 area와 예측 area의 합집합에서 둘 area가 어느정도 겹쳤는지를 확인할 수 있는 지표다.

최대한 많이 겹쳐야 정답과 가까운 결과라고 볼 수 있다. (0~1의 값)

 

여기서도 임계값(Threshold)을 정한다.

지정한 임계값을 넘어야 옳다고 판단할 수 있다는 것을 설정하는 과정이다.

 

 

AP(Average Precision) 와 mAP(mean Average Precision)

AP(Average Precision)은 Recall을 0부터 0.1 단위로 증가시켜서 1까지 증가 시킬 때 Precision이 감소하게 되는데 각 Recall 값마다 Precision 값을 계산하여 평균을 낸 값이다.

AP는 Precision Recall Curve의 선 아래쪽 면적을 계산한다. 계산할 때는 Precision 곡선을 단조롭게 만든 후 아래 면적을 계산한다.

 

mAP(mean Average Precision)은 물체 클래스가 여러개인 경우, 각 클래스의 AP 값들을 평균낸 값이다.

        

precision 곡선을 단조롭게 한 과정