검색 서비스 및 품질 평가, MAP Recall Precision

  • 지도 및 콜백

예를 들어, 사용자가 온라인 패션 매장에서 “겨울 코트”를 검색하면 검색 결과는 총 10개의 제품으로 구성됩니다. 이 제품 중 4개가 실제로 관련이 있다고 가정해 보겠습니다.

검색 결과의 상위 4개 제품이 실제로 관련 제품인 경우 MAP는 0.75가 됩니다. (P@1=1, P@2=0.5, P@3=0.67, P@4=0.75, 나머지 P값은 0이다.)

반면에 Recall은 관련된 모든 제품을 실제로 찾았는지 여부를 측정합니다. 위의 예에는 실제로 4개의 관련 제품이 있습니다. 따라서 검색 결과에서 4개의 제품을 모두 찾은 경우 회수율은 1.0이 됩니다.

이 예에서 MAP과 Recall은 다른 값을 갖지만 일반적으로 MAP와 Recall은 서로 충돌합니다. 검색 결과 상위에 있는 상품의 순위를 올리기 위해서는 잘못된 상품이라도 실제 관련 있는 상품과 유사한 방식으로 표현되어야 합니다. 이 경우 MAP은 증가하지만 Recall은 감소합니다. 반면에 실제로 관련된 모든 제품을 찾으려면 검색 결과를 확장해야 합니다. 이 경우 재현율은 높지만 MAP는 낮습니다.

  • 지도, 정밀도

예를 들어, 사용자가 온라인 패션 매장에서 “겨울 코트”를 검색하면 검색 결과는 총 10개의 제품으로 구성됩니다. 이 제품 중 4개가 실제로 관련이 있다고 가정해 보겠습니다.

정확도는 검색 결과에서 실제로 관련된 제품의 비율을 나타내며 다음과 같이 정의됩니다.

정확도 = 실제로 관련된 제품 수 / 검색 결과에서 관련된 제품 수

위의 예에는 실제로 4개의 관련 제품이 있습니다. 따라서 검색 결과의 관련 상품이 4개 이상이라면 정확도는 0.4 이상이다.

리콜에 대해서는 이미 설명하였으니 생략하도록 하겠습니다.

MAP은 검색 결과에서 상위에 랭크된 상품이 실제 관련 상품과 얼마나 일치하는지를 평균한 것입니다.

이러한 메트릭은 서로 상관 관계가 있습니다. 정밀도와 재현율은 서로 반비례하며 재현율이 높을수록 정밀도가 낮습니다. 모든 관련 제품을 찾기 위해 검색 결과를 확장하려고 시도할수록 모든 검색 결과에 실제로 관련 제품이 포함되어 있지 않을 가능성이 높아지기 때문입니다.

지도 정도수업 상기하다두번째 가득한 평가 지표이다. 높은 지도 정도수업 상기하다그만큼 모든 높은 경우 수단. 듣다, 구하다 결과적으로 차이점 순위 제품 엄밀히 말하자면 관련성 있다 제품과 모든 일치하는 경우지도 1.0그만큼 것이 가능하다. 하지만 정도수업 상기하다그만큼 상호간의 다른 사례지도 그만큼 가득한 어떻게 반영되는가 정도수업 상기하다그만큼 높더라도 지도그만큼 낮은 숫자 있다.