Evaluating top-n recommenders
Netflix는 최상위 추천에 더 중점을 둔 메트릭을 기반으로 했을 수 있습니다. user stop-end 추천 중 하나가 실제로 등급이 지정된 경우, hit를 고려할 수 있습니다.
Hit rate = hits / users
실제로 사용자가 스스로 볼 수 있을 정도로 흥미로운 것을 사용자에게 보여 주었으므로 테스트 세트의 모든 사용자에 대한 최고 추천에 모든 적중을 합산하여 사용자 수로 나눈 후에 적중률입니다.
적중률 자체는 이해하기 쉽지고 측정하면됩니다. 개별 등급의 정확도를 측정하지 않기 때문에 정확도에 사용했던 것과 동일한 train test cross validation 검증 방법을 사용할 수 없으며, 개별 사용자를 위한 최고 추천 목록의 정확도를 측정하고 있습니다.
Leave one out cross validation
명백한 것과 전혀 분할하지 않고 보유한 모든 데이터에 대해 훈련된 추천 시스템에서 생성된 최고 추천 사항에서 직접 적중률을 측정하기 만합니다. 그러나 기술적으로 부정 행위입니다.
일반적으로 데이터를 사용하여 시스템을 평가하고 싶지 않아 합니다. 훈련 데이터를 사용하여 각 사용자가 실제 상위 10 개 영화를 추천하고 적중률을 100 % 달성 할 수 있습니다. 훈련 데이터에서 각 사용자에 대한 최고 추천 사항을 계산하고 의도적으로 해당 사용자 훈련 데이터에서 해당 항목 중 하나를 제거하는 것입니다.
그런 다음 추천 시스템에서 최상위 결과에 남은 항목을 추천하는 기능을 테스트합니다. 테스트 단계에서 해당 사용자를 생성합니다. 따라서 훈련 데이터에서 제외된 각 사용자에 대해 최상의 항목을 추천 할 수 있는 능력을 측정합니다.
이것이 바로 "leave-one-out"이라고 하는 이유입니다. 추천 사항 중 하나를 얻는 것보다 테스트하는 동안 하나의 특정 영화를 얻는 것이 더 어렵습니다. 따라서 "leave-one-out"이 포함된 "적중률"은 매우 큰 데이터 세트를 가지고 있지 않는 한 측정하기가 매우 작고 어렵다는 경향이 있습니다.
Average reciprocal hit rate (ARHR)
추천 시스템이 실제 세계에서 최상위 목록을 생성 할 것임을 알면 훨씬 더 사용자 중심적인 측정 기준입니다. "적중률"의 변형은 "평균 왕복 적중률"또는 "ARHR"입니다. 측정 항목은 '적중률'과 비슷하지만 최상위 목록에서 조회수가 표시되는 위치를 설명하므로 하단 슬롯보다 상단 슬롯의 항목을 성공적으로 추천하면 더 많은 크레딧을 얻게됩니다.
사용자 수는 목록의 시작 부분에 집중하는 경향이 있습니다. 단순한 차이점은 적중 수를 합산하는 대신 각 적중의 상호 순위를 합산한다는 것입니다. 따라서 슬롯 3에서 추천 사항을 성공적으로 예측하면 1/3로만 계산됩니다. 최고 추천 사항 중 하나인 슬롯 히트 1.0의 전체 가중치를받습니다.
이 메트릭이 의미가 있는지 여부는 최상위 권장 사항이 표시되는 방법에 따라 다릅니다. 사용자가 스크롤 하거나 페이지 매김을 해야 최상위 목록의 하위 항목을 볼 수 있는 경우에는 벌점을 받는 것이 좋습니다.
Cumulative hit rate (cHR)
목록에서 사용자가 찾아야 할 추천 사항이 너무 적으면 다른 제안은 "누적 적중률"입니다. 사운드가 들리지만 예상되는 등급이 일부 임계 값 미만인 경우 적중을 버리는 것입니다.
실제로 즐기지 않을 것이라고 생각하는 사용자에게 항목을 추천하는 것은 신용을 얻지 못합니다. 따라서 이 예에서 별 3 개가 컷오프 된 경우 이 테스트 결과 및 적중률 메트릭에서 두 번째 및 네 번째 항목에 대한 히트를 버립니다. 그것들을 전혀 계산하지 않는 것입니다.
Rating hit rate (rHR)
적중률을 보는 또 다른 방법은 예상 등급 점수로 분류하는 것입니다. 알고리즘이 추천 영화가 실제로 인기를 얻는 것으로 생각하는 알고리즘의 분포에 대한 아이디어를 얻는 좋은 방법이 될 수 있습니다. 실제로 배포판을 좋아하고 분류하면 더 세부적으로 수행하고 있는 정도를 알 수 있습니다. 이를 "평가 적중률"또는 "RHR"이라고 합니다. 따라서 이들은 최고 추천의 효과를 측정하는 다른 방법입니다.
Netflix가 RMSE 대신 Netflix 상금에 Hitrate을 부여하면 추천 시스템의 세계는 약간 달라질 수 있습니다. 적중률이 높고 RMSE 점수가 낮으면 추천 시스템을 구축 할 수 있습니다. RMSE와 적중률은 다르므로 RMSC와 적중률은 관련이 없습니다.
'SW > 추천시스템' 카테고리의 다른 글
| 추천 시스템 : 정확도 지표 (RMSE, MAE) : 개념, 방법 (0) | 2020.07.30 |
|---|---|
| 추천 시스템 : Train/Test and Cross Validation : 훈련, 검증 방법 (0) | 2020.07.27 |
| 추천 시스템 : Top-N Recommender 아키텍처 (0) | 2020.07.26 |
| 추천시스템 : 암시적 및 명시적 평가를 통한 추천 시스템에 대한 이해 (0) | 2020.07.22 |
| 추천 시스템 : 추천 시스템의 종류 (0) | 2020.07.18 |