K_DM Book

Hit Rate

03.4.4

Hit Rate

Ενημέρωση 2020-03-11 Ανάγνωση 1 λεπτά
Σύνοψη
  • Το Hit Rate μετρά αν υπάρχει τουλάχιστον μία σωστή πρόταση στις κορυφαίες k.
  • Είναι διαισθητικό για αξιολόγηση recommendation και search.
  • Συμπληρώνει το Recall@k όταν μας ενδιαφέρει απλώς το “έστω ένα hit”.

1. Ορισμός #

Με σωστά αποτελέσματα (G_q) και top-k σύνολο (S_{q,k}):

$$ \mathrm{HR@k} = \frac{1}{Q} \sum_{q=1}^Q \mathbf{1}\{ G_q \cap S_{q,k} \ne \emptyset \} $$

Αν υπάρχει έστω ένα hit, η τιμή για το query είναι 1, αλλιώς 0.


2. Πότε είναι χρήσιμο #

  • Όταν αρκεί μια “σωστή” πρόταση στο shortlist.
  • Όταν το πλήθος σωστών ανά χρήστη διαφέρει πολύ.