K_DM Book

KLD

03.5.4

KLD

Ενημέρωση 2020-02-26 Ανάγνωση 1 λεπτά
Σύνοψη
  • Το KLD μετρά πόσο διαφέρει μια κατανομή από μια άλλη.
  • Δεν είναι συμμετρικό, άρα (KLD(P|Q) \ne KLD(Q|P)).

Ορισμός #

$$ \mathrm{KLD}(P \| Q) = \sum_i p_i \log \frac{p_i}{q_i} $$

Χρήσιμο σε likelihood, language models και ανάλυση απόκλισης.