03.5.4
KLD
Σύνοψη
- Το KLD μετρά πόσο διαφέρει μια κατανομή από μια άλλη.
- Δεν είναι συμμετρικό, άρα (KLD(P|Q) \ne KLD(Q|P)).
Ορισμός #
$$ \mathrm{KLD}(P \| Q) = \sum_i p_i \log \frac{p_i}{q_i} $$Χρήσιμο σε likelihood, language models και ανάλυση απόκλισης.