まとめ
- KLD mede o quanto uma distribuicao difere de outra.
- Nao e simetrico: (KLD(P|Q) \ne KLD(Q|P)).
Definicao #
$$ \mathrm{KLD}(P | Q) = \sum_i p_i \log \frac{p_i}{q_i} $$
Usado em likelihood, language models e analise de divergencia.