KLD

4.4.4

KLD

Atualizado 2020-02-26 Leitura 1 min

Resumo

KLD mede o quanto uma distribuicao difere de outra.
Nao e simetrico: (KLD(P|Q) \ne KLD(Q|P)).

Definicao #

$$ \mathrm{KLD}(P \| Q) = \sum_i p_i \log \frac{p_i}{q_i} $$

Usado em likelihood, language models e analise de divergencia.