KLD

4.4.4

KLD

อัปเดต 2020-02-26 อ่าน 1 นาที
สรุป
  • KLD วัดความต่างของการกระจายหนึ่งเทียบกับอีกการกระจาย
  • ไม่สมมาตร ดังนั้น (KLD(P|Q) \ne KLD(Q|P))

นิยาม #

$$ \mathrm{KLD}(P \| Q) = \sum_i p_i \log \frac{p_i}{q_i} $$

ใช้บ่อยใน likelihood, language models และการวิเคราะห์ความแตกต่าง