Die Kullback-Leibler-Divergenz gibt aus informationstheoretischer Sicht an, wie viel Platz pro Zeichen im Mittel verschwendet wird, wenn eine auf  basierende Kodierung auf eine Informationsquelle angewendet wird, die der tatsächlichen Verteilung  folgt. Somit besteht ein Zusammenhang zur Kanalkapazität. Mathematisch ist dies verträglich mit der Aussage, dass die KL-Divergenz  ist und Gleichheit nur dann gilt, wenn P und Q identisch sind.