kl散度里的log是log2还是ln，js 散度

kl散度里的log可以是log2，ln，lg

JS 散度度量了两个可能性分布的相似度，根据 KL 散度的变体，处理了 KL 散度非对称的问题。大多数情况下地，JS 散度是对称的，其取值是 0 到 1 当中。KL 散度和 JS 散度度量时有一个问题：

假设两个分配 P,Q 离得很远，完全没有重叠时，既然如此那， KL 散度值是没有意义的，而 JS 散度值是一个常数，这个问题就意味这一点的梯度为 0。

可能性分布p的熵为

H(p)=−∑xp(x)logp(x)

随机变量x服从的可能性分布p(x)时常是不清楚的，我们用q(x)来近似逼迫p(x)，q到p的交叉熵定义为

H(p,q)=Ep[−logq]=−∑xp(x)logq(x)

KL散度(Kullback–Leibler divergence)是熵与交叉熵之差

DKL(p||q)=H(p)−H(p,q)=∑xp(x)logq(x)−∑xp(x)logp(x)

当p和q这两个分布完全吻合时，KL散度（或者叫KL距离）为0。当p和q没有交集时，其KL散度是一个常数，这时KL散度就反映不了距离了。

交叉熵不具有对称性，故此，KL散度也不具有对称性，即DKL(p||q)≠DKL(q||p)，KL散度没有满足三角不等式。