Jinlong's Blog

Entropy和Information Gain

Entropy用来判断一个数据集的Impurity,公式如下:
/uploads/entropy.jpeg
Information Gain用来表示一个特征对数据集进行分类的效果,公式如下:
/uploads/info_gain.jpeg
参考:InfoGain.pdf