利用熵加权决策树(Weighted Decision Trees using Entropy)

我建立使用二进制分类树互信息增益作为分离功能。但是，由于在训练数据被朝向几个类偏斜，最好是由逆频率类来加权每个训练样例。

如何重量训练数据？当计算概率估计熵，做我采取加权平均？

编辑：我想用权熵的表达式。

Answer 1:

国家价值的加权熵作为投资风险的度量。
http://www56.homepage.villanova.edu/david.nawrocki/State%20Weighted%20Entropy%20Nawrocki%20Harding.pdf

Answer 2:

你引用维基百科的文章进入权。它说：

加权变异
在互信息的传统配方，

每个事件或通过（X，Y）指定的对象通过相应的概率p（X，Y）进行加权。这是假定所有对象或事件是从它们发生的概率相距相等。然而，在某些应用中它可能是某些物体或事件比其他人更显著，或关联的某些模式比其他更重要的语义的情况。

例如，确定性映射{（1,1），（2,2），（3,3）}可以比确定性映射{（1,3），（2,1被视为强（由一些标准）），（3,2）}，虽然这些关系会产生相同的互信息。这是因为互信息是不敏感在所有的变量值的任何固有的排序（信度1954，库姆斯＆道斯1970，洛克希德1970），并且因此是不敏感在所有相关联的变量之间的关系映射的形式。如果需要，前者关系 - 显示所有变量值一致 - 来判断比后来的关系更强，那么就可以使用下面的加权互信息（Guiasu 1977）

其中放置一个加权值w（X，Y）上的每个可变值的共现，P（X，Y）的概率。这允许一定概率可以携带比其他人更多或更少的意义，从而使相关的整体或prägnanz因素的量化。在上述例子中，使用更大的相对权重为W（1,1），W（2,2），并且w（3,3）将具有更大的评估为信息性的关系{（1,1）的作用，（ 2,2），（3,3）}比的关系{（1,3），（2,1），（3,2）}，其可以是在模式识别的一些情况下，等期望的。

http://en.wikipedia.org/wiki/Mutual_information#Weighted_variants