1、什么是信息熵?
1948年香农提出了信息熵(Entropy)的概念。
信息理论:
1、从信息的完整性上进行的描述:
当系统的有序状态一致时,数据越集中的地方熵值越小,数据越分散的地方熵值越大。
2、从信息的有序性上进行的描述:
当数据量一致时,系统越有序,熵值越低;系统越混乱或者分散,熵值越高。
“信息熵” (information entropy)是度量样本集合纯度最常用的一种指标。
二、python实现信息熵的计算代码
1、导入库
importnumpyasnp importpandasaspd
2、 准备数据
data=pd.DataFrame( {'学历':['专科','专科','专科','专科','专科','本科','本科','本科','本科','本科', '研究生','研究生','研究生','研究生','研究生'], '婚否':['否','否','是','是','否','否','否','是','否','否','否','否','是','是','否'], '是否有车':['否','否','否','是','否','否','否','是','是','是','是','是','否','否', '否'], '收入水平':['中','高','高','中','中','中','高','高','很高','很高','很高','高','高', '很高','中'], '类别':['否','否','是','是','否','否','否','是','是','是','是','是','是','是','否']})
3、定义信息熵函数
#定义计算信息熵的函数:计算Infor(D) definfor(data): a=pd.value_counts(data)/len(data) returnsum(np.log2(a)*a*(-1))
#print(infor(data["学历"]))#测试结果为:1.584962500721156
声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。
评论(0)