作业帮信息论中关于信息量概念的问题
来源：学生作业帮 编辑：作业帮 分类：数学作业 时间：2024/05/15 20:03:58
信息论中关于信息量概念的问题
假设信源X发出的消息符号集合为｛1,2,3｝,且是随机的.信源y的消息符号集合也是｛1,2,3},但是是如下有规律的排列：1,2,3,1,2,3,1,2,3……,信源y比信源x有规律,按照道理说每个消息符号的信息量比x要小,但是根据公式 I（a)＝－log p(a),信源x的消息每一个消息符号所含的消息量和信源y的每个消息符号所含的信息量是一样的.
请问是怎么回事?
假设信源X发出的消息符号集合为｛1,2,3｝,且是随机的.信源y的消息符号集合也是｛1,2,3},但是是如下有规律的排列：1,2,3,1,2,3,1,2,3……,信源y比信源x有规律,按照道理说每个消息符号的信息量比x要小,但是根据公式 I（a)＝－log p(a),信源x的消息每一个消息符号所含的消息量和信源y的每个消息符号所含的信息量是一样的.
请问是怎么回事?
这是一个概念性的问题.信息量也就是熵是一个建立在随机型性基础上的概念.信息量是随机性大小的度量.信源X是随机,可以认为信源X发出符号1,2 ,3的概率都是1/3,即可以按公式I（a)＝－log p(a)来计算.但是 信源y是一个确定的信源,t=0时刻发1,t=1时刻发2,t=2时刻发3等等,这是有规律可循的,随机性为0,即信源y是确定的,它的信源熵为0,不能提供任何信息,信息量为0!所以信源x的消息每一个消息符号所含的消息量大于信源y的每个消息符号所含的信息量（信源y的每个消息符号所含的信息量为0）