通信原理课件第3课源代码: 信息论部分

源和源编码源和源编码信道编码发送滤波器调制器信道解调器接收滤波器信道解码源解码信宿信息测量方法: 信息量和信息熵信息编码方法: 固定速率编码和可变长度编码的含义信息率失真函数信息源的有限失真编码（模拟信号→数字信号）一，信息源的分类及其数学模型信息源可以从消息表示的形式分为离散源和连续源1）离散源: 文字，电报等；单消息离散源: X，P（X xi），X（x 1，x 2，L，xn）PX（xi）P（xx 1，1），x2，P（x2），L信源编码分为，L，xn P（xn）2）连续源: 声音，图像单决策率和连续信息源: Xp（x）xp（x（）a，b）其中p（x）表示特定连续值x. 实际上，大多数消息是连续的模拟消息: 例如，声音和图像的连续模拟信号源是离散的. 离散消息序列由一个随机过程X（t）值X（t）在一系列时间点描述，以形成一系列离散序列XX 1LXlLXL由多个单个消息组成，其中每个符号的随机值可以是随机的选择以形成具有L个符号的随机序列长度的消息序列源. 长度为L的离散源可以由长度为L的随机向量表示. XX1LXlLXL当消息序列中的每个消息符号Xi均以概率P（xi）取随机值xi时，随机向量X获得一个随机样本，该样本表示为: xx1LxlLxL随机向量X采集的样本x的概率表示为L维联合概率: P（x）P（x 1 L x L）P（x 1）P（x 2 | x 1）P（x 3 | x 2 x 1）LP（x L | x L 1 L x 2 x 1）LP（x）P（x 1 L x lL x L）P（x 1）P（x 2）离散消息序列源的P（x 3）LP（x L）P（xi）可以表示为: ama im 1 1Lam lLam n PX（L x）P（aa 1,1），a2，P（a2）， L，L，P a（a nL n L）2.信息量和信息熵信息: 1）最大特征: 不确定性随机性或随机性2）概率用于度量信息的随机性3）越强随机性，所包含的信息量越大；随机性越弱，包含的信息量就越少. 信息论的主要内容之一是如何测量信息的随机性对于单个信息，当X将概率P（xi）作为值xi时，其信息量记录为: IP（xi）和信息熵单个消息源的信息量记录为: H（X）E IP（xi）EI（P i）即: 取信息量的统计平均值1）单消息离散源的自我信息量为单个消息X时，它的取值xi的概率为P（xi），概率为P（xi），并且随机性较强，则生成的信息量较大，否则生成的信息量较小，则: 当P（xi）增加时， I [P（xi）]减小；当P（xi）减小时，I [P（xi）]增大，即X = xi产生的信息量为其相应概率的减小函数IP（X xi）IP（xi）lo gP（1 xi）lo g P（xi）由于信息量满足可加性: 如果两个单个消息X，Y彼此独立，则分别以概率P（xi）和P（yi）取xi和yi时生成的信息应为两者之和: IP（xi）IP（yi）log P（1 xi）log P（1 yi）log P（xi）log P（yi）2）两个单消息离散源的组合自信息两个单个消息X和Y在统计上相关，条件自身信息和两个消息联合自我信息的计算方式如下: IP（xi）lo gP1（xi）lo gP（xi）被称为消息，另一个消息IP（yi）lo gP1（yi）lo gP（yi）IP（xi | yi）lo g1 P（xi | yi）lo gP（xi | yi）消息X和消息Y的信息量IP汇总的信息量（yi | xi）lo g1 P（yi | xi）lo gP（yi | xi）IP（xi yi）lo gP1（xi yi）lo gP（xi yi）许多可能性，信息的熵可以理解为此的输出信息源具有多种可能性香农将输出信息源符号中包含的平均信息量. 源数量的信息熵用于描述源的平均不确定性. 其计算公式如下: nH（X）E IP（xi）P（xi）lo gP（xi）i 1熵的最大值是: Hmax（X）logn当且仅当: P（x 1）P （x 2）LP（xn）熵的单位取决于对数的底数: 1）如果公式中的对数基于2，则熵的单位为Bits； 2）如果公式中的对数基于e，则熵的单位为Nat； 3）如果公式中的对数基于10，则熵的单位为Desc（Det）三种关系: 1位0. 6 9 3 N at0. 3 0 1 D et在已知符号中前提是，联合熵和条件熵的符号为: 生成的信息熵m H（Y）E {I [P（yj）]} E [lo g P（yj）] P（yj）lo g P（yj ）H（X | Y）两个具有E相同字符的E {I [P（符号xi |数字yj）总数]与E产生[数字L出生于P之后的第一个字母g利息（x字母ji表示熵1 | y利息高达j =）]熵，在一定时间内当in符号到来时，符号字母jm 1的两个数字P就是感兴趣的（x的iy数量不等于j）. lo数的g为人鼎P（He Daxi | yj之前），在H（Y | X）E {I [P [y（yj |字母xi）]感兴趣}熵E [+ P处的对数具有（yj当存在n个前缀m时，知道| xi具有P的对数下的P（y字母j |利息xi）（在i与yj之间的x之前）.

如果两个i字母，一个信息j符号和一个熵符号彼此独立，则等待nmH（X，Y）E {I [P（x iy j）]} E [log P（ x iy j）]建立为P，（xi不是yj），则log大P（x iy为j）建立i 1j 1两者之间的关系: H（X，Y）H（X） H（Y | X）H（Y）H（X | Y）H（X）H（X | Y）H（Y）H（Y | X）源冗余: 假设某个源X可以输出L个符号X1， X2 ... XL，L个符号之间存在记忆，即它们彼此相关，则源熵可以表示为: H（X）H（X 1，X 2 LXL）H（X 1 ）H（X 2 | X 1）H（X 3 | X 2，X 1）LH（XL | X 1，X 2 LXL 1）平均定义消息序列源的消息熵: HL（X） L 1H（X1，X2LXL）当L→∞，H（X）l L im H（XL | X 1，X 2 LXL 1）时，以下公式成立: 0 H（X）L lim H（XL | X 1 ，X 2 LXL 1）LH 2（X）H 1（X）H 0（X）log 2 N，那么过量信息的数量为: H0（X）H（X）源效率: H（X）H0（X）源冗余: R11H（X）H0（X）源的效率越低，冗余度越大. 指示源发送的信息包含过多的组件. 如果不进行处理，它将在传输期间占用信道资源，从而导致信道利用率降低. 3.互信息H（X）表示X中包含的平均源输出. 平均信息量是接收端接收到的信息量，然后H（X | Y字母）表示X在以下条件下带来的信息量. 被称为相互Y信息的条件: I（X; Y）.

两者之间的差异是信息量H（Y）H（X | Y）I（X; Y），这是因为知道Y会降低H（X，Y）H（X）H（Y | X ）通过XH（X）H（X | Y）ElogP（xi）ElogP（xi | yi）ElogP（xi）logP（xi | yi）E log P（xi P（xi |）yi）Ei（xi; yi） I（X; Y）H（Y）H（Y | X）E log P（yi）P（yi | xi）Ei（yi; xi）各种熵之间的关系: 第四，无失真离散源编码定理源代码: 1）离散源输出各种离散消息和符号； 2）为了能够在信道上传输离散的消息和符号，必须将这些消息和符号数字化，即，执行源编码以确保无失真源编码的两个要求: 1）信息速率必须为小; 2）接收端可以从编码序列中解码并恢复原始信息. 两种编码方法: 1）等长编码: 编码器输出的所字相同2）不等长编码: 编码输出的码字长度不同该编码器的要求: 1）无失真: nL mK 2）有效性: nL mK如果要确保完全无失真，即: 对于等概率离散源，nL mK可以对等概率不相等的离散源使用等长编码方法: 1无需对每个消息序列进行编码； 2）仅考虑高概率的消息序列. 3）不对低概率的消息序列进行编码，因此该条件不能满足无失真的全部含义. 当失真不相等时，根据概率大小将消息序列集分为两部分: 高概率消息序列集序列集出现在源相等概率中，近似概率为1: 设备: 当H不是（X等）时，n 1n: log1nlognnL mK K logn L logmH'（X）H（X）KL llo oggmn KL lH og（2 X m）KL lo g 2m H（X）因此，只要编码器输出的信息量接近无失真K Llog 2m，编码器就可以是等长编码定理，该定理使用等长编码来定义编码器RK Llog2m输出的信息速率. 定理: KH（X）L log 2 m用于二进制编码: H（X）1KH（X）log2m LL log2m用于K LH（X）1 KH（X）H（X）1 KH（X）lo 22LL lo g 22LL表示每个字母的平均值. 源符号的编码长度，其值与源的信息熵有关，因此称为熵编码. 使用变长编码时，必须有一种编码方法，使源R（KL）log2m的信息速率接近信息熵变长编码（非全树变长编码）: 起点的概率码字的大小符号被用于采用较长和较短的编码的编码系统中，这与前代不同: 前者允许使用码字: 最后一个x1: 0-位x2: 10 x31: 110 x4: 1011如果要编辑代码的字符串有或多个，则为: 0不是11001000011110字代码的根，并且不延迟1长度的预编码可以输入0行解码x20 110 0 10 0 0 0 111 10x4x3代码字0x1不可扩展: 扩展允许的代码字，即在允许的代码字之后添加数字，则未获得允许的代码字的非扩展异构前缀Sex Huffman编码0.20 0.200.260.350.390.61 0，然后每9个符号0取0.1. Th e的代码字19是0: .200.260.35 00.39 1 1如果0.1x收到81: 1至0一个0.字符串1x82: 序列11列: x3: 000.019 x4: 001 0.17010000.01701101100100.0108010110100.x205: 0010 x60: . 02161011 0.39 0.190.61x7: 0111与0.1 5基于0相同. 不同15超前和0非.17扩展1长0.3 0.3解码0.10 0100 000 0101.206 11 001 000 0111 0100.11 0.01 1第六，信息率失真函数等距编码定理可变长度编码定理和可变长度编码定理是为了确保信息完全无失真，并且近似完全无失真，但是在实际应用中，不需要完全无失真. 只要满足某些条件，恢复信息就会失真，大约可以恢复源发送的消息: 1）在实际通信中，源通常是连续的，信息速率是无限的； 2）实际的信道带宽是有限的，所以信道的容量是有限的； 3）在现实生活中，不需要获取完全无失真的消息. 通常，仅需要大约重现原始消息. 允许的是，真实评估者定义了信息速率失真函数R（D），该函数允许一定程度的失真. 在这种情况下，可以将源输出的信息速率压缩为R（D）失真函数，并且平均失真. 令X表示单个消息源的值空间，而Y表示单个消息的值空间. ）d ij0，0，xx ii yy jj，i 1，2，L，n，j 1，2，L，m那么平均失真为: nm d P（xi，yj）d（xi，yj）i1 j1nmP （xi）P（yj | xi）d（xi，yj）i1 j1设D表示保真度最大失真度D应为平均失真的上限: D d也可以称为保真度条件确定，即已知P（X），确定最大允许失真D之后，需要选择通道使平均失真小于D. 任何满足要求的通道都称为具有D失真允许的实验通道，称为实验频道. 实验通道集为: nmP DP（yj | xi）: D d P（xi）P（yj | xi）d（xi，yj）i 1j 1其中P（yj | xi）称为跃迁概率. 通道，即选择那些过渡概率以确保平均失真不超过上限D的通道互信息，可以理解为源. 宿与目的地之间传输的信息量: mnm I（X; Y）P（yj）logP（yj）P（xi）P（yj | xi）logP（yj | xi）j1i1 j1 nmP（xi）P（yj | xi）log mP（yj | xi）i1 j1P（xi） P（yj | xi）j1IP（xi）; P（yj | xi）性质1: 互信息是先验概率P（xi）的凸函数；性质2: 互信息是转移概率P（yj | xi）的向下凸函数. 利用性质2和测试信道集的表达式: 1）给出源P（X）和最大失真D后； 2）确定测试信道集合后，满足条件转移概率集合； 3）互信息是转移概率的凸函数，则可以肯定地找到一个最小化I（X; Y）的测试通道，即一定的转移概率P（yj | xi）使I（X; Y）达到最小值R（D）P（ymj | x iin）P DI P（xi）; P（yj | xi）此最小值R（D）称为信息速率最小失真函数物理含义: 1）信息速率失真函数是在保真度条件下必须获得的平均最小值，即最小值源必须输出的信息率； 2）说明保真度条件下源编码率无失真情况已压缩，R（D）是保真度条件下压缩源的极限值，即，源的最小可压缩信息率. 七，连续源失真编码模拟信号的数字传输: 连续源m（t）采样，量化sk编码的数字通信系统s？ K解码低通滤波吗？ （T）模拟信号数字化（PCM）: 1）采样: 在时域中离散化信号； 2）量化: 信号值离散化； 3）编码: 将数据的量化值离散化为二进制序列PCM —采样定理采样过程: 采样定理: 如果对带宽有限的连续信号进行采样并且采样率达到一定值，则根据确定原始信号1）低通采样定理: 对于受限于频带（0，fH）的信号2）带通采样定理: 针对信号fs 2 fH低通采样定理，限制于（fL，fH） : 连续模拟信号x（t），其频带限制为（0信源编码分为，fH）. 如果以Ts 12 fH秒的相等间隔采样，则x（t）将完全由获得的采样值确定. 序列信号Ts（t）: 间隔为Ts的一系列脉冲，即周期信号Ts（t）（tkTs）k Ts（f1）Ts（fkkfs）采样序列: xs（t）x（t）Ts （t）x（kT s）（tkTs）在频域中: k将XX（sf（）f）kfXs当作频率轴X扩展（f extension）上的（f single）位fs（f）1 Ts（fk TsX定理（fk kfs）要求fs 2 fH. 如果不满足要求，则将发生频谱混叠，从而导致混叠失真信号的重建过程: 使用理想的低通滤波器，其截止频率为fH可以恢复传递函数和脉冲响应. 原始信号低通滤波器: H（f）1 2 fH，f fH0，f fH重构信号: h（t）sin2 fHt 2 fHtx？ （t）xs（t）h（t）sin 2 fH 2 fHttkx（kTs）（tkTs）kx（kTs）sin 2 fH（t 2 fH（t kTs kTs））内插公式<

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/tongxinshuyu/article-195433-1.html