春迟(27)+番外
我严重怀疑老爷子是穿越的（狗头）
2.
我们现在很火的AI就用到了信息熵。
3，
香农在哈特莱的研究基础上完成公式，他把对数的底从10变成了2，以2为底，很符合他用0和1描述世界的逻辑，二进制从这里出现，然后苏联开始研究三进制
香农公式，一定存在某种方法使在发送速率小于信道极限传输速率的信道保证可靠传输。
信道容量就是最大互信息，互信息是一个测度，是一个随机变量包含另一个随机变量信息量的度量
4.
什么是好的通信？
是接受到的信息和对方发送的一模一样，不会漏掉哪个词让你听不懂，
不确定自己听到的对不对，就叫疑义度，H(X丨Y)，是损失掉的，
散布度H(Y丨X)，是噪声引入的
损失的越少，听到的信息就越大，传输过程中，理论上能传输的最大互信息，就是channel capacity，信道容量
降噪耳机也是一样的道理，噪声是可以被克服的
5.
Arikan首先解决的是BEC信道，也叫二进制擦除信道，binary erasure channel
Erasure 擦除，这是信号损失的形象说法，这个信道只有两种可能，要嘛擦除，接收端完全收不到信号，要嘛成功，完整传达，不存在传达部分
按照网上大佬的解释，我简单一点跟大家说一下，
假设有P的概率被擦除，那么成功传输的概率是1-p，前面我们讲过，信道容量的定义是最大互信息，他证明信道容量c就是1-p
1是必然事件，p是不确定因素
由于为p的信息在信道中损失，我们最多只能传输1-p，假设p是0.5，那就最多可以让一半的信息无疑义的传输成功
但能不能达成1-p就是香农所谓的极限？
我们来了解一个词，异或，
（异或是一种二进制数□□算，两个相同的数据异或，结果永远为0：不同得为1）
（异或就是信息内容的差别集合，通过这一步，信道带有全部信息。类似调制解调器）
（伽罗瓦二元域里加和减是一样的运算，这里的异或就是伽罗瓦域里的加法。）
Arikan教授用两个BEC信道进行一种操作，U2直接传输信道二，U1在传输信道一之前，与 U2异或得到X1，
再传，
也就是U1异或U2得到X1，
U2=X2
这样做的目的是使信息传输最大化，把信息按照约定编码标记拆分传输再根据编码组合达到更低的丢失率，压缩数据通过不同信道传输提高抗干预和传输速率
异或有个很厉害的特性，A异或B后得到C，
假如再将C和B异或，就能还原A
我们靠这个公式进行解码
还是刚刚的两个信道，我们收到两个信号，Y1和Y2，那么，如何还原U1U2呢？
BEC信道的特点是，只要传输成功，那就是正确的，那么
已知X1异或U2=U1
X1=Y1
X2=Y2=U2
那么，U1=Y1异或Y2
将计算合并，只有U1=Y1异或Y2这个结论，那么就创造了一个新的信道，在这个信道里，信息传输成功的概率变成了1-p乘1-p
被擦除的概率就是1-p的平方
假设p是0.5，那么这个新信道的信息将有0.75的概率被擦除
相较于一开始的概率0.5，这个新信道明显变差
既然有一个差信道，那么就有一个好信道
从刚才的U2入手，也得到一个新信道，这个信道的擦除率只有0.25，是目前最好的信道
如果按照这个安排增加信道，仅仅用八个信道相连，通过异或，出现了擦除率为0.0039的信道。
那么，只要将有效信息都编码在好信道里，舍弃无用的差信道，信息就能无损。
6.
在编程中用异或来实现不借用第三个变量让两个变量交换数值。
7
通信工程专业学在我这里就是天书。
明天见嗷！~
第13章 飘散如烟13
程霆将手翻过来，手掌朝上，似乎要接住她，但在那之前，小姑娘礼貌地收回爪子。
感叹：“arikan教授好厉害！”
他的手虚无地攥了攥，思考片刻，给与最公平的评价：“在此之前，Robert gallager提出的LDPC几乎达到香农极限，美国高通为主的阵营一直使用这种校验码。相较于高通领先几十年的基础布局，极化码并不是最优选项。”
林葵万万没想到，这人前面铺排这么久，到最后跟她说不是最优解。她就一时有点不知道怎么办。
女孩的眼睛小狗似的耷拉下来，程霆笑了。
“确切来说，极化码是宇通的筹码。”他说，“这个筹码让宇通在5G拿到了国际话语权，按照最新的行业标准，和LDPC平分江山。”
“所以我现在可以鼓掌了吗？”
程霆低声道：“现在回到你最初的问题，这个奖颁给arikan教授，与其说是感谢他对5G行业的贡献，其实更多是在弘扬一种精神。”
“什么精神？”
程霆的手在空中画了一条线：“发明LDPC 的Robert教授其实是arikan教授在MIT的老师，同时也是香农的学生。
香农、Robert、arikan，师承三代，提出、证论、超越，半个多世纪，他们完成了一场漫长的接力，信息论在很长一段时间都是无人问津的领域，arikan教授坐了二十年冷板凳，用外人无法想象的的执着和热情，追到了光。”
林葵永远都不会忘记，这一天，在影影倬倬的鬼片光影下，程霆带给她的震撼。
他只是很平静的给她讲了一个故事，但于林葵来说，她看到了那束光，看到了追光的人。
“程霆。”女孩糯糯地唤他，“我们会超过他们的，对不对？”