信息论基础

信息论是应用数学,电子信息工程和计算机科学相关信息量的一个分支。信息论最早是由香农同学发展起来的,他提出了信号处理操作如数据压缩和可靠地存储、传输数据的基本限制。现已推广并发展到多个领域:自然语言处理(NLP)、加密、包含通信网络更大范围的网络,如神经网,还有量子计算、其他形式的数据分析等等。

衡量信息的一个重要工具是熵(或者称为信息量,为统一起见,下文将全部用熵代替),它用来表示在信息中存储或通信一个符号需要的平均比特长度。熵量化了预测一个随机变量的值的不确定性。比如,说出一次投币过程的结果(两个等概率可能出现的结果)比说出一次掷骰子的结果(六个等概率可能出现的结果)的信息量要少。

应用到信息论基础涉及但不局限于以下方面:无损压缩、有损压缩和信号编码等。

继续阅读

Explicit Construction of Optimal Exact Regenerating Codes for Distributed Storage

原文地址

从文章字面意思来看讲的是最优再生码的显示结构。文章主要贡献是给出了d = n-1 情况下的精确修复(Exact repair)MBR 一个通用的结构。

在分布式存储系统中,通过传输信息修复失效节点中的数据可以分为两类:精确修复(Exact repair,即修复得到的新数据和原来因节点失效的数据相同)、功能性修复(Functional repair,即修复得到的数据可能和原失效数据不同,但修复保持着数据的冗余度)。精确修复又有一类只对系统码中的原始数据部分进行精确修复,对校验部分进行功能性修复。三者包含范围关系如下:

                                  image

继续阅读