事情源于国庆、中秋双节回家，看到Lina 总是背着我输入IPhone 密码想到的（上次因为输入密码次数过多导致重新刷机，所以她不让我碰她的IPhone），我猜想这：如果我能够瞄她输入密码的数字和顺序，那么我就可以知道并记住密码，并在“偷”到IPhone 后以同样的密码进入。为了避免密码输入被人偷窥到而导致密码泄露，自然而然会有些想法：一、有没有什么方式让每次输入的密码都不同；二、更进一步，有没有哪种方式让她当着我的面输入密码，我也不知道密码是什么呢？
信息论是应用数学，电子信息工程和计算机科学相关信息量的一个分支。信息论最早是由香农同学发展起来的，他提出了信号处理操作如数据压缩和可靠地存储、传输数据的基本限制。现已推广并发展到多个领域：自然语言处理（NLP）、加密、包含通信网络更大范围的网络，如神经网，还有量子计算、其他形式的数据分析等等。
衡量信息的一个重要工具是熵（或者称为信息量，为统一起见，下文将全部用熵代替），它用来表示在信息中存储或通信一个符号需要的平均比特长度。熵量化了预测一个随机变量的值的不确定性。比如，说出一次投币过程的结果（两个等概率可能出现的结果）比说出一次掷骰子的结果（六个等概率可能出现的结果）的信息量要少。
应用到信息论基础涉及但不局限于以下方面：无损压缩、有损压缩和信号编码等。
