信息论是应用数学，电子信息工程和计算机科学相关信息量的一个分支。信息论最早是由香农同学发展起来的，他提出了信号处理操作如数据压缩和可靠地存储、传输数据的基本限制。现已推广并发展到多个领域：自然语言处理（NLP）、加密、包含通信网络更大范围的网络，如神经网，还有量子计算、其他形式的数据分析等等。
衡量信息的一个重要工具是熵（或者称为信息量，为统一起见，下文将全部用熵代替），它用来表示在信息中存储或通信一个符号需要的平均比特长度。熵量化了预测一个随机变量的值的不确定性。比如，说出一次投币过程的结果（两个等概率可能出现的结果）比说出一次掷骰子的结果（六个等概率可能出现的结果）的信息量要少。
应用到信息论基础涉及但不局限于以下方面：无损压缩、有损压缩和信号编码等。
