信息论 · 信息的科学
📌 一句话理解
信息论就是“研究信息怎么量化、怎么传输”的科学：它告诉我们一条消息里有多少信息，怎么传才不会出错。
📡 信息论是什么？
信息论是研究信息的量化、存储和通信的数学理论。由克劳德·香农于1948年创立，被称为“信息时代的数学基础”。
┌─────────────────────────────────────────────────────────────────┐
│ 信息论解决什么问题？ │
├─────────────────────────────────────────────────────────────────┤
│ │
│ ┌─────────────────────────────────────────────────────────┐ │
│ │ │ │
│ │ 问题1：这条消息里有多少信息？ │ │
│ │ “今天太阳从东边升起” → 信息量 = 0（大家都知道） │ │
│ │ “明天会下雨” → 信息量 > 0（不一定知道） │ │
│ │ │ │
│ │ 问题2：怎么把消息传得又快又准？ │ │
│ │ 电话、网络、卫星通信，都在用信息论的原理 │ │
│ │ │ │
│ └─────────────────────────────────────────────────────────┘ │
│ │
└─────────────────────────────────────────────────────────────────┘
🔧 信息论的核心概念
| 概念 | 说明 | 例子 |
|---|
| 信息量 | 事件的不确定性越大，信息量越大 | “太阳从东边升”信息量=0 |
| 熵 | 信息量的平均值，衡量不确定性 | 天气越不确定，熵越大 |
| 信道容量 | 信道能传输的最大信息量 | 网速越快，容量越大 |
| 编码 | 把信息转成适合传输的形式 | 文字→二进制 |
| 冗余 | 重复的信息，用于纠错 | 校验码、重复发送 |
┌─────────────────────────────────────────────────────────────────┐
│ 信息量与不确定性的关系 │
├─────────────────────────────────────────────────────────────────┤
│ │
│ 信息量 = 消除的不确定性 │
│ │
│ ┌─────────────────────────────────────────────────────────┐ │
│ │ │ │
│ │ 事件越确定 事件越不确定 │ │
│ │ 信息量越小 信息量越大 │ │
│ │ │ │
│ │ “太阳从东边升” “明天是晴天还是下雨？” │ │
│ │ │ │ │ │
│ │ ▼ ▼ │ │
│ │ 信息量 = 0 信息量 = 1 bit │ │
│ │ （大家都懂） （消除了不确定性） │ │
│ │ │ │
│ └─────────────────────────────────────────────────────────┘ │
│ │
└─────────────────────────────────────────────────────────────────┘
📊 香农的三大定理
| 定理 | 内容 | 通俗解释 |
|---|
| 无失真信源编码定理 | 信息可以用最短的码来表示 | 压缩文件不丢信息 |
| 有噪信道编码定理 | 在噪声中也能可靠传输 | 信号再差也能传对 |
| 信道容量定理 | 信道有最大传输速率 | 网速有上限 |
🏠 信息论在生活中的应用
| 应用 | 信息论的作用 |
|---|
| 文件压缩（ZIP、RAR） | 用更少的空间存信息 |
| 手机通信 | 在噪声中准确传输声音 |
| Wi-Fi | 多设备共享信道 |
| 硬盘存储 | 用编码保证数据正确 |
| 二维码 | 用纠错码保证脏了也能扫 |
| CD/DVD | 划痕也能读出来 |
┌─────────────────────────────────────────────────────────────────┐
│ 你每天都在用信息论 │
├─────────────────────────────────────────────────────────────────┤
│ │
│ ┌─────────────────────────────────────────────────────────┐ │
│ │ │ │
│ │ 打电话 ──► 声音压缩 → 传输 → 还原声音 │ │
│ │ （信息论让声音变小，还能听清） │ │
│ │ │ │
│ │ 看视频 ──► 视频压缩 → 传输 → 播放 │ │
│ │ （信息论让视频变小，还能看清） │ │
│ │ │ │
│ │ 扫码支付 ──► 二维码有纠错 → 脏了也能扫 │ │
│ │ （信息论让码更“强壮”） │ │
│ │ │ │
│ └─────────────────────────────────────────────────────────┘ │
│ │
└─────────────────────────────────────────────────────────────────┘
👨🔬 香农是谁？
| 项目 | 内容 |
|---|
| 姓名 | 克劳德·香农（Claude Shannon） |
| 国籍 | 美国 |
| 贡献 | 创立信息论，提出“比特”（bit）概念 |
| 时间 | 1948年发表《通信的数学理论》 |
| 地位 | “信息论之父”、“数字时代奠基人” |
💡 小提示：你手机里的“比特”（bit）、“兆”（MB）这些单位，都来自香农的理论！
📖 经典例子：猜数字游戏
┌─────────────────────────────────────────────────────────────────┐
│ 猜数字游戏 │
├─────────────────────────────────────────────────────────────────┤
│ │
│ 规则：猜一个1-100之间的数字，每次问“是不是？” │
│ │
│ 最优策略：每次问中间的数，排除一半可能 │
│ │
│ 问：大于50吗？ → 是，范围缩小到51-100 │
│ 问：大于75吗？ → 否，范围缩小到51-75 │
│ 问：大于62吗？ → 是，范围缩小到63-75 │
│ ... │
│ │
│ 最多7次就能猜中！ │
│ │
│ 这就是信息论的应用：每次提问获得1比特信息， │
│ 2^7 = 128 > 100，所以7次足够 │
│ │
└─────────────────────────────────────────────────────────────────┘
🔗 相关术语
✅ 自测小问题
- 信息论是谁创立的？哪一年？
- “信息量”和“不确定性”有什么关系？
- 信息论在生活中有哪些应用？
点击查看答案
- 克劳德·香农，1948年
- 不确定性越大，信息量越大；确定的事信息量为0
- 文件压缩、手机通信、Wi-Fi、二维码纠错、CD/DVD等
📚 教材链接
- 教材位置：第二章 2.3.2 计算机的工作原理
- 教材位置：第二章 学业评价 单选题第3题