LIBER I · 《A TUTORIAL INTRODUCTION TO THE MDL PRINCIPLE》 · GRÜNWALD · 2004
教程文章：最平缓的第一级台阶
是什么：格林沃尔德 2004 年的 MDL 教程（arXiv 公开，也收入他与 Myung、Pitt 合编的论文集）。篇幅适中、例子扎实，是公认最友好的 MDL 入门读物。它不要求你先懂柯氏复杂度——反而用 MDL 帮你建立对"复杂度即码长"的直觉，再顺势引向背后的深理论。
SKELETON · 骨架
三个层层递进的想法
- 两段式编码（crude MDL）：选模型 = 最小化"编码模型的比特 + 用模型编码数据的比特"。这就是你在实验台上亲手拖出的那条 U 形曲线——过简则残差大，过繁则模型胖。
- 精炼 MDL（refined MDL）：用"随机复杂度""归一化最大似然"把两段式的随意性去掉，给出一个更干净、更有理论保证的模型选择准则。这是 MDL 从直觉走向严格的关键一步。
- 与主流的对话：MDL 与贝叶斯（模型长度≈负对数先验）、与 AIC/BIC、与最大似然的异同——让你看清它在统计学地图上的确切位置，而不是把它当孤立奇技。
Signature Idea · 代表思想
"学习就是找到数据里的规律，而规律就是能被用来压缩数据的东西。"格林沃尔德反复回到这句朴素的信条：一个模型只有当它能帮你把数据编码得更短时，才真正学到了东西。分不清信号与噪声？看能不能压缩——噪声不可压，信号可压。
READING NOTES · 读法
怎么读
- 先在实验台建立肌肉记忆，再读教程：你会发现文字讲的正是你刚拖出来的那条曲线。
- 粗读两段式部分、精读它与贝叶斯的对照——那是连接书架贝叶斯站的桥。
- 读完想要严格地基（K、不变性、不可计算性），转Li & Vitányi 前四章。
Route · 进阶路线
吃透教程后，想系统学 MDL 的人可读格林沃尔德 2007 年的专著《The Minimum Description Length Principle》（MIT Press）——现代 MDL 的集大成，但那是教材而非入门，按需再上。本站的三级阶梯里，它属于"第一级的加长版"。
REGULARITY IS COMPRESSIBILITY