一个定义,接通四件大事
压缩 = 学习 = 预测
能压缩一段数据,就意味着你找到了它的规律;找到规律,就能预测它的续写。无损压缩率与预测能力在数学上是一回事——这解释了为什么大语言模型的训练目标(预测下一个词)本质上是一台压缩机。
奥卡姆剃刀不再是审美
"如无必要,勿增实体"两千年来是一条哲学格言。Solomonoff 归纳把它变成定理:给每个假设按其最短程序长度赋先验概率,最简单的解释在数学上就是最可能对的——剃刀有了刀刃。
智能的理论天花板
把 Solomonoff 归纳装进一个决策智能体,就得到 Hutter 的 AIXI——在数学上最优的通用人工智能。它不可计算,却像光速一样标定了"学习"这件事的绝对上界,是一切 AI 的北极星。
先上手 → 再筑基 → 后登顶
这门学问的纯理论核心(K 不可计算)会劝退新手。正确的进入顺序是反过来的:先从可操作的 MDL 尝到甜头,再回头补严格的柯氏复杂度,最后仰望 AIXI 那座不可计算的高峰。
六页怎么走
历史与人物先讲三个人几乎同时发现同一件事:Solomonoff 为了归纳、Kolmogorov 为了随机性、Chaitin 为了极限,殊途同归于"最短程序"。核心概念是主菜:柯氏复杂度、不变性定理、不可计算性、Solomonoff 归纳、MDL、Chaitin 的 Ω,配签名互动「MDL 实验台」——亲手拖动模型复杂度,看总描述长度画出那条 U 形曲线,在过简与过繁之间找到理解的最优点。MDL 入口与教材与 AIXI逐本拆骨架、给读法、亮保留意见。压缩与决策收束全站:五个推论、五个检查动作,并与书架诸站的暗线合拢。
COMPRESSION IS COMPREHENSION