从归纳问题到 AI 的天花板
香农：信息论奠基
香农用熵度量一个信源的平均信息量——它关心的是概率分布，不是单个对象。"这一条特定的消息本身有多少信息"这个问题，香农框架回答不了。算法信息论正是来补这个缺口的。（书架 BOOK 01 时代的同代产物。）
Solomonoff：为归纳而生
雷·所罗门诺夫想解决哲学最古老的难题——归纳（凭什么从有限观察推断普遍规律）。他的答案惊世骇俗：给每个可能的解释按其最短程序长度赋概率，越短越可能。这就是 Solomonoff 归纳与"通用先验"，把奥卡姆剃刀第一次写成了数学。他是三人中最早的，却长期最被埋没。
Kolmogorov：为随机性而生
概率论泰斗柯尔莫哥洛夫从完全不同的动机出发：什么叫一个单独的序列是"随机"的？他的定义石破天惊——随机 = 不可压缩 = 没有比它自身更短的描述。这个量后来以他命名（柯氏复杂度 K），学科也因他之名而立。
Chaitin：为极限而生
格里高利·蔡廷（发现时还是个少年）第三次独立抵达同一概念，动机是探测数学的边界。他后来构造出停机概率 Ω——一个定义完好、却不可计算、且"最大随机"的实数，把哥德尔不完备性翻译成了信息论语言：任何形式系统只能证明有限多的"这串是随机的"。
不可计算性：美丽而残酷的定理
三人很快都撞上同一堵墙：K(x) 是不可计算的——不存在任何算法，能对任意字符串输出它的最短程序长度（与停机问题同源）。这个理论最深刻的概念，恰恰永远无法被精确算出。整个学科此后的应用史，都是"如何绕过这堵墙"的历史。
Rissanen：MDL——把理论落地
约尔马·里萨宁在 IBM 提出最小描述长度（MDL）原则：既然真正的 K 算不出，就用实际的、可计算的压缩来近似它。选模型 = 选那个"模型长度 + 用模型编码数据的长度"之和最短的。理论的幽灵终于落地为统计学家能用的方法。
Li & Vitányi：写出标准教材
李明与保罗·维塔尼合著《An Introduction to Kolmogorov Complexity and Its Applications》，历经多版修订，成为这门学科几十年不衰的权威教科书——严格、全面，也是本站的第二级台阶。
Hutter：AIXI，智能的理论极限
马库斯·胡特把 Solomonoff 归纳与序贯决策论合成 AIXI——一个在数学上对任意未知环境都最优的通用智能体。它不可计算（继承了 K 的诅咒），却像一座灯塔，标定了"通用智能"这件事的绝对上界。《Universal Artificial Intelligence》是它的正典。
Grünwald：MDL 的现代集大成
彼得·格林沃尔德的《The Minimum Description Length Principle》（MIT Press）系统整理了现代 MDL，把这门"理解即压缩"的手艺打磨成成熟的统计学分支。他 2004 年的教程文章，是本站为你选的第一级入口。
大模型时代的回响
"预测下一个词"的训练目标本质是无损压缩；缩放定律、"压缩即智能"的论断、用压缩率评估模型——算法信息论 60 年前的洞见，正成为理解当代 AI 的核心语言。Solomonoff 的幽灵，终于住进了数据中心。
五个把信息写成程序长度的人
雷·所罗门诺夫（1926 – 2009）
算法概率与通用归纳的创立者，三人中最早却最被埋没的一位。他一生只想回答一个问题：一台机器该如何从经验中学习？答案就是宇宙中最简单的假设最可能为真。
安德雷·柯尔莫哥洛夫（1903 – 1987）
二十世纪最伟大的数学家之一，概率论公理化的奠基人。晚年为"什么是随机"给出终极定义——学科以他之名，也因他的权威而被主流数学正式接纳。
格里高利·蔡廷（1947 – ）
少年成名的数学家。停机概率 Ω 的构造者——一个把哥德尔不完备翻译成信息论的、"知道但算不出"的数。他毕生痴迷于数学中不可约的随机性。
约尔马·里萨宁（1932 – 2020）
IBM 的信息论学家，MDL 原则的提出者。他做了三位先驱没做的事：把不可计算的理论，变成统计学家真能拿去选模型的可操作方法。
马库斯·胡特（1967 – ）
AIXI 的提出者，DeepMind 高级研究员。他把算法信息论推到最远处：如果不计算力代价，最优的通用智能长什么样？答案是一个美丽而不可计算的方程。