LIBER II · 《AN INTRODUCTION TO KOLMOGOROV COMPLEXITY AND ITS APPLICATIONS》 · SPRINGER
标准教材:把直觉钉成定理
是什么:李明与保罗·维塔尼合著,柯尔莫哥洛夫复杂度几十年不衰的权威教科书(Springer,历经多版修订)。它全面到近乎百科——从纯理论到在物理、生物、学习中的应用无所不包。正因如此,新手最大的错误是想通读它。
SKELETON · 骨架
只读前四章:地基就够了
- 预备(第 1 章):图灵机、可计算性、香农信息论的快速回顾——把工具摆齐。
- 柯氏复杂度(第 2 章):K 的正式定义、不变性定理(那个让整门学科成立的时刻)、K 的基本性质与不可计算性的严格证明。全书的心脏。
- 算法概率(第 3–4 章):通用先验、Solomonoff 归纳、以及它与柯氏复杂度的深刻联系("编码定理")。读到这里,你就理解了贝叶斯先验的终极形态。
How To Read · 读法
前四章精读,其余当参考手册。需要数学成熟度(可计算性、概率论基础),但作者的讲解在同类中已属清晰。配合本站概念页与实验台建立的直觉读,会顺畅很多——先有画面,再看证明。
Caveat · 一点保留
厚、硬、以数学证明为主,不是"读物"是"教材",需要坐下来啃。以及那个贯穿全学科的现实:它教你的核心量永远算不出来——本书的价值是让你严格地理解这个不可计算的对象,而不是使用它。想要"能用",回 MDL;想要"真懂",读这四章。
LIBER III · 《UNIVERSAL ARTIFICIAL INTELLIGENCE》 · HUTTER · SPRINGER 2005
AIXI:智能的理论极限
是什么:马库斯·胡特的《Universal Artificial Intelligence: Sequential Decisions based on Algorithmic Probability》(Springer 2005)。它回答一个终极问题:如果不计算力代价,最优的通用智能长什么样?答案是 AIXI——把 Solomonoff 归纳(用最短程序为一切可能环境赋概率)与序贯决策论(选期望回报最大的行动)合成的一个方程。
SKELETON · 骨架
两块积木,一个方程
- 归纳的一半:AIXI 同时考虑每一个可计算的环境假设,按其程序长度加权(奥卡姆:越短越可信)——这是 Solomonoff 归纳的直接搬用。
- 决策的一半:在这个对世界的加权信念上,选那个使未来期望回报最大的行动。归纳 + 决策 = 一个在任意未知环境中都可证明最优的智能体。
- 严格的边界:全书的技术核心是给 AIXI 的性能证明各种上界与最优性定理——把"通用智能"从口号变成可证明的数学对象。
Caveat · 一点保留
两条务必记住的边界:① AIXI 不可计算(继承了 K 的诅咒),它是灯塔不是蓝图——别把它当成"造 AGI 的配方",可计算的近似(AIXItl、MC-AIXI)性能远弱;② 它假设一个固定的、可用图灵机描述的环境,对"智能体改变自身""镜像博弈"等自指情形有已知的理论困难。它回答"最优智能的形状",不回答"如何在有限算力下逼近它"——后者才是当代 AI 的战场。
想要更平缓的入口:胡特与 Quarel、Catt 的新书《An Introduction to Universal Artificial Intelligence》(2024)是面向课堂的现代重写,比 2005 年原著好读不少,可作缓坡。
SUMMA · 阶梯总览
各就各位
| 书 | 角色 | 怎么读 | 拿到什么 |
|---|---|---|---|
| Grünwald MDL 教程 | 入口 · 可操作 | 配实验台,先跑起来 | "压缩即学习"的手感与方法 |
| Li & Vitányi | 正典 · 严格 | 只读前四章 | K、不变性、不可计算、Solomonoff 的地基 |
| Hutter《Universal AI》 | 极限 · 眩晕 | 硬啃或读 2024 新导论版 | 智能=压缩+决策的理论天花板 |
三级读完,你会带走一个统一的世界观:学习、预测、理解、智能,本质上是同一件事——压缩。下一步:把这一切接进日常决策 →
INTELLIGENCE = COMPRESSION + DECISION