数据与缩放定律：token 预算账本

01语料不是一本书，是一座山

训练大模型的原料不是几本书，是一整座互联网的山：爬取海量网页，清洗掉乱码和水印文，按指纹去掉重复，再按来源配比（代码多一点、学术多一点、对话多一点），最后全部切成 token 灌进预算池。流水线每一站都在做减法——原始爬取几十 TB，真正进池的可能只有零头。

02一切按 token 计价

账本的第一栏是计价单位。同一段文字，不同 tokenizer 切出来的 token 数不一样——英文一个词可能是一整个 token，中文一个字可能被切成两三个字节片。这就引出一个训练时代的著名现象：同一段中文，GPT-2 系的 tokenizer 可能切出约 2–3 倍的 token——训练按 token 收钱、推理按 token 收钱的时代，这就是「中文税」。

下面的计价器接了本站现成的三个真词表（不是演示品）：切分、计数、算字/token 比，全部现场真编码。

03scaling law：大力真的能出奇迹

给模型加料，loss 掉多快？答案出奇地守规矩：在对数坐标纸上，参数量、数据量、算力每乘 10，损失沿一条直线往下走。这叫缩放定律（scaling law）——它是「大力出奇迹」的定量版：奇迹不靠玄学，靠可预测的直线。

更妙的是那条配比线：Hoffmann 等人 2022 年的 Chinchilla 论文算出，固定算力下最优的数据量约为参数量的 20 倍——引擎与燃料要等比例放大。实验台把这批公开发表的数据点画在对数网格上（每点注明出处），你算完账单就能看自己的估算落在哪。

04Chinchilla 算账

拿到经验法则就能开账本了。拖动参数滑杆，四行账实时更新：最优 token 数（≈20N）、fp16 磁盘体积（2N 字节）、训练 FLOPs（≈6ND，Kaplan 口径）、折算 GPU-天（按 A100 峰值 312 TFLOPS、利用率 40% 的教学假设折算，公式脚注给出处）。数字全部现场算，没有一个查表。

05为什么本站是 14M

拿 pythia-14m 现场算一遍：14M 参数按 20 倍法则只需要约 2.8 亿 token，而 EleutherAI 实际喂了它约 3000 亿——超配一千倍。为什么？因为本站的引擎要在你的浏览器里跑：28MB 权重、毫秒级前向、每颗参数都能拆开给你看。教学性价比，就是缩放定律的逆运用——不是越大越好，是你这笔预算花在哪儿最值。