把 AI 的原理,讲到不需要数学基础也能看懂。
这里是一个长期更新的技术存档。从最小的线性模型一直讲到大语言模型,再到模型如何压缩、如何转换格式、如何部署到移动端运行。文章按顺序排好,一路读下来,你会得到一张完整的知识地图,而不是零散的词条。
每篇都尽量写清"这项技术为什么会出现、它解决了什么难题、需要付出什么代价",末尾附一手参考文献。
Part 01
模型到底是个什么东西
先把基础打牢。不必急于进入大模型,先搞清楚一个模型内部到底在算什么,它又是怎么从大量数据里"学会"的。
Part 02
注意力和 Transformer
这是过去十年最重要的一次架构换代。四篇文章,把 Transformer 从动机到细节拆干净。
Part 03
大语言模型的生命周期
八篇文章走完一遍大模型的完整生命周期:从文字变成 token,到预训练、微调、对齐,再到推理阶段的显存优化。
08
从 Transformer 到 GPT
自回归、下一个词预测,以及为什么"猜下一个字"能猜出智能。
09Token 与词表
模型眼里的文字根本不是文字。BPE 分词是怎么把句子切碎的。
10采样策略
temperature、top-k、top-p,为什么调错一个参数,模型就会生成混乱的内容。
11预训练 → 微调 → 对齐
大模型的三段式训练流程,每一段的目标和花销都不一样。
12LoRA:大模型的低成本微调
只用 1% 的参数量完成微调,低秩分解为什么可行。
13RLHF 与 DPO
怎样让模型表达规范、遵守规则,两代对齐方法的取舍。
14KV Cache 与上下文窗口
推理时显存到底被什么占用,长上下文为什么如此昂贵。
15量化:把大模型装入消费级显卡
int8/int4、GPTQ、AWQ、GGUF,精度与显存之间的权衡。
Part 04
压缩与工程落地
模型训完只是半成品。剪掉、蒸馏、换格式、接推理引擎,最后能跑在真实设备上,才算交付。