01 · AI 基础

查看原始笔记 · 仓库最近更新：2026-10-03。具体核验日期以正文为准。

这一章专门解决学习昇腾前必须知道的 AI 基础概念。

学习顺序

1. CPU、GPU、NPU 的区别
2. 什么是 Tensor
3. FP32 / FP16 / BF16 / INT8 / INT4
4. 训练与推理
5. Transformer 的基本结构
6. Token、参数量、上下文长度
7. 算力、显存/HBM、内存带宽
8. 为什么大模型需要多卡
9. AllReduce 是什么

学完后的目标

能够看懂类似下面这句话：

一个 70B 模型使用 BF16 权重，仅模型参数就需要约 140GB 存储空间，因此通常需要多卡承载；实际推理还需考虑 KV Cache、运行时开销和并发。

后续逐项补充图解和计算例子。