01 / 15LoRA: 大模型的低秩适配
02 / 15本次讲什么
03 / 15模型越大, 全量微调越不可行
04 / 15为什么现有高效适配方法不够好
05 / 15权重更新其实低秩
06 / 15冻结 W0, 注入低秩 BA
07 / 15一个常数 alpha, 一次部署合并
08 / 15只适配注意力权重
09 / 15LoRA 的四个关键优势
10 / 15Adapter 增延迟, LoRA 不增
11 / 15覆盖 NLU 到 NLG 的四类模型
12 / 15更少参数, 持平或更优
13 / 15在 175B 尺度上仍然成立
14 / 15该适配谁? 秩要多大?
15 / 15结论与影响
