基于提示的调整

ayesha983

最近，LLM 在各个行业中的受欢迎程度大幅上升。然而，训练 LLM 需要大量数据和计算能力，因此成本高昂且耗时。因此，研究的重点是如何以较低的计算需求和时间投入实现这些模型的高效训练、微调、推理或部署。

参数高效调优使 LLM 能够在新任务上进行微调，而无需重新训练其所有参数（通常有数十亿个）。相反，模型参数的一小部分或其他参数会进行微调，而其余参数则保持不变。这种“增量调优”[1] 方法可以看作是重新训练特定层或将分类器附加到预训练模型 捷克共和国电报数据 的改进版本，旨在实现与微调整个模型相当的性能。

按照 [1] 的命名法，参数有效微调 (PEFT) 方法分为三类：基于加法的方法，即向模型引入额外的可调参数；规范或选择性方法[2]，即选择特定参数进行调整；以及通过低秩近似简化参数的重新参数化方法。

在这篇博文中，我们重点介绍最广泛使用的 PEFT 方法，主要是添加和重新参数化。

基于提示的调整是指在输入到模型中的原始上下文标记中添加额外可训练参数的附加方法。这些方法也称为“软提示”，而不是“硬提示”（提示工程），以便在新任务上获得最佳性能。例如，在提示调整[3] 中，额外的可训练嵌入只是被添加到模型的输入中，在微调期间只会重新训练这些参数。