PEFT #
PEFT (Parameter-Efficient Fine-Tuning, 参数高效微调) 是一个用于高效适配大型预训练模型到各种下游应用的库，它避免了对模型所有参数进行微调这种成本过高的方式。PEFT方法只微调少量（额外的）模型参数 - 显著降低了计算和存储成本 - 同时能达到与全参数微调相当的性能。这使得在消费级硬件上训练和存储大型语言模型（LLMs）变得更加容易。
PEFT与Transformers、Diffusers和Accelerate库进行了集成，为加载、训练和使用大型模型进行推理提供了更快速、更简单的方式。