一个基于 Lit-LLaMA 和 nanoGPT 实现，支持 LLaMa 2、Mistral 7B、Mixtral 8x7B 等模型的微调。
支持闪存注意力，Int8和GPTQ 4bit量化，LoRA和LLaMA-Adapter微调，预训练等功能。
相关导航
暂无评论...
一个基于 Lit-LLaMA 和 nanoGPT 实现，支持 LLaMa 2、Mistral 7B、Mixtral 8x7B 等模型的微调。
支持闪存注意力，Int8和GPTQ 4bit量化，LoRA和LLaMA-Adapter微调，预训练等功能。