Soup

Soup

一个YAML配置完成大模型微调

AI官网

应用介绍

微调大模型要连服务器、配一堆参数,显存不够还动不动就爆。Soup 把微调和后训练变成一份 YAML 加一条命令,分层流式训练让 4GB 显存的笔记本显卡也能训 8B 模型。

它支持 SFT、DPO、LoRA、QLoRA 等方法,能导出 GGUF 直接给 Ollama 使用,还有网页界面。

软件功能



一份配置:YAML 描述全部训练参数。

低显存:分层流式,4GB 显卡训 8B 模型。

多种方法:SFT、DPO、LoRA、QLoRA。

导出 GGUF:直接在 Ollama 中使用。