
GPT4All是一个开源的大语言模型生态系统,可以在几乎任何CPU和GPU上本地运行。这个项目由Nomic AI支持和维护,旨在提供高质量和安全的软件生态系统,使任何个人或企业都能轻松地训练和部署自己的边缘大型语言模型。
重要的更新包括:
2023年10月19日,GPT4All v2.5.0及更高版本仅支持GGUF格式(.gguf)的模型。以前版本的GPT4All(.bin扩展名)将不再支持。
该生态系统支持Mistral 7b基础模型和多个新的本地代码模型,包括Rift Coder v1.5。
GPT4All还提供了对Nomic Vulkan的支持,这是一种支持在AMD、Intel、Samsung、Qualcomm和NVIDIA GPU上进行本地LLM推理的技术。
此外,GPT4All API允许从Docker容器中进行本地LLM推理,还支持LocalDocs插件,允许用户私密地与自己的数据进行本地对话。
GPT4All模型是一个3GB到8GB的文件,用户可以下载并插入到GPT4All开源生态系统软件中。这些模型和软件可以在支持AVX或AVX2指令的消费级CPU上运行。这个项目通过计算合作伙伴Paperspace得以实现。