LocalAI是一个可替换的REST API，与OpenAI API规范兼容，用于本地推理。它允许你用消费级硬件在本地或内部运行LLM（而不仅仅是），支持与ggml格式兼容的多个模型系列。不需要GPU。
相关导航
暂无评论...
LocalAI是一个可替换的REST API，与OpenAI API规范兼容，用于本地推理。它允许你用消费级硬件在本地或内部运行LLM（而不仅仅是），支持与ggml格式兼容的多个模型系列。不需要GPU。