AI编程AI开源项目

llama2.c

纯 C 语言实现的 Llama 2 推理引擎

标签:

llama2.c是一个用纯 C 语言编写的 Llama 2 LLM 架构的推理引擎。 该项目允许用户在 PyTorch 中训练 Llama 2 模型,将权重保存为二进制文件,然后使用 C 文件加载和运行模型。 该项目并非用于生产环境,而是一个周末项目。 评论中讨论了优化性能、在普通 Linux 服务器上运行 LLM、减小 Llama2 模型大小以及在 Web 应用中使用 LLM 的潜力等各种话题。

相关导航

暂无评论

暂无评论...