llama2-webui

llama2-webui是一个公共的GitHub代码库，用于在GPU或CPU上从任何地方运行具有gradio用户界面的Llama 2（一个用于自然语言处理的模型）。它支持Llama-2-7B/13B/70B模型，可以使用8位和4位精度。同时支持GPU推理（6GB VRAM）和CPU推理。