llama.cpp

使用 GGUF 模型运行本地大语言模型推理服务

应用资料已收录仅供查阅，暂不支持 Cockpit 直接安装

应用介绍

OVERVIEW

llama.cpp 是一个轻量级的大语言模型推理项目，支持在本地使用 GGUF 模型运行推理服务，并提供兼容 OpenAI 的接口。

安装时可填写“模型目录”，默认是应用安装目录下的 models 目录。将 GGUF 模型文件放到该目录中，默认文件名为 model.gguf。

如果模型文件名不同，请在应用参数中修改“服务启动参数”，例如：

-m /models/Qwen3-0.6B-Q4_K_M.gguf --host 0.0.0.0 --port 8080

服务启动后，可通过浏览器访问 Web UI，也可以使用 OpenAI 兼容接口：

http://服务器 IP:端口/v1/chat/completions

VERSIONS

以下信息来自开源应用包模板，仅用于技术参考；尚未转换成可直接使用的 Cockpit 安装配置。

查看应用包版本

参数说明属性

PANEL_APP_PORT_HTTP端口必填

START_COMMAND服务启动参数必填

MODEL_DIR模型目录必填

原始模板存在特定平台的网络或环境变量依赖，不能直接作为 Cockpit 安装文件使用。