天明的百科全书

GGUF：修订间差异

下一编辑→
可视化wikitext
Ztm0929​（留言 | 贡献）
行政员、​界面管理员、​管理员
2,411次编辑
创建页面，内容为“GGUF （'''G'''PT-'''G'''enerated '''U'''nified '''F'''ormat）是专为'''本地 CPU/GPU''' 推理优化 的模型文件格式，由 llama.cpp 团队设计，用于替代早期的 GGML 格式。它的核心目标是： * 高效推理 ：支持量化（4-bit、5-bit、8-bit 等），大幅降低模型内存占用（例如 7B 模型可压缩至 3-5GB）。 * 跨平台兼容 ：适配 CPU、GPU（CUDA、Metal）、手机端等场景。 * 扩展性 ：内置元…”
（没有差异）
检索自“https://wiki.ztm0929.cn/GGUF”