llama.cpp

点评

整个本地 AI 圈的地基，GGUF 模型格式、各家客户端的底层多半都靠它。纯 C++、极致性能、连老旧电脑都能榨出速度。是硬核工程师的玩具，普通用户知道它的存在就够，日常用 Ollama 间接享受成果。