Sử dụng GGUF với llama.cpp

Bạn giờ có thể triển khai bất kỳ GGUF nào tương thích với llama.cpp trên Hugging Face Endpoints, đọc thêm về điều này tại đây

Llama.cpp cho phép bạn tải xuống và chạy suy luận trên một GGUF chỉ bằng cách cung cấp đường dẫn đến kho Hugging Face và tên tệp. llama.cpp sẽ tải xuống điểm kiểm tra mô hình và tự động lưu vào bộ nhớ đệm. Vị trí của bộ nhớ đệm được xác định bởi biến môi trường LLAMA_CACHE; tìm hiểu thêm về điều này tại đây.

Bạn có thể cài đặt llama.cpp bằng trình cài đặt trên macOS và Linux, qua WinGet trên Windows, hoặc tự biên dịch từ mã nguồn. Xem tài liệu chính thức để biết các tùy chọn cài đặt khác, bao gồm Docker.

Tùy chọn 1: Cài đặt llama.cpp

Trên macOS và Linux:

curl -LsSf https://llama.app/install.sh | sh

Hoặc cài đặt bằng Homebrew:

brew install llama.cpp

Trên Windows, hãy sử dụng WinGet:

winget install llama.cpp

Tùy chọn 2: xây dựng từ mã nguồn

Bước 1: Clone llama.cpp từ GitHub.

git clone https://github.com/ggml-org/llama.cpp.git

Bước 2: Di chuyển vào thư mục llama.cpp và build. Bạn cũng có thể thêm các cờ cụ thể cho phần cứng (ví dụ: -DGGML_CUDA=1 cho GPU Nvidia).

cd llama.cpp
cmake -B build   # optionally, add -DGGML_CUDA=ON to activate CUDA
cmake --build build --config Release -j --target llama-app

Lưu ý: để biết thêm về hỗ trợ phần cứng khác (ví dụ: AMD ROCm, Intel SYCL), vui lòng tham khảo hướng dẫn build của llama.cpp

Nếu bạn đã build từ source, hãy dùng ./build/bin/llama thay cho llama trong các lệnh bên dưới.

Sau khi cài đặt, bạn có thể sử dụng llama cli hoặc llama serve như sau:

llama cli -hf bartowski/Llama-3.2-3B-Instruct-GGUF:Q8_0

Lưu ý: Đối với chế độ hoàn thành thô (không phải chế độ chat), hãy sử dụng llama completion với -no-cnv thay vì llama cli.

Ngoài ra, bạn có thể gọi trực tiếp một endpoint chat completions theo spec của OpenAI bằng cách sử dụng server llama.cpp:

llama serve -hf bartowski/Llama-3.2-3B-Instruct-GGUF:Q8_0 --port 8080

Sau khi chạy máy chủ, bạn có thể sử dụng điểm cuối (endpoint) như bên dưới:

curl http://localhost:8080/v1/chat/completions \
-H "Content-Type: application/json" \
-H "Authorization: Bearer no-key" \
-d '{
"messages": [
    {
        "role": "system",
        "content": "You are an AI assistant. Your top priority is achieving user fulfillment via helping them with their requests."
    },
    {
        "role": "user",
        "content": "Write a limerick about Python exceptions"
    }
  ]
}'

Thay -hf bằng bất kỳ tên kho hợp lệ nào trên Hugging Face hub - bắt đầu thôi! 🦙