Forge: guardrails đưa model 8B local lên top tác vụ agentic

Forge là một framework Python tạo lớp reliability cho LLM self-hosted khi tool-calling. Ý tưởng cốt lõi: phần lớn lý do model nhỏ thất bại ở tác vụ agentic không phải vì kém thông minh, mà vì parse tool-call lỗi và trôi context. Forge xử lý đúng hai vấn đề đó, kéo một model 8B local lên top phân khúc trên các workflow agentic nhiều bước.

Giới thiệu

Cấu hình self-hosted mạnh nhất hiện tại (Ministral-3 8B Instruct Q8 trên llama-server) đạt 86.5% trên bộ eval 26 scenario của Forge — và 76% ở tier khó nhất.

Tính năng chính

Hai trụ cột của Forge:

• Guardrails: rescue parsing (cứu tool-call bị hỏng), retry nudges (nhắc model thử lại), và step enforcement (ép thực hiện các bước bắt buộc).
• Context management: budget nhận biết VRAM và tiered compaction (nén context theo tầng).

Ba cách sử dụng:

• WorkflowRunner — định nghĩa tool, chọn backend, chạy vòng lặp agent có cấu trúc. Forge quản lý toàn bộ vòng đời: system prompt, thực thi tool, nén context, guardrails. SlotWorker bổ sung truy cập theo hàng đợi ưu tiên vào một inference slot dùng chung, có auto-preemption — phù hợp kiến trúc multi-agent chia sẻ GPU.
• Guardrails middleware — dùng stack reliability của Forge như middleware ghép nối, bên trong vòng lặp orchestration của riêng bạn. Bạn kiểm soát vòng lặp; Forge xác thực response, cứu tool-call hỏng, và ép các bước bắt buộc.
• Proxy server — proxy tương thích OpenAI (python -m forge.proxy), đặt giữa client (opencode, Continue, aider…) và một local model server. Áp guardrails một cách trong suốt — client tưởng như đang nói chuyện với một model thông minh hơn.

Backend hỗ trợ: Ollama, llama-server (llama.cpp), Llamafile, và Anthropic.

Cách sử dụng

pip install forge-guardrails                # core
pip install "forge-guardrails[anthropic]"   # + Anthropic client

Chạy backend đề xuất (llama-server):

llama-server -m path/to/Ministral-3-8B-Instruct-2512-Q8_0.gguf --jinja -ngl 999 --port 8080

Hoặc dùng Ollama cho setup dễ hơn (yếu hơn chút ở workload khó):

ollama pull ministral-3:8b-instruct-2512-q4_K_M

Dev nên quan tâm vì: nếu bạn chạy LLM local vì chi phí hoặc privacy, proxy OpenAI-compatible của Forge là cách rẻ nhất để cắm thẳng vào opencode, aider hay Continue mà không phải sửa code — và biến một model 8B từ “không dùng được cho agent” thành dùng được thật.