Có gì mới
Sau hai tháng release Gemma 4 và những cập nhật về Multi-Token Prediction cùng bản 12B, Google tiếp tục bổ sung checkpoint mới được optimize bằng Quantization-Aware Training (QAT). Mục tiêu: giảm memory footprint để chạy được trên consumer GPU và edge device hằng ngày.
Điểm chính:
- Checkpoint QAT cho format Q4_0 phổ biến.
- Schema quantization riêng cho mobile — không phải port lười từ format desktop.
- Bản Gemma 4 E2B sau quantize chỉ còn dưới 1GB memory footprint.
- Chất lượng giữ gần FP16 — cao hơn standard Post-Training Quantization (PTQ).
Vì sao QAT hơn PTQ
Quantization là kỹ thuật giảm memory footprint và tăng tốc decode, nhưng PTQ chuẩn thường làm giảm performance. Thay vì quantize sau training, QAT tích hợp quá trình quantization vào training — model học cách thích nghi với precision thấp ngay từ đầu. Trong các benchmark nội bộ của Google, QAT cho chất lượng cao hơn PTQ baseline đáng kể.
Google áp dụng QAT cho format Q4_0 (chuẩn cho desktop), còn cho edge model (E2B và E4B) họ thiết kế thêm schema mobile-specialized với bốn kỹ thuật:
- Static activations: pre-calculate scale settings trong training thay vì tính on-the-fly → giảm workload cho mobile chip.
- Channel-wise quantization: structure compressed data theo design của mobile accelerator → chip chạy native, không cần workaround chậm.
- Targeted 2-bit quantization: nén mạnh (2-bit) các layer generate token, giữ precision cao hơn cho reasoning layer cốt lõi.
- Embedding + KV cache optimization: nén vocabulary list và short-term memory → giảm active memory footprint khi chat dài.
Vision và audio encoder là optional — nếu use case không cần, deploy text-only sẽ tiết kiệm thêm. Ví dụ Gemma 4 E2B text-only (không có Per-Layer Embeddings) cần dưới 1GB memory.
Cách bắt đầu
Google partner sẵn với các tool phổ biến để các checkpoint QAT plug-and-play:
- Tải weights: Q4_0 và mobile trên Hugging Face. Có sẵn GGUF cho llama.cpp và compressed tensor cho vLLM. Unquantized checkpoint cũng có nếu bạn muốn tự convert.
- Document: tham khảo Gemma docs cho hướng dẫn deploy.
- Desktop: chạy local qua llama.cpp, Ollama, hoặc LM Studio.
- On-device: dùng LiteRT-LM cho edge deployment, hoặc Transformers.js chạy thẳng trên web.
- Inference server: SGLang và vLLM hỗ trợ checkpoint QAT để serve model lớn hơn hiệu quả hơn.
Ý nghĩa với Dev
Nếu bạn build app cần inference offline, hoặc đang chạy LLM ở edge (mobile, browser, IoT), đây là baseline mới để benchmark. Một model E2B chạy được trong 1GB RAM mà vẫn giữ chất lượng gần FP16 mở ra khả năng integrate AI vào nhiều use case mà trước đây cloud round-trip là bắt buộc — voice assistant offline, content classification on-device, smart input method, v.v.
Điểm cần nhớ: QAT giúp giữ chất lượng tốt nhưng vẫn nhỏ hơn FP16. Bạn nên benchmark chính use case của mình thay vì tin con số chung. lm-eval-harness hay benchmark tự xây sẽ cho thấy degradation thực tế trên domain mà bạn quan tâm.