Có gì mới
Vài tuần trước Google giới thiệu Gemma 4 — open models mạnh nhất tới thời điểm đó. Với hơn 60 triệu downloads chỉ trong vài tuần đầu, Gemma 4 đang deliver unprecedented intelligence-per-parameter cho developer workstation, mobile device và cloud.
Hôm nay Google release Multi-Token Prediction (MTP) drafters cho Gemma 4 family. Bằng cách dùng kiến trúc speculative decoding chuyên biệt, các drafter này deliver up to 3x speedup mà không có degradation về output quality hay reasoning logic.
Tại sao speculative decoding?
Thực tế kỹ thuật: standard LLM inference là memory-bandwidth bound, tạo bottleneck latency lớn. Processor dành phần lớn thời gian moving billions of parameters từ VRAM lên compute units chỉ để generate một token. Điều này dẫn đến under-utilized compute và high latency, đặc biệt trên consumer-grade hardware.
Speculative decoding decouple token generation khỏi verification. Bằng cách pair một heavy target model (ví dụ Gemma 4 31B) với một lightweight drafter (MTP model), bạn có thể utilize idle compute để “predict” nhiều future token cùng lúc với drafter trong thời gian ít hơn target model process một token. Target model sau đó verify tất cả suggested token in parallel.
Speculative decoding hoạt động thế nào
Standard LLM generate text autoregressively, produce chính xác một token một lần. Trong khi effective, process này dedicate cùng amount of computation để predict obvious continuation (như predict “words” sau “Actions speak louder than…”) như là dùng để giải logic puzzle phức tạp.
MTP mitigate inefficiency này qua speculative decoding, technique được introduce bởi Google researchers trong Fast Inference from Transformers via Speculative Decoding. Nếu target model agrees với draft, nó accept toàn bộ sequence trong một forward pass duy nhất — và còn generate thêm một token mới trong process đó. Application của bạn output full drafted sequence cộng một token trong thời gian thường để generate một token.
Unlocking faster AI từ edge tới workstation
Với developer, inference speed thường là bottleneck chính cho production deployment. Dù bạn build coding assistant, autonomous agent cần multi-step planning nhanh, hay responsive mobile app chạy entirely on-device — mỗi millisecond đều quan trọng.
Bằng cách pair Gemma 4 model với drafter tương ứng, developer đạt được:
- Improved responsiveness: Giảm drastically latency cho near real-time chat, immersive voice applications và agentic workflow
- Supercharged local development: Chạy 26B MoE và 31B Dense model trên personal computer và consumer GPU với speed chưa từng có, powering seamless, complex offline coding và agentic workflow
- Enhanced on-device performance: Maximize utility của E2B và E4B model trên edge device bằng cách generate output nhanh hơn, preserving battery life
- Zero quality degradation: Vì primary Gemma 4 model retain final verification, bạn nhận identical frontier-class reasoning và accuracy, chỉ là delivered nhanh hơn đáng kể
Architectural enhancement under the hood
Để MTP drafter exceptionally fast và accurate, Google introduce vài architectural enhancement:
- Draft model seamlessly utilize target model’s activations và share KV cache — không phải waste time recalculate context mà larger model đã figure out
- Cho E2B và E4B edge model, nơi final logit calculation trở thành bottleneck lớn, Google implement efficient clustering technique trong embedder để accelerate generation thêm
Về hardware-specific optimizations: 26B mixture-of-experts model có routing challenge ở batch size 1 trên Apple Silicon, nhưng processing nhiều request đồng thời (batch size 4–8) unlock tới ~2.2x speedup locally. Tương tự gain với Nvidia A100 khi tăng batch size.
Cách get started
MTP drafter cho Gemma 4 family có sẵn hôm nay dưới same Apache 2.0 license như Gemma 4. Đọc documentation để biết cách dùng MTP với Gemma 4.
Download model weights ngay tại:
Framework đã support sẵn:
Hoặc thử trực tiếp trên Google AI Edge Gallery cho Android hoặc iOS.