Tóm tắt
Kog AI ra Kog Inference Engine (KIE) — engine tối ưu cho single-request decode speed thay vì aggregate throughput. Số liệu tech preview:
- 3,000 output tokens/s per request trên 8× AMD MI300X GPU
- 2,100 tokens/s per request trên 8× NVIDIA H200
- FP16, không speculative decoding, batch size 1
- Model 2B coding tự pretrain, HumanEval ~50%
- Có playground để test thử
Vì sao single-request decode speed mới là metric quan trọng cho agent
Benchmark inference thường confuse 3 thứ:
- Aggregate throughput (tổng token/s qua tất cả user) — đo server utilization, reward batch lớn
- Time to first token — đo prefill latency
- Decode speed per request — đo tốc độ generate token, decide user đợi bao lâu cho 1 response
Với agentic loop (inspect → plan → edit → test → revise), mỗi step phụ thuộc step trước, nên chỉ có decode speed per request mới matter. Ví dụ cụ thể: agent cần generate 50,000 tokens trong 1 workflow.
- Ở 100 tokens/s → 8 phút
- Ở 3,000 tokens/s → dưới 20 giây
Productivity frontier giờ là intelligence × iteration speed, không chỉ intelligence.
Bottleneck thực sự là memory bandwidth, không phải FLOPS
Ở batch size 1, autoregressive decode chủ yếu là matrix-vector — mỗi token cần move toàn bộ active weights từ HBM xuống compute. Arithmetic intensity rất thấp: FP16 = ~1 FLOP/byte, FP8 = ~2, FP4 = ~4. Nhưng GPU hiện đại expose hàng trăm FLOPs per byte HBM bandwidth (H200 ~400 FLOPs/byte).
Kết luận: Memory Bandwidth Utilization (MBU) mới là metric quan trọng, không phải Model FLOP Utilization (MFU).
Bandwidth khả dụng trên 8-GPU node:
- 8× NVIDIA H200: ~30.7 TB/s (80% lý thuyết)
- 8× AMD MI300X: ~33.6 TB/s
Speed-of-light upper bound cho model 2B FP16 (4 GB active weights):
- 8× H200: 30.7 TB/s ÷ 4 GB ≈ 7,700 tokens/s
- 8× MI300X: 33.6 TB/s ÷ 4 GB ≈ 8,400 tokens/s
Standard inference stack mất microsecond ở đâu
Ở 3,000 tokens/s, budget cho mỗi token là 333 microseconds — bao gồm tất cả layer, LM head, sampling. Trên model 25-layer, chỉ 1 microsecond extra mỗi layer là mất 7.5% time budget.
Vấn đề: standard stack (PyTorch/Triton + many kernels + CPU scheduler) tốn quá nhiều overhead:
- Kernel launch + cleanup ~4.5 µs (đo trên MI300X)
- 10 kernel mỗi Transformer layer × 25 layer = 1,125 µs overhead/token trước khi làm bất cứ việc gì → cap ở ~890 tokens/s
- Ngay cả 5 kernel fused mỗi layer cũng tạo ~563 µs overhead → cap ~1,780 tokens/s
Cách Kog co-design 3 layer
Monokernel runtime. Toàn bộ token generation chạy như 1 GPU program persistent — không break thành nhiều kernel. Decode cả sequence trong 1 pass không gián đoạn. Loại bỏ kernel boundary, CPU-side scheduling, sampling. Synchronization, communication, prefetch đều được control chặt chẽ.
KCCL collectives. Layer communication tự build, không dùng NCCL/RCCL. AllReduce latency dưới 3 µs (vendor libraries thường ~8 µs). Code tune tới mức assembly cho từng GPU architecture.
Laneformer model architecture. Innovation chính là Delayed Tensor Parallelism (DTP) — thay đổi dependency structure để cross-device communication overlap với useful computation, thay vì block critical path.
Chiplet-topology aware (MI300X case study):
- GPU có 8 XCD (compute die) trên 4 IOD, 8 HBM stack — unified memory abstraction giấu non-uniform access path
- Latency từ XCD đến HBM location khác nhau lên đến 150 ns
- Solution: replicate buffer trên HBM stack tại controlled location, mỗi XCD poll memory từ HBM gắn với chính IOD của nó
- Kết quả: barrier ~600 ns, stable
Scale lên large MoE model
Với MoE, cái matter là active parameters per token (không phải total params). Bandwidth-only upper bound ở 80% lý thuyết trên 8-GPU node (output tokens/s):
| Model (active, precision) | 8× H200 | 8× MI300X | 8× B200/MI355X | 8× MI450 | 8× Rubin |
|---|---|---|---|---|---|
| Qwen3-Coder-Next (3B, FP8) | ~10,200 | ~11,200 | ~17,100 | ~41,800 | ~46,900 |
| GPT-OSS-120B (5.1B) | ~6,150 | ~6,730 | ~10,300 | ~25,100 | ~28,200 |
| DeepSeek-V4-Flash (13B) | ~3,250 | ~3,560 | ~5,420 | ~13,300 | ~14,900 |
| Kimi-K2.6 (32B, INT4) | ~915 | ~1,000 | ~1,520 | ~3,730 | ~4,190 |
| DeepSeek-V4-Pro (49B) | ~860 | ~940 | ~1,430 | ~3,500 | ~3,940 |
Tech preview hiện đạt ~36% MBU. Chia số trên cho ~2.8 để có estimate thực tế:
- DeepSeek-V4-Flash trên 8× MI300X: ~1,270 tokens/s
- Qwen3-Coder-Next trên 8× MI300X: ~4,000 tokens/s
Với next-gen GPU (MI450, Rubin) bandwidth 4x → cùng model có thể đạt 1,000–5,000 tokens/s/req trên large frontier MoE.
Ý nghĩa với Dev
- Standard datacenter GPU không thua dedicated inference hardware ở single-request speed — chỉ là software stack hiện tại chưa tối ưu cho regime này
- Memory bandwidth là bottleneck thật, không phải FLOPS — nên co-design runtime/kernel/architecture là path duy nhất để bứt phá
- Với agentic workload, tradeoff không còn là quality vs cost mà là quality × speed
- Có thể chạy frontier MoE trên hardware sẵn có ở mọi cloud, không bị lock-in vào silicon proprietary
Playground để test: playground.kog.ai