Giới thiệu
Xiaomi vừa hợp tác với đội hệ thống TileRT để công bố MiMo-V2.5-Pro UltraSpeed — lần đầu tiên một model 1 nghìn tỉ parameter (1T) phá mốc tốc độ decode 1000 token/giây, đỉnh tới khoảng 1200 token/giây trong demo. Điểm gây sốc: kết quả này đạt được trên commodity GPU chỉ với một node 8 card chuẩn, không dùng phần cứng chuyên dụng kiểu Cerebras (Wafer-Scale) hay Groq (SRAM on-chip).
Bài này khá đậm về kỹ thuật. Tóm lại có ba lớp đột phá chồng lên nhau: lớp quantization (FP4 chọn lọc cho MoE Experts), lớp suy diễn (DFlash speculative decoding kiểu block-mask song song), và lớp runtime (TileRT với persistent kernel + warp specialization).
Vì sao 1000 tps thay đổi cuộc chơi
Ở quy mô 1T parameter, vượt mốc 1000 tps không chỉ là “chạy nhanh hơn”. Nó mở ra ba paradigm shift cho dev:
- Tốc độ chuyển thành chất lượng: trong cùng wall-clock thời gian trước đây chỉ đủ chờ một câu trả lời, giờ model có thể chạy hàng chục reasoning path song song (Best-of-N / Tree Search), tự verify và self-correct trong nền — biến raw speed thành depth-of-thought.
- Trần năng suất của coding agent được nâng lên: thay vì dev ngồi đợi từng token, code generation chạy ở tốc độ paradigm-level. Demo của Xiaomi gồm build snake game trong 10 giây và dựng lại giao diện macOS trong khoảng 1 phút.
- 1T model lọt được vào real-time decision loop: chu kỳ “nghĩ-trả lời” tính bằng millisecond cho phép gắn model 1T vào các kịch bản nhạy thời gian — anti-fraud, bidding, dialog tương tác thực — vốn trước nay là vùng cấm của các model lớn.
Kiến trúc kỹ thuật: model–system codesign
Tốc độ này không tới từ một thủ thuật đơn lẻ. Đây là kết quả của codesign chặt giữa team model MiMo và team system TileRT.
FP4 quantization có chọn lọc cho MoE Experts
Ở scale 1T, FP8 hay INT8 vẫn còn quá nặng cho memory bandwidth của GPU thương mại. Xiaomi chọn FP4 (định dạng MXFP4) — đã được cộng đồng kiểm chứng là gần như không mất chất lượng.
Nhưng quantize cả model thì sẽ làm hỏng năng lực reasoning và code generation. Quan sát rằng trong kiến trúc MoE của MiMo-V2.5-Pro, MoE Experts chiếm phần lớn parameter và chịu lossy tốt nhất, đội ngũ chỉ quantize phần Experts xuống FP4, các module còn lại giữ nguyên độ chính xác gốc. Kết hợp với FP4 QAT (Quantization-Aware Training), năng lực tổng thể của model giữ tương đương phiên bản FP8 nhưng kích thước và áp lực bandwidth giảm mạnh.
DFlash: speculative decoding kiểu block-mask song song
Speculative decoding truyền thống có một mâu thuẫn nội tại: draft model càng mạnh thì acceptance rate càng cao, nhưng overhead lại càng lớn — và acceptance rate quyết định toàn bộ tốc độ.
DFlash giải quyết bằng cách bỏ luôn cấu trúc autoregressive ở phía draft model. Draft model giờ điền cả một block các vị trí đã mask trong một lần forward duy nhất. Xiaomi customize tiếp cho scale 1T MoE và long-context:
- Draft model chỉ dùng Sliding Window Attention (SWA), khớp với thiết kế SWA của MiMo-V2 series. Compute mỗi prediction giảm từ tỉ lệ thuận với context length xuống hằng số.
- Sample mask signal được đẩy xuống tận GPU-local shard, một sequence sinh ra hàng chục nghìn training signal độc lập trong một step — vừa tận dụng long-context của MiMo-V2 vừa tránh cross-device communication.
Kết quả acceptance length:
| Scenario | Acceptance Length |
|---|---|
| Coding | 6.30 |
| Math / Reasoning | 5.56 |
| Agent | 4.29 |
Với block size 8, scenario coding đạt trung bình 6.30 token được verify mỗi vòng (đỉnh 7.14). Tức 6–7 trên 8 draft token được model lớn chấp nhận “trong một hơi” — chuyển trực tiếp thành throughput cao.
TileRT: kernel runtime ultra-low-latency
Ở tần số 1000 tps, vòng đời mỗi operator co lại còn microsecond. Lúc này “ranh giới operator” của inference system truyền thống trở thành bottleneck chính — mỗi lần launch operator, sync phần cứng, hoặc round-trip global memory đều bẻ gãy execution flow ở mức microsecond.
TileRT giải bằng hai nguyên lý:
- Persistent Engine Kernel: bỏ hẳn paradigm launch-per-operator, giữ toàn bộ compute pipeline persistent và chảy liên tục trong GPU. Trong khi tile hiện tại còn đang compute trên Tensor Core, data của tile kế tiếp đã chảy sẵn qua memory hierarchy — overlap data movement với computation tới mức tối đa.
- Warp Specialization: ở tile-level, communication / data movement / tensor compute được phân tách vật lý theo từng warp. Các nhóm thread chạy độc lập nhưng phối hợp chính xác, biến GPU thành một heterogeneous execution system flow liên tục.
Cách dùng và truy cập
API có hạn (đăng ký)
- API platform: platform.xiaomimimo.com/ultraspeed
- Trial window: 9 → 23/6/2026 (23:59 Beijing UTC+8 / 08:59 PDT)
- Giá: gấp 3 lần MiMo-V2.5-Pro nhưng cho khoảng 10× tốc độ — Xiaomi gọi đó là “3× giá, 10× trải nghiệm”
- Slot có hạn, ưu tiên enterprise và professional developer có business need rõ ràng
- Hợp tác sâu hơn: business-mimo@xiaomi.com
Chat free trong trial
- Vào tại ultraspeed.xiaomimimo.com sau khi được duyệt
- Mỗi account vào queue tối đa 10 lần/ngày
- Mỗi phiên cap 30 phút
- Idle quá 5 phút sẽ bị tự động release
Open source
- Checkpoint MiMo-V2.5-Pro-FP4-DFlash đã lên HuggingFace, gồm cả FP4 quantized weights và DFlash parameters: huggingface.co/XiaomiMiMo/MiMo-V2.5-Pro-FP4-DFlash
- Bản UltraSpeed cho MiMo-V2.5 (không phải Pro) đang trong roadmap
Dev nên quan tâm vì
- Đây là bằng chứng đầu tiên rằng tốc độ inference cực cao trên model 1T hoàn toàn khả thi với GPU thương mại, không cần đầu tư fab Cerebras hay Groq. Cánh cửa cho các provider khác (DeepSeek, Qwen, Kimi…) làm điều tương tự đã mở.
- Acceptance length 6.30 trong coding cho thấy DFlash hoạt động tốt nhất ở chính kịch bản dev quan tâm nhất. Nếu bạn đang build coding agent, theo dõi DFlash sẽ có lợi.
- Pattern “quantize selectively” (chỉ FP4 cho MoE Experts) đáng học cho bất cứ ai serve LLM tự host — không phải cứ FP4 toàn bộ là tốt.
- Persistent kernel + warp specialization là hướng đi mới cho inference framework. Nếu bạn đang dùng vLLM/SGLang/TGI, theo dõi cách các framework này áp dụng pattern tương tự sẽ ảnh hưởng tới cost serving của bạn trong 6-12 tháng tới.