Tóm tắt
Qwen3.8‑Flash‑Next là model MoE multimodal open-weight dùng để xem trước kiến trúc dự kiến của Qwen4. Model có 125B tham số chính nhưng chỉ kích hoạt 6B mỗi token, thêm 51B N-gram embedding, context gốc 262.144 token và có thể mở rộng lên một triệu token bằng YaRN.
Có gì mới
Qwen phát hành weights trên Hugging Face và ModelScope, đồng thời cung cấp bản production mang tên Qwen3.8‑Flash qua QwenCloud. Theo công bố của Qwen, API có giá 0,16 USD cho một triệu input token và 0,47 USD cho một triệu output token.
Đây không chỉ là một biến thể nhỏ của Qwen3.8. Nhóm phát triển thay đổi bốn phần: attention, residual stream, embedding và cách optimization. Mục tiêu là hạ chi phí long-context, tăng capacity mà không tăng tương ứng phép nhân ma trận, và giữ training ổn định.
QSA: tìm đúng vùng context thay vì đọc lại mọi token
Ba trong bốn layer dùng Gated DeltaNet để nén lịch sử vào state có kích thước cố định; layer còn lại dùng global attention để truy hồi chính xác. Với global attention, Qwen thêm Qwen Sparse Attention, hay QSA.
QSA gom sequence thành các micro-block, dùng indexer nhẹ để ước lượng block quan trọng, rồi chỉ đưa vùng liên quan vào attention. Cách này giảm cả chi phí attention lẫn chi phí của chính indexer. Việc nén được thực hiện riêng ở từng layer nên ít phụ thuộc vào giả định rằng các layer sẽ chọn cùng một vùng context.
Trong phép đo do Qwen công bố ở một triệu token, attention kernel của QSA nhanh hơn tối đa 7,6 lần ở prefill và 4,9 lần ở decode. Với prefix-cache hit rate 90%, throughput prefill cao hơn Qwen3.7‑Plus 8,6 lần. Đây là benchmark của vendor trong cấu hình cụ thể, nên cần đo lại với cache pattern và workload thực tế.
Gated Residual: bốn đường truyền thông tin
Transformer truyền thông tin qua một residual stream chung. Khi model sâu hơn, feature từ layer sớm có thể bị trộn và suy yếu. Gated Residual mở stream thành bốn nhánh song song, rồi dùng gate phụ thuộc dữ liệu để quyết định đọc và ghi bao nhiêu ở mỗi nhánh.
Qwen cho biết một nhánh tự hình thành đường dài nối attention layer đầu với nhiều layer phía sau. Thiết kế bỏ bớt bước trộn nhánh không đem lại lợi ích, giảm memory access và nguồn bất ổn. Residual state cũng hỗ trợ lưu bằng FP8.
N-gram embedding: thêm capacity bằng lookup
Embedding thông thường lookup theo một token. N-gram embedding dùng token hiện tại cùng vài token trước đó để tra representation cho pattern cục bộ. Qwen thêm 51B tham số theo cách này nhưng không kích hoạt chúng như dense weight ở mỗi token.
Vì địa chỉ lookup có thể xác định trước, bảng embedding có thể nằm trong host memory và được prefetch song song với model compute. Model chỉ đặt một N-gram embedding layer gần đầu mạng, hoạt động như bộ nhớ pattern cục bộ có capacity lớn với ít compute bổ sung.
Optimization và training
Qwen dùng Muon cho các weight đóng vai trò linear map trong attention, GDN và expert MoE; embedding, router cùng low-rank parameter của Gated Residual vẫn dùng AdamW. Những projection được fuse như QKV, SwiGLU và GDN được tách theo linear transformation trước khi orthogonalization.
Nhóm phát triển refit scaling law cho kiến trúc mới và bỏ batch-size warmup. Trong thử nghiệm của họ, tăng batch dần không cải thiện kết quả cuối nhưng cần thêm 18,8% optimizer step. Model vẫn giữ ultra-sparse MoE, multi-token prediction và các kỹ thuật ổn định training từ dòng Qwen3.x.
Kết quả được công bố
Qwen3.8‑Flash‑Next có 125B tham số backbone, kích hoạt 6B mỗi token và thêm 51B embedding. Qwen nói chi phí training chỉ khoảng một phần chín Qwen3.7‑Plus.
Trong bảng base-model của hãng, Flash‑Next đứng đầu 8 trong 14 benchmark, gồm MMLU-Pro, SuperGPQA, BBH, GSM8K, EvalPlus, SWEBench-Pretrain, MGSM và MMMLU. Ở bộ đánh giá agentic coding DeepSWE 1.1, Qwen công bố điểm 58,7. Các số này hữu ích để chọn shortlist, nhưng chưa thay thế A/B test về quality, latency, tool use và tổng chi phí trên task của đội.
Cách Dev có thể dùng
Weights có trên Hugging Face và ModelScope để kiểm tra kiến trúc hoặc self-host khi hạ tầng phù hợp. QwenCloud hỗ trợ giao thức tương thích OpenAI Chat Completions, Responses và Anthropic, với model ID qwen3.8-flash.
Context mặc định của weights là 262.144 token; YaRN có thể kéo lên một triệu token. Bản managed API dùng một triệu token mặc định và cung cấp tool tích hợp. Trước khi chuyển workload dài, nên đo retrieval accuracy, cache hit rate, memory traffic của bảng N-gram và hành vi tool call thay vì suy luận từ context limit danh nghĩa.
Điểm đáng theo dõi nhất cho Qwen4 là tổ hợp GDN để nén lịch sử, QSA để truy hồi vùng quan trọng, Gated Residual để giữ tín hiệu xuyên layer và embedding lookup để tăng capacity. Việc mở weights sớm cho phép cộng đồng kiểm tra từng giả định trước khi kiến trúc trở thành một model family hoàn chỉnh.