Giới thiệu
General Instinct (Guanming và Bill) là YC batch P26, làm việc trong robotics nhiều năm. Họ liên tục gặp một vấn đề: model tốt nhất không bao giờ vừa với hardware có sẵn. Frontier model thường được design quanh giả định datacenter (GPU lớn, memory bandwidth cao, network đáng tin cậy). Nhưng hệ thống physical đa phần thì ngược lại.
Đó là động lực để họ tìm hiểu: bao nhiêu phần của một frontier model có thể giữ lại mà vẫn chạy được trên edge hardware?
Kết quả là InstinctRazor — pipeline open source vừa được release.
Kết quả nổi bật
Nén Qwen3.5-122B-A10B — model MoE 245GB BF16 — xuống còn 48 GiB GGUF.
Đáng kể hơn: model sau nén nhỏ hơn Gemma-4-26B-A4B nhưng vẫn outperform nó trên benchmark như MMLU-Pro và GPQA-D.
Phương pháp
Pipeline có hai bước chính:
- Quantization có chọn lọc: giữ nguyên (precision cao) các thành phần luôn active mỗi forward pass — router, norms, Gated-DeltaNet/SSM layer, vision pathway, v.v. Quantize aggressive phần routed expert (chỉ active một subset mỗi token).
- On-policy distillation: sau khi quantize, dùng distillation để recover capability bị mất. Khác với standard knowledge distillation, on-policy distillation training trên distribution của model student đang produce ra → adapt tốt hơn cho post-quantization.
Cấu hình small GPU
Ngoài bản 48 GiB chạy full trên GPU lớn, model còn có mode “small GPU” — stream expert từ system RAM khi cần. Với context 8k, peak VRAM chỉ 7.6–8 GB — vừa với consumer GPU phổ thông.
Điều này quan trọng cho use case robotics và edge: không cần datacenter GPU để chạy model cỡ frontier MoE.
Tài liệu kỹ thuật
Writeup chi tiết phương pháp: Frontier MoE sub-4-bit. Repo: InstinctRazor.
General Instinct kêu gọi feedback từ người đang deploy model lên robot hoặc edge device: bạn đang chạy model nào local? Bottleneck lớn nhất khi đưa vào production là gì?
Ý nghĩa với Dev
Nếu bạn build robotics, embedded AI, hay bất kỳ use case nào mà cloud round-trip không khả thi (latency, privacy, offline), pipeline này nên benchmark. MoE thường bị bỏ qua cho edge vì size — InstinctRazor cho thấy expert streaming + quantization aggressive có thể đưa MoE 100B+ về consumer GPU. Một comment trên HN cũng đặt câu hỏi đáng quan tâm: benchmark như MMLU-Pro và GPQA-D đã “gần saturation” trước post-training nên không phản ánh capability loss thực tế. Nên test trên domain riêng trước khi kết luận.