Giới thiệu
PrismML vừa công bố Bonsai Image 4B, một họ image generation model compact được thiết kế để chạy diffusion inference chất lượng cao trên hardware local — từ laptop đến điện thoại.
Bonsai Image 4B có hai biến thể:
- 1-bit Bonsai Image 4B: dùng binary transformer weights {−1, +1} với FP16 group-wise scaling factor, tổng cộng 1.125 bit/weight. Tối ưu cho memory pressure, bandwidth và footprint nhỏ nhất.
- Ternary Bonsai Image 4B: dùng ternary weights {−1, 0, +1} với FP16 scaling, tổng cộng 1.71 bit/weight. Trạng thái zero thêm vào cho phép biểu diễn linh hoạt hơn, cải thiện chất lượng visual và độ chính xác prompt.
Đây được khẳng định là image model 4B đầu tiên chạy trực tiếp trên iPhone.
Tính năng chính
Kiến trúc dựa trên FLUX.2 Klein 4B
Bonsai Image 4B build từ FLUX.2 Klein 4B, giữ nguyên kiến trúc nhưng thay đổi cách biểu diễn transformer weights. Bằng cách chuyển weights sang dạng binary và ternary, Bonsai giảm phần quan trọng nhất của image pipeline cho local deployment.
| Model | Diffusion Transformer | Giảm so với FP16 |
|---|---|---|
| FLUX.2 Klein 4B | 7.75 GB | 1.0x |
| 1-bit Bonsai Image 4B | 0.93 GB | 8.3x |
| Ternary Bonsai Image 4B | 1.21 GB | 6.4x |
Binary layers cho giảm xấp xỉ 14x so với full-precision. Một tập nhỏ supporting tensors precision-sensitive (~5%) gọi là projection layers vẫn giữ FP16. Kết quả: 1-bit Bonsai Image 4B transformer chỉ còn 0.93 GB — giảm 8.3x từ 7.75 GB của FLUX.2 Klein 4B.
Deployment payload
Bao gồm text encoder đã nén và FP16 VAE, deployment payload cho Apple Silicon là 3.42 GB (1-bit) và 3.88 GB (ternary). So với 15.97 GB của FLUX.2 Klein 4B full-precision. Khi gen 512x512 image, mean-active memory chỉ 1.5 GB và 1.96 GB, so với 11.74 GB của FLUX.2 Klein 4B — giảm 7.8x và 6.0x.
Deployment stack hỗ trợ Apple Silicon (iPhone, iPad, Mac) và CUDA GPU, dùng MLX low-bit paths trên Apple hardware và Gemlite low-bit GEMM kernels trên CUDA.
Benchmarks
| Model | DT Footprint (GB) | GenEval | HPSv3 | DPG-Bench | Performance vs FLUX |
|---|---|---|---|---|---|
| 1-bit Bonsai Image 4B | 0.93 | 0.671 | 11.15 | 0.822 | 88% |
| Ternary Bonsai Image 4B | 1.21 | 0.723 | 12.22 | 0.851 | 95% |
| FLUX.2 Klein 4B | 7.75 | 0.819 | 12.84 | 0.853 | 100% |
| SDXL | 5.14 | 0.3 | 10.05 | 0.74 | 67% |
| Stable Diffusion 1.5 | 1.72 | 0.396 | 4.2 | 0.601 | 51% |
| PixArt-Σ XL 2 | 1.2 | 0.541 | 11.93 | 0.769 | 83% |
Ternary Bonsai Image 4B giữ 95% accuracy của FLUX.2 Klein 4B trên cả ba benchmark, với 6.4x giảm footprint. 1-bit Bonsai Image 4B đưa diffusion transformer xuống dưới 1 GB (8.3x giảm), vẫn giữ 88% accuracy.
Quan trọng: Bonsai outperform đáng kể các model nhỏ hơn cùng footprint — đẩy Pareto frontier về quality vs size.
Tốc độ thực tế
- iPhone 17 Pro Max: gen 512x512 trong 9.4 giây
- Mac M4 Pro: gen 512x512 trong khoảng 6 giây, nhanh hơn 5.6x so với full-precision MFLUX pipeline
Full-precision FLUX.2 Klein 4B không fit vào memory budget của iPhone 17 Pro Max, trong khi cả hai biến thể Bonsai đều chạy được on-device.
Cách sử dụng
Tại sao quan trọng cho dev
Cloud API vẫn phù hợp cho nhiều product, nhưng cloud-only có constraint:
- Mỗi prompt là một remote request
- Mỗi iteration cost biên
- Mỗi tương tác thêm round-trip latency
Image generation vốn là quá trình iterative. User hiếm khi dừng ở một image — họ revise prompt, so sánh output, gen variations, vứt failure, thử lại. Khi mỗi attempt là một server-side job, creative loop trở thành thứ phải đong đếm và chờ đợi.
Local inference thay đổi điều đó. Khi model fit on-device, generation có thể nằm trực tiếp trong product experience — rẻ hơn, lặp nhanh hơn, và dễ dùng trong môi trường mà prompt + generated asset phải private.
Tài nguyên
- License: Apache 2.0 (cả 1-bit và Ternary, weights + code)
- Hugging Face: https://huggingface.co/collections/prism-ml/bonsai-image
- WebGPU demo: https://huggingface.co/spaces/webml-community/bonsai-image-webgpu
- Bonsai Studio iOS app: App Store ID 6767042620
- GitHub: https://github.com/PrismML-Eng/Bonsai-image-demo
- Whitepaper: trong repo Bonsai-Image-Demo
Dev nên quan tâm vì
Một model 4B class chạy trên iPhone với 95% chất lượng FLUX không phải toy demo — đây là baseline mới cho local-first image gen product. Nếu bạn build app có image gen feature, không cần phải route mọi request lên cloud nữa: privacy tốt hơn, latency thấp hơn, không cost biên cho user. Pareto frontier dịch chuyển có nghĩa các model 1-1.5 GB từ giờ cạnh tranh được với cloud — toàn bộ bài toán cost model cho image gen product cần được tính lại.