Có gì mới
Liquid AI ra mắt LFM2.5-8B-A1B, một edge model được build cho tool calling nhanh và đáng tin cậy trên consumer hardware. Đây là bản kế thừa của LFM2-8B-A1B (10/2025) với:
- Context window mở rộng từ 32,768 lên 128,000 tokens
- Pretraining scale lên: từ 12T lên 38T tokens
- Vocabulary tăng gấp đôi từ 65,536 lên 128,000 để tokenize non-Latin scripts hiệu quả hơn
- Reasoning-only model: tạo chain of thought rõ ràng trước khi đưa final answer
- Large-scale reinforcement learning đẩy benchmark đi xa
Base model (LFM2.5-8B-A1B-Base) và post-trained (LFM2.5-8B-A1B) đã có trên Hugging Face và Playground của Liquid.
Cải thiện tokenize cho tiếng Việt
Điểm đáng quan tâm nhất cho dev Việt Nam: tokenizer mới cho chars/token cao hơn rất nhiều với các non-Latin scripts. Bảng so sánh chars/token (cao hơn là tốt hơn):
| Ngôn ngữ | Tokenizer cũ | Tokenizer mới | Cải thiện |
|---|---|---|---|
| Tiếng Việt (vi) | 1.519 | 3.311 | +117.9% |
| Thai (th) | 0.671 | 2.269 | +238.2% |
| Hindi (hi) | 0.961 | 2.118 | +120.4% |
| Indonesian (id) | 2.731 | 3.513 | +28.6% |
| Korean (ko) | 1.652 | 1.943 | +17.6% |
| Japanese (ja) | 1.836 | 1.963 | +6.9% |
| English (en) | 4.063 | 4.137 | +1.8% |
Nghĩa là: với cùng một đoạn text tiếng Việt, model mới tiêu thụ chỉ bằng khoảng 46% token so với phiên bản cũ — giảm chi phí inference và cho phép context dài hơn ở cùng cost.
Benchmark — bứt phá so với phiên bản trước
Nhờ reasoning và scaled-up training, version mới cải thiện rất rõ:
| Benchmark | LFM2-8B-A1B | LFM2.5-8B-A1B | Δ |
|---|---|---|---|
| AA-Omniscience Index | -78.42 | -24.70 | +53.62 |
| Non-Hallucination Rate | 7.46 | 63.47 | +56.01 |
| IFEval | 79.44 | 91.84 | +12.40 |
| IFBench | 26.00 | 56.47 | +30.47 |
| Multi-IF | 58.54 | 79.93 | +21.39 |
| MATH500 | 74.80 | 88.76 | +13.96 |
| AIME25 | 20.00 | 42.53 | +22.53 |
| BFCLv3 (tool calling) | 45.07 | 64.36 | +19.29 |
| BFCLv4 (tool calling) | 25.52 | 48.50 | +22.98 |
| Tau² Telecom | 13.60 | 88.07 | +74.47 |
| Tau² Retail | 7.02 | 39.82 | +32.80 |
Dev nên quan tâm vì: tool calling (BFCL) và agentic task (Tau²) là metric thực tế cho app dùng MCP — model này competitive với Gemma-4-26B (lớn gấp 3x) ở fraction của active params.
Tốc độ inference
CPU inference (llama.cpp day-one support):
- M5 Max: 253 tokens/s
- Ryzen AI Max+ 395: 146 tokens/s
- Điện thoại: ~30 tokens/s
- Memory footprint: dưới 6 GB
GPU inference (vLLM/SGLang trên H100 SXM5):
- Output throughput: 18.5K tokens/s ở high concurrency
- Hơn 1.6B tokens/ngày trên 1 GPU H100
Cải tiến training đáng chú ý
Tokenizer expansion in place. Thay vì retrain từ đầu, họ extend tokenizer hiện có bằng cách tiếp tục BPE merge training trên multilingual corpus. Embedding mới được init bằng mean của sub-token decomposition, sau đó recover qua 2-stage adaptation (embedding-only training → full-model continued pretraining).
Doom loops mitigation. Họ thêm preference optimization stage để giảm hiện tượng loop trong long reasoning trace, đồng thời thêm shaping reward trong RL để discourage các restart word như “Wait…”.
Giảm hallucination. RL stage dùng avg@k-based reward trên diverse knowledge dataset — encourage model abstain khi câu hỏi vượt knowledge boundary, thay vì bịa.
Hỗ trợ inference ecosystem (day-one)
- LEAP — Edge AI Platform của Liquid cho iOS/Android
- llama.cpp — GGUF checkpoint cho edge inference
- MLX — Tối ưu cho Apple Silicon
- vLLM, SGLang — GPU serving production
- ONNX — Cross-platform
Hardware support: Apple, AMD, Intel, Qualcomm, Nvidia.
Cách sử dụng
- Hugging Face:
LiquidAI/LFM2.5-8B-A1B(base hoặc instruct) - Playground để test:
playground.liquid.ai/chat?model=LFM2.5-8B-A1B - LocalCowork demo: open-source desktop agent chạy 67 tools qua 13 MCP server, không cloud, không API key — chạy hoàn toàn trên laptop
Model open-weight, free để download, fine-tune và deploy.