Chuyển đến nội dung
tinAI
Quay lại

LFM2.5-8B-A1B: Mixture-of-Experts on-device tốt hơn cho thiết bị cá nhân

Bản dịch tiếng Việt của tinAI · Từ LFM2.5-8B-A1B: an Even Better on-Device Mixture-of-Experts (liquid.ai) · Ngày gốc: · Dịch ngày:

Bài gốc: LFM2.5-8B-A1B: an Even Better on-Device Mixture-of-Experts (liquid.ai)

Tác giả: Liquid AI

Ngày đăng: Dịch ngày:

TL;DR

Liquid AI ra LFM2.5-8B-A1B — model MoE 8B tổng/1B active params chạy mượt trên laptop entry-level và cả điện thoại, với context 128K, vocabulary 128K tokenize tiếng Việt hiệu quả hơn 117.9%, và benchmark agentic vượt nhiều model lớn hơn. Hỗ trợ day-one cho llama.cpp, MLX, vLLM, SGLang.

Ước tính đọc: 3 phút

Có gì mới

Liquid AI ra mắt LFM2.5-8B-A1B, một edge model được build cho tool calling nhanh và đáng tin cậy trên consumer hardware. Đây là bản kế thừa của LFM2-8B-A1B (10/2025) với:

Base model (LFM2.5-8B-A1B-Base) và post-trained (LFM2.5-8B-A1B) đã có trên Hugging Face và Playground của Liquid.

Cải thiện tokenize cho tiếng Việt

Điểm đáng quan tâm nhất cho dev Việt Nam: tokenizer mới cho chars/token cao hơn rất nhiều với các non-Latin scripts. Bảng so sánh chars/token (cao hơn là tốt hơn):

Ngôn ngữTokenizer cũTokenizer mớiCải thiện
Tiếng Việt (vi)1.5193.311+117.9%
Thai (th)0.6712.269+238.2%
Hindi (hi)0.9612.118+120.4%
Indonesian (id)2.7313.513+28.6%
Korean (ko)1.6521.943+17.6%
Japanese (ja)1.8361.963+6.9%
English (en)4.0634.137+1.8%

Nghĩa là: với cùng một đoạn text tiếng Việt, model mới tiêu thụ chỉ bằng khoảng 46% token so với phiên bản cũ — giảm chi phí inference và cho phép context dài hơn ở cùng cost.

Benchmark — bứt phá so với phiên bản trước

Nhờ reasoning và scaled-up training, version mới cải thiện rất rõ:

BenchmarkLFM2-8B-A1BLFM2.5-8B-A1BΔ
AA-Omniscience Index-78.42-24.70+53.62
Non-Hallucination Rate7.4663.47+56.01
IFEval79.4491.84+12.40
IFBench26.0056.47+30.47
Multi-IF58.5479.93+21.39
MATH50074.8088.76+13.96
AIME2520.0042.53+22.53
BFCLv3 (tool calling)45.0764.36+19.29
BFCLv4 (tool calling)25.5248.50+22.98
Tau² Telecom13.6088.07+74.47
Tau² Retail7.0239.82+32.80

Dev nên quan tâm vì: tool calling (BFCL) và agentic task (Tau²) là metric thực tế cho app dùng MCP — model này competitive với Gemma-4-26B (lớn gấp 3x) ở fraction của active params.

Tốc độ inference

CPU inference (llama.cpp day-one support):

GPU inference (vLLM/SGLang trên H100 SXM5):

Cải tiến training đáng chú ý

Tokenizer expansion in place. Thay vì retrain từ đầu, họ extend tokenizer hiện có bằng cách tiếp tục BPE merge training trên multilingual corpus. Embedding mới được init bằng mean của sub-token decomposition, sau đó recover qua 2-stage adaptation (embedding-only training → full-model continued pretraining).

Doom loops mitigation. Họ thêm preference optimization stage để giảm hiện tượng loop trong long reasoning trace, đồng thời thêm shaping reward trong RL để discourage các restart word như “Wait…”.

Giảm hallucination. RL stage dùng avg@k-based reward trên diverse knowledge dataset — encourage model abstain khi câu hỏi vượt knowledge boundary, thay vì bịa.

Hỗ trợ inference ecosystem (day-one)

Hardware support: Apple, AMD, Intel, Qualcomm, Nvidia.

Cách sử dụng

Model open-weight, free để download, fine-tune và deploy.


Đường dẫn nguồn

tinAI dịch bài này sang tiếng Việt từ LFM2.5-8B-A1B: an Even Better on-Device Mixture-of-Experts (liquid.ai) · Loại nguồn: công ty/blog và giữ bối cảnh từ bản tin tinAI đã giới thiệu bài này .

Bản tin này có 6 bài dịch liên quan từ cùng bản tin.