Chuyển đến nội dung
tinAI
Quay lại

tinAI #114: Liquid AI ra LFM2.5-8B-A1B — 1B active params, 128K context, tokenize tiếng Việt hiệu quả hơn

tinAI tóm tắt nguồn công khai, thêm bối cảnh biên tập cho độc giả, và giữ liên kết nguồn trong từng mục.

Bài dịch trong bản tin này

Các bài dịch tinAI trong bản tin này giữ liên kết tới nguồn gốc:

6 bài dịch giữ liên kết nguồn gốc

Tin nổi bật

Liquid AI ra LFM2.5-8B-A1B — 1B active params, 128K context, tokenize tiếng Việt hiệu quả hơn · 6 phút https://www.liquid.ai/blog/lfm2-5-8b-a1b

Đây là một trong ít model on-device thực sự đáng test cho dev Việt Nam: vocabulary tăng lên 128K cho compression tốt hơn rõ rệt với tiếng Việt, Thai, Hindi, Arabic. Pretraining từ 12T lên 38T tokens cộng với large-scale RL đã đẩy benchmark đi xa — IFEval từ 79.4 lên 91.8, BFCLv4 (tool calling) từ 25.5 lên 48.5, Tau² Telecom từ 13.6 lên 88.0. Architecture MoE với chỉ 1B active params nghĩa là chạy mượt trên laptop entry-level qua llama.cpp/MLX/vLLM/SGLang ngay từ ngày đầu. Nếu bạn build personal assistant hay tool-calling agent chạy offline, đây là first-class candidate — và là một trong số ít model on-device có incentive thật sự để dùng tiếng Việt làm input/output.


Models & Tools

Kog Inference Engine: 3,000 tokens/s per request trên 8× MI300X · 9 phút https://blog.kog.ai/real-time-llm-inference-on-standard-gpus-3-000-tokens-s-per-request/

Hầu hết benchmark inference đo aggregate throughput (tổng token/s qua batch), nhưng với agentic loop thì chỉ có single-request decode speed mới quan trọng — agent phải đợi token cuối trước khi bắt đầu step tiếp. Kog co-design model + runtime + CUDA kernel để đạt 3k tok/s/req trên AMD MI300X (2.1k trên H200) cho model 2B FP16, không speculative decoding. Có playground test thử ngay; chạy trên hardware datacenter sẵn có, không bị lock-in vào silicon proprietary.


Mistral AI Now Summit: chiến lược “full stack” và bài học về harness cho agent · 4 phút https://koenvangilst.nl/lab/mistral-ai-now-summit

Mistral không còn chỉ là model company — họ build cả compute (datacenter 40MW ở Paris), platform, consultancy, với selling point là on-prem/sovereignty cho regulated industry châu Âu (BNP Paribas chạy KYC, ASML dùng Robostral). Take-away cho dev: trong talk của Pieter Stock, model một mình không đủ — “harness là tất cả” để add context, persistence, learning. Specialized small model + harness tốt đang vượt mặt general large model trong agentic workload nặng token.


Research & Insights

CAPTCHA vẫn detect được AI agent — không phải qua output mà qua process · 5 phút https://research.roundtable.ai/captchas-detect-ai/

Paper từ Roundtable: AI giải CAPTCHA tốt như người (giờ thì hiển nhiên rồi), nhưng quá trình giải thì khác hẳn — sequential click pattern, direction change, overselection behavior tạo signal phân biệt được Claude/GPT/Gemini với human. Họ đề xuất CogCAPTCHA30 — 1 CAPTCHA gốc + 29 task psychology — để discriminate process chứ không phải output. Implication thực tế: nếu bạn ship anti-bot, đo behavioral signal (mouse trajectory, dwell time, error pattern) sẽ bền hơn nhiều so với đo answer correctness.


AI có đang lặp lại “Frontend’s Lost Decade”? · 8 phút https://mastrojs.github.io/blog/2026-05-23-is-AI-causing-a-repeat-of-frontends-lost-decade/

Mauro Bieg argue rằng AI coding đang deskill software development giống cách JavaScript framework deskill frontend trong 10 năm qua — barrier vào ngành giảm, nhưng những kỹ năng nền (HTML semantic, CSS, browser quirks, perf, a11y) thì biến mất khỏi pipeline tuyển dụng. Bài này không phải rant chống AI; nó dùng lens lịch sử (Stack Overflow copy-paste, Bauhaus phản ứng với industrialization) để đặt câu hỏi: liệu chúng ta đang trade autonomy lấy tốc độ? Đáng đọc cho ai đang train junior dev với AI tooling.


— tinAI


Chia sẻ bài viết này:

Bài trước
tinAI #115: Domain expertise mới là moat thực sự — và agentic AI vừa chứng minh điều đó
Bài tiếp theo
tinAI #113: Claude Opus 4.8 — Claude Code có "dynamic workflows" chạy hàng trăm sub-agent parallel, fast mode rẻ hơn 3 lần