Chuyển đến nội dung
tinAI
Quay lại

tinAI #100: Granite 4.1: model 8B của IBM ngang ngửa Granite 4.0-H-Small 32B MoE

tinAI tóm tắt nguồn công khai, thêm bối cảnh biên tập cho độc giả, và giữ liên kết nguồn trong từng mục.

Bài dịch trong bản tin này

Các bài dịch tinAI trong bản tin này giữ liên kết tới nguồn gốc:

3 bài dịch giữ liên kết nguồn gốc

Tin nổi bật

Granite 4.1: model 8B của IBM ngang ngửa Granite 4.0-H-Small 32B MoE · 8 phút https://firethering.com/granite-4-1-ibm-open-source-model-family/

IBM vừa release Granite 4.1 — ba kích cỡ (3B, 8B, 30B), dense architecture, không MoE, không reasoning chains, Apache 2.0. Điểm gây chú ý: bản 8B match hoặc vượt Granite 4.0-H-Small (32B params, 9B active) trên hầu hết benchmark — ArenaHard 69.0, BFCL V3 68.3, GSM8K 92.5. Bản 30B đứng đầu BFCL V3 với 73.7, vượt Gemma-4-31B. Bí quyết không phải ở scaling mà ở data pipeline: 5 phase training với data mix thay đổi rõ rệt, LLM-as-judge filter từng sample fine-tuning trên 6 dimension, và 4 rounds RL — trong đó round cuối phải làm riêng để recover GSM8K bị RLHF làm hỏng. Nếu bạn cần model self-hosted cho enterprise và đang dùng Granite 4.0 hoặc Qwen3-8B, thử bản 8B — context 512K, predictable cost vì không có sparse routing. Caveat: benchmark tự test, chờ third-party reproduction.


Models & Tools

Lightning 2.6.2 và 2.6.3 trên PyPI bị nhiễm malware Shai-Hulud — kiểm tra dependency ngay · 6 phút https://semgrep.dev/blog/2026/malicious-dependency-in-pytorch-lightning-used-for-ai-training/

Hai version mới nhất của package lightning (PyTorch Lightning) trên PyPI bị compromise — chỉ cần pip install lightning là kích hoạt payload steal credentials AWS/Azure/GCP, GitHub tokens, npm tokens và tự động worm sang npm. Phần đáng sợ hơn: malware ghi .claude/settings.json SessionStart hook và .vscode/tasks.json folderOpen task để persist — mở Claude Code hay VS Code trong repo nhiễm là chạy lại payload. Audit ngay nếu repo train/fine-tune LLM của bạn có lightning, rotate token, và check .claude/ lẫn .vscode/ cho file lạ.


TRiP: một dev viết transformer engine trong C trong 18 tháng — inference, training, vision, chat · 6 phút https://github.com/carlovalenti/TRiP

Carlo Valenti dành lunch break và weekend từ March 2024 đến August 2025 để hand-code engine transformer trong C — support Llama2, Gemma 1.0/1.1, PaliGemma, GPT-2, full backprop với AdamW, BPE tokenizer build from scratch. Không cạnh tranh với llama.cpp; mục đích thuần educational. Đọc source nếu bạn muốn hiểu transformer từ matrix multiplication trở lên thay vì chỉ gọi model.generate().


Research & Insights

Fine-tuning kích hoạt verbatim recall của sách bản quyền trong LLM — alignment không bền · 5 phút https://github.com/cauchy221/Alignment-Whack-a-Mole-Code

Paper mới chứng minh: model alignment-trained để từ chối quote sách bản quyền vẫn có thể bị “đánh thức” memorization gốc thông qua fine-tuning trên content vô hại — model spit ra đoạn dài verbatim từ The Road của Cormac McCarthy. Code repo demo trên GPT-4o, Gemini và DeepSeek qua Tinker. Hệ quả thực tế cho dev đang fine-tune model thương mại: dataset của bạn có thể vô tình unlock copyright liability, và alignment hiện tại đang giải quyết symptom chứ không phải nguyên nhân.


Human Creativity Benchmark: tách convergence (đúng) và divergence (taste) khi đánh giá AI sáng tạo · 15 phút https://contralabs.com/research/human-creativity-benchmark

Contra Labs chạy study với evaluator chuyên nghiệp đánh giá output AI trên 5 domain (landing page, desktop app, ad image/video, brand asset). Insight chính: benchmark hiện tại flatten taste thành một quality score — sai về cấu trúc. HCB tách hai signal: convergence (prompt adherence, usability — verifiable, evaluator đồng ý) và divergence (visual appeal — taste, evaluator bất đồng hợp lý). Không model nào hiện tại vừa correct vừa steerable. Áp dụng ngay nếu team bạn đang đánh giá generative AI cho product — đừng dùng majority vote cho mọi dimension.


— tinAI


Chia sẻ bài viết này:

Bài trước
tinAI #101: grok-4.3 lên xAI API: 1M context, $1.25/$2.50 mỗi 1M tokens
Bài tiếp theo
tinAI #099: Mistral Medium 3.5 + Vibe remote agents: coding agent chạy trong cloud, mở PR khi xong