Tin nổi bật
Gemma 4 QAT: Google ép E2B xuống dưới 1GB, chạy mượt trên mobile · 7 phút https://blog.google/innovation-and-ai/technology/developers-tools/quantization-aware-training-gemma-4/
Google vừa release checkpoint QAT (Quantization-Aware Training) cho toàn bộ family Gemma 4 — bản E2B nay chỉ còn dưới 1GB sau quantize, đủ nhẹ cho điện thoại consumer. Khác với Post-Training Quantization truyền thống vốn ăn vào quality, QAT giả lập quantization ngay trong training nên giữ chất lượng gần FP16. Ngoài Q4_0 chuẩn cho desktop, họ thiết kế riêng một schema mobile (2-bit quantization cho phần generate token, channel-wise quantization khớp với mobile accelerator) — không phải port lười từ format desktop. Download sẵn trên Hugging Face dưới GGUF (llama.cpp), compressed tensor (vLLM), và đã được Ollama, LM Studio support ngay từ ngày đầu. Nếu bạn build app cần inference offline hay phải chạy LLM ở edge, đây là baseline mới để benchmark.
Models & Tools
Open Code Review: Alibaba mở mã agent review code đã chạy nội bộ trong 2 năm · 6 phút https://github.com/alibaba/open-code-review
Tool từng phục vụ tens of thousands dev nội bộ Alibaba và bắt millions of defects, giờ open source. Kiến trúc hybrid (deterministic pipeline + LLM agent) được dựng để giải quyết ba vấn đề cố hữu của review qua Claude Code Skill: incomplete coverage trên changeset lớn, position drift làm line number bị trật, và variance theo prompt. Built-in ruleset cho NPE, thread-safety, XSS, SQL injection là fine-tuned chứ không chỉ prompting. Tương thích cả OpenAI và Anthropic API, plug vào pipeline CI sẵn.
InstinctRazor: nén Qwen3.5-122B-A10B xuống 48 GiB, vẫn vượt Gemma 4 26B · 5 phút https://github.com/General-Instinct/InstinctRazor
Launch HN của General Instinct (YC P26): nén MoE 245GB BF16 còn 48 GiB GGUF mà vẫn outperform Gemma-4-26B-A4B trên MMLU-Pro và GPQA-D. Trick: giữ nguyên các thành phần luôn active (router, norms, SSM layers, vision pathway), quantize aggressive phần routed experts, rồi dùng on-policy distillation để recover capability. Có config stream expert từ system RAM — context 8k chỉ ăn 7.6-8GB VRAM. Repo và writeup kỹ thuật public.
Lowfat: filter output CLI trước khi nó ăn token của coding agent · 4 phút https://github.com/zdk/lowfat
CLI nhỏ viết bằng Rust, ngồi giữa shell command và Claude Code/OpenCode/Codex. Mục tiêu duy nhất: bóc noise khỏi git diff, docker ps, ls -la trước khi chui vào context window. Tích hợp qua Claude Code hook, shell-init zsh/bash, hoặc OpenCode plugin one-command. Tác giả ghi nhận tiết kiệm 91.8% token trên workflow của họ — con số không universal, nhưng lowfat stats cho phép tự đo trên use case riêng. Cài bằng cargo install lowfat hoặc brew.
Research & Insights
Q-K=V projection sharing: cắt 87.5% KV cache khi kết hợp GQA-4 · 5 phút https://arxiv.org/abs/2606.04032
Paper ICML 2026 test có hệ thống 3 biến thể projection sharing trong attention. Kết quả thực dụng: Q-K=V giảm 50% KV cache với chỉ 3.1% perplexity degradation, và combine với GQA/MQA thì ra 87.5% (GQA-4) hoặc 96.9% (MQA) tổng giảm. Lý do work: key và value chia sẻ representational space tương đối gần nhau, và attention vốn vận hành ở low-rank regime. Test trên LM 1.2B trên 10B token — đủ scale để cân nhắc cho on-device inference, code public.
Phân tích định lượng câu hỏi “Claude có làm rsync nhiều bug hơn không” · 9 phút https://alexispurslane.github.io/rsync-analysis/
Sau drama Mastodon → HN → GitHub issue 350+ comment về việc maintainer rsync dùng Claude, một author chạy permutation test trên 36 release (v2.4.6 → v3.4.3) đo severity-weighted bug per 10 commit. Kết quả: 2 release có Claude commit nằm hai bên IQR và không phải outlier, p-value 46% — nghĩa là pick 2 release bất kỳ trong lịch sử cũng có 46% xác suất “tệ hoặc tệ hơn”. Historical mean thực ra cao gấp 1.8 lần Claude mean. Methodology được vợ author (Master Stats Penn State) review, toàn bộ số liệu template trực tiếp từ Python script chứ không nhờ LLM viết — minimize chỗ cho hallucination. Counter-data hiếm hoi cho narrative “AI làm hỏng phần mềm” đang trôi nổi trên HN.
— tinAI