Chuyển đến nội dung
tinAI
Quay lại

tinAI #119: Gemma 4 12B: Google bỏ vision/audio encoder, mọi modality đi thẳng vào LLM backbone, chạy 16GB VRAM

tinAI tóm tắt nguồn công khai, thêm bối cảnh biên tập cho độc giả, và giữ liên kết nguồn trong từng mục.

Bài dịch trong bản tin này

Các bài dịch tinAI trong bản tin này giữ liên kết tới nguồn gốc:

3 bài dịch giữ liên kết nguồn gốc

Tin nổi bật

Gemma 4 12B: Google bỏ vision/audio encoder, mọi modality đi thẳng vào LLM backbone, chạy 16GB VRAM · 7 phút https://blog.google/innovation-and-ai/technology/developers-tools/introducing-gemma-4-12b/

Lần đầu một mid-sized multimodal model bỏ encoder riêng cho vision và audio — image được project qua một matrix multiplication + positional embedding, audio raw signal chiếu thẳng vào dimensional space của text token. Kết quả: footprint giảm còn dưới 16GB RAM, performance gần Gemma 4 26B MoE, license Apache 2.0, sẵn weight trên HuggingFace + Kaggle, hỗ trợ trực tiếp llama.cpp / MLX / vLLM / SGLang / Ollama / LM Studio từ ngày phát hành. Multi-Token Prediction drafter đi kèm sẵn để giảm latency cho speculative decoding — không phải hack thêm bằng third-party. Nếu bạn đang chạy Gemma 3 hay E4B cho on-device agent, đây là drop-in upgrade duy nhất cần làm tuần này. Skill repo riêng (github.com/google-gemma/gemma-skills) cho thấy Google đang push hẳn vào agentic dev với Gemma — không chỉ “small + fast”.


Models & Tools

Uber áp trần $1,500/tháng/tool cho AI coding agent — con số đầu tiên cho thấy enterprise đang định giá thật của Claude Code và Cursor · 4 phút https://simonwillison.net/2026/Jun/3/uber-caps-usage/

Uber set hard cap $1,500/employee/tool/tháng cho Claude Code, Cursor và các agentic coding tool khác — sau khi đốt sạch ngân sách AI 2026 trong 4 tháng. Quy thành annual: ~$36k/eng/năm với 2 tool active, ~11% median comp của Uber engineer ($330k theo levels.fyi) — đây là benchmark cụ thể đầu tiên để dev tự đối chiếu spend của mình. Simon Willison confirm $1k/tháng/provider là usage thực của một AI-heavy full-time dev; Pro/Max plan cá nhân subsidize phần lớn, enterprise không có cửa đó.


Hyper (YC P26): company brain dạng episode + fact graph cho agent, supersede chain thay vì rewrite memory · 5 phút https://news.ycombinator.com/item?id=48387095

Hai modality storage: episode là raw source (Slack, Doc, Email, Calendar) giữ nguyên, fact là subject-predicate-object extract ra với timestamp khởi tạo và invalidate; khi “ship Friday” bị contradict bởi “ship Monday”, fact mới supersede fact cũ — không xoá, vẫn truy ngược được lý do quyết định. Retrieval fuse semantic search trên embedding + Postgres FTS qua reciprocal rank fusion, filter theo permission của caller (hai người cùng team query cùng câu vẫn có thể ra answer khác nhau). Tích hợp Claude Code / Cursor / Codex qua lifecycle hook (inject context mỗi prompt, extract fact mỗi response), MCP làm fallback cho tool không expose hook — nếu bạn đã thử MCP và thấy context vẫn lost giữa session, đây là baseline approach mature hơn để study.


Research & Insights

Giá DRAM tăng 80-115%, GoPro ra going-concern warning — AI infra đang ăn supply chain consumer electronics, dev chạy on-prem cần biết · 6 phút https://thenextweb.com/news/gopro-going-concern-ai-memory-crisis-default

Samsung, SK Hynix, Micron đã chuyển wafer capacity từ DRAM consumer (margin 20-30%) sang HBM cho AI datacenter (margin 70%+); GoPro doanh thu giảm 26%, breach loan covenant, đang cân nhắc sale hoặc pivot defense vì giá memory tăng 80-115%. Đây không phải cyclical: CXMT (hy vọng duy nhất từ China cho consumer DRAM) cũng convert 20% capacity sang HBM vì margin quá hấp dẫn. Nếu workload của bạn cần on-prem GPU + RAM (local LLM serving, vector DB self-host, training rig nhỏ), giá hardware sẽ tiếp tục lên trong 6-12 tháng — buffer ngân sách H2 2026 ngay từ giờ.


— tinAI


Chia sẻ bài viết này:

Bài trước
tinAI #120: Anthropic công bố lộ trình AI tự cải tiến — và những con số gây tranh cãi
Bài tiếp theo
tinAI #118: MAI-Thinking-1 — Microsoft tự build reasoning model, không distill, ngang Opus 4.6 SWE-Bench Pro ở 35B-active