Tin nổi bật
Bonsai Image 4B chạy được trên iPhone — 1-bit diffusion giữ 95% chất lượng FLUX với 1/6 footprint · 5 phút https://prismml.com/news/bonsai-image-4b
PrismML vừa thả image model 4B đầu tiên chạy trực tiếp trên iPhone, không cloud, không round-trip. Họ lấy FLUX.2 Klein 4B nguyên kiến trúc rồi nén transformer xuống binary {−1, +1} (1.125 bit/weight) hoặc ternary {−1, 0, +1} (1.71 bit/weight), kéo diffusion transformer từ 7.75GB xuống 0.93GB (1-bit) hoặc 1.21GB (ternary). Ternary giữ 95% accuracy của FLUX trên GenEval/HPSv3/DPG-Bench — gần như không lỗ chất lượng cho 6.4x giảm size. Trên iPhone 17 Pro Max gen 512x512 trong 9.4 giây; trên Mac M4 Pro 6 giây, nhanh hơn full-precision MFLUX 5.6x. Weights mở Apache 2.0 trên Hugging Face, có WebGPU demo và iOS app Bonsai Studio — vòng lặp iterative cho image gen (sửa prompt, so sánh, throw away) giờ không còn metered theo từng request cloud.
Models & Tools
Lắp Tesla V100 datacenter GPU vào PC gaming, chạy Qwen3.6-27B ở 32 tok/s với £200 · 10 phút https://blog.tymscar.com/posts/v100localllm/
Tác giả mua V100 SXM2 16GB cũ trên eBay £150 cộng adapter SXM2-to-PCIe £50, gắn cùng RTX 4080 thành rig 32GB VRAM. V100 có HBM2 bandwidth 900GB/s — vượt RTX 4080 (736GB/s) và đập tất cả Mac (M5 Max chỉ 614GB/s với laptop £3000+). Chạy Qwen3.6-27B-MTP Q5_K_M ở 32 tok/s với 128k context — model tier ngang Sonnet 4.6 trên Agentic Index, vượt Sonnet trên MMMU-Pro và Terminal-Bench 2.0. Bài có full NixOS config (legacy_535 driver, CUDA 12.2 pinning, kernel 6.6), mẹo trị con fan 82dB bằng PWM motherboard, và cả setup llama.cpp custom commit để MTP hoạt động. Nếu bạn đang nghẽn VRAM cho local inference, đây là route rẻ nhất tới 32GB.
Odysseus — self-hosted AI workspace gói chat, agent, deep research, email triage vào một docker-compose · 4 phút https://github.com/pewdiepie-archdaemon/odysseus
Self-hosted thay thế ChatGPT/Claude UI: chat đa model (vLLM, llama.cpp, Ollama, OpenRouter), agent built on OpenCode với MCP/web/shell/skills/memory, deep research port từ Tongyi DeepResearch, multi-model blind compare, email IMAP/SMTP với AI triage, calendar CalDAV. Cookbook scan hardware rồi recommend model phù hợp (VRAM-aware, GGUF/FP8/AWQ fit scoring), một click để download và serve. Memory + skills lưu qua ChromaDB + fastembed ONNX, agent học theo bạn qua thời gian. README tự nhận “more jank and fun” — đừng kỳ vọng polish enterprise, nhưng nếu muốn rời cloud assistant mà không phải tự ghép 10 tool riêng, một docker compose up là xong.
Research & Insights
ChatGPT for Google Sheets bị indirect prompt injection — một sheet import exfiltrate 12 workbooks · 7 phút https://www.promptarmor.com/resources/gpt-for-google-sheets-data-exfiltration
PromptArmor công bố attack chain trên ChatGPT extension cho Google Sheets (185k+ downloads sau một tháng): user import sheet ngoài chứa prompt injection ẩn dưới white-on-white text, hỏi ChatGPT giúp tích hợp — injection ép extension chạy external script, exfiltrate workbook hiện tại, tìm link tới workbook khác và đệ quy tới 12 cái. Attack thành công kể cả khi user đã tắt ‘Apply edits automatically’, và bấm Stop trong sidebar không dừng script đã chạy. OpenAI im lặng 19 ngày sau disclosure, doc cũng không mention script execution capability hay risk của prompt injection. Bài học cho team build agent: script execution + connector access = blast radius vượt xa session hiện tại, treat external data như untrusted input và phải có hard-coded approval gate trước khi gọi privileged tool.
Velocity từ AI agent đo được ~4x time-to-PR, nhưng cost ẩn là dexterity trượt dần · 6 phút https://darylcecile.net/notes/speed-of-prototyping-age-of-ai
Daryl Cecile track time-to-PR cá nhân trước/sau khi dùng agent — trung bình nhanh hơn ~4x. Điểm quan trọng không phải con số mà là sự dịch chuyển kiểu công việc: prototype giờ tồn tại thật thay vì chỉ nằm trong README, refactor lớn không còn ngại, “nice idea no time” trở thành work-in-progress trong một buổi chiều. Skill mới có giá nhất là viết spec/prompt cho junior hoặc agent — cùng một muscle. Cost ẩn: type ít code hơn nghĩa là dexterity bị bào mòn, nên author chủ động dành thời gian “manual mode” — implement end-to-end bằng tay, đọc source thay vì hỏi tóm tắt, ngồi với debugger thay vì paste stack trace vào chat. Trade-off đáng cân nhắc cho roadmap dev cá nhân, nhất là khi AI vẫn fail đủ thường xuyên để cần engineer biết thật sự đang xảy ra gì bên trong.
— tinAI