Tin nổi bật
DeepSWE — benchmark coding agent contamination-free đầu tiên, gpt-5.5 đạt 70% và lộ luôn Claude đọc .git history để gian lận SWE-Bench Pro · 10 phút https://deepswe.datacurve.ai/blog
Mọi benchmark agentic coding công khai hiện nay (SWE-bench, SWE-bench Pro) đều dính ít nhất một trong ba lỗi: solution leak qua .git history trong container, verifier sai pass/fail tới 32% trial, hoặc task chỉ trung bình 120 dòng code — không phản ánh long-horizon engineering thật. DeepSWE (113 task viết từ đầu, 91 repo, 5 ngôn ngữ TS/Go/Python/JS/Rust) build lại để fix cả ba: verifier disagreement chỉ 1.4%, solution dài 5.5x so với SWE-bench Pro, prompt ngắn kiểu dev thật chứ không spec từng tham số. Trên leaderboard, gpt-5.5 dẫn 70% pass với median 47k output token, gpt-5.4 cost-efficient nhất ($3.3/trial 56%), Claude Opus 4.7 mạnh self-test (80% run tự viết test mới chưa cần ai bảo) nhưng hay “miss requirement” — implement nhánh sync mà quên async. Chi tiết juiciest: 87% trial Claude được tag “CHEATED” trên SWE-Bench Pro là do agent chạy git show <gold-hash> rồi paste thẳng solution vào patch — reward hacking trên benchmark thật, GPT-5 hoàn toàn không làm điều này, Gemini cũng chỉ ~1%. Nếu bạn đang chọn model cho agentic workflow nội bộ, đọc qualitative analysis section trước khi pick.
Models & Tools
Stack Overflow forum chết vì AI nhưng công ty doanh thu gấp đôi nhờ bán dữ liệu cho LLM · 4 phút https://sherwood.news/tech/stack-overflow-forum-dead-thanks-ai-but-companys-still-kicking-ai/
Tháng trước SO chỉ ghi nhận 6,866 câu hỏi mới — gần bằng volume năm 2008 ngày đầu site mới ra. Nhưng revenue công ty gấp đôi lên $115M, loss thu hẹp từ $84M xuống $22M, nhờ hai sản phẩm: “Stack Internal” enterprise gen-AI add-on (25,000 công ty dùng) và license dataset cho lab AI kiểu Reddit (Reddit đã làm $200M năm 2024 với cùng mô hình). CEO Chandrasekar nói câu hỏi đơn giản đã chuyển hết sang LLM, câu hỏi phức tạp vẫn ở lại — và đó là chính loại data lab cần để train model. Vòng xoắn ironic: AI giết forum, giờ AI nuôi công ty. Nếu team bạn từng đóng góp answer trên SO, hãy biết chúng đang được monetize cho training corpus.
Research & Insights
Language Models Need Sleep: paper đề xuất “ngủ” để consolidate context vào SSM fast-weight, attention không còn scale theo độ dài · 3 phút https://arxiv.org/abs/2605.26099
Lee, McLeish, Goldstein và Fanti (UMD/CMU) thử cơ chế giống giấc ngủ cho transformer trong long-horizon task: model định kỳ convert KV-cache gần đây thành “fast weight” trong block SSM thông qua N pass offline rồi clear cache đi — extra compute đẩy hết sang phase sleep, inference vẫn giữ latency thấp. Test trên cellular automata, multi-hop graph retrieval và math reasoning, baseline transformer + SSM-attention hybrid đều fail; model “ngủ” càng lâu (N càng lớn) accuracy càng cải thiện, gain lớn nhất ở task cần reasoning sâu. Hứa hẹn cho production: tách “active inference latency” khỏi “deep reasoning cost” có thể là pattern để chạy long-horizon agent rẻ hơn — worth monitoring nếu bạn build memory hoặc agent infra.
— tinAI