Giới thiệu: từ correctness sang quality
Các benchmark coding hiện nay đã chứng minh model có thể viết code đúng. Nhưng khi code do AI sinh ra trở thành con đường chính lên production, correctness chỉ còn là table stakes. Câu hỏi cần đặt ra giờ là: model có thể viết code tốt không?
Cognition vừa giới thiệu FrontierCode — benchmark đo mức độ model đáp ứng chuẩn của codebase production thật. Ba điểm phân biệt với các benchmark trước:
- Maintainer có thật sự merge cái PR này không? Đây là benchmark đầu tiên đo mergeability. Tiêu chí gồm end-to-end code quality: correctness, test quality, scope discipline, style, và việc tuân thủ convention của codebase. Cách grade dùng ensemble: unit test + rubric + verifier kiểu mới.
- Do open-source maintainer trực tiếp xây: 20+ developer hàng đầu trong open-source community build task realistic, đa dạng và khó từ chính các repo họ maintain — dành hơn 40 giờ mỗi task. Họ tự định nghĩa “mergeable” trong repo của mình.
- Quality control nghiêm ngặt: rubric grading vốn subjective, nên Cognition build pipeline QC gồm adversarial testing, calibration và multi-stage review. Mọi task đều được Cognition researcher review tay. Kết quả: false positive rate thấp hơn SWE-Bench Pro 81%.
Kết quả
FrontierCode có 3 subset lồng nhau: Extended (toàn bộ 150 task), Main (100 task khó nhất), Diamond (50 task khó nhất).
Hai metric chính:
- Pass rate: solution clear hết blocker criteria (những thứ maintainer sẽ stop review nếu fail) thì pass.
- Score: tổng có trọng số của rubric items. Solution không pass blocker → nhận 0.
Mỗi model chạy 5 lần ở mỗi mức reasoning effort. Lấy trung bình 5 trial, rồi report score ở mức reasoning level tốt nhất.
FrontierCode Diamond — vẫn chưa bão hoà
| Model | Diamond | Main | Extended |
|---|---|---|---|
| Claude Opus 4.8 | 13.4% | 34.3% | 51.8% |
| GPT-5.5 | 6.3% | — | — |
| Gemini 3.1 Pro | 4.7% | — | — |
| Kimi K2.6 (best open-source) | 3.8% | 16% | 37% |
Một chi tiết quan trọng cho production: GPT-5.5 dùng ít hơn tới 4× token so với Opus 4.8, nên ở scale lớn cost-intelligence tradeoff của GPT-5.5 lại tốt hơn dù score thấp hơn.
Khoảng cách open-source vs frontier vẫn rõ: model open-source mạnh nhất (Kimi K2.6) cách Opus 4.8 khoảng 10× trên Diamond.
Vì sao cần FrontierCode
SWE-Bench Verified và SWE-Bench Pro được thiết kế khi model còn yếu — giờ thiếu realism và robustness. Hai vấn đề lớn:
Chỉ test functional correctness, không test quality
Phân tích của METR cho thấy nhiều patch score cao trên các benchmark hiện có nhưng human maintainer sẽ không merge.
Misclassification
- False Positive: verifier reward một solution sai. Test coverage không đủ → model viết sai vẫn pass.
- False Negative: verifier phạt một solution đúng. Test quá cụ thể (check exact error string, function name) hoặc unsolvable (test behavior không có trong instruction hay codebase).
FrontierCode giảm misclassification 81% so với các benchmark khác, nên ranking nó cho là chính xác nhất hiện tại.
Thiếu đa dạng
- Benchmark khác generate task từ single PR bằng programmatic scraping. FrontierCode được hand-select bởi maintainer từ multi-PR chain và freeform request.
- Số ngôn ngữ biểu diễn nhiều gấp 3 lần SWE-Bench Pro.
Prompt quá nhiều hướng dẫn
Frontier model hiện nay không cần hand-hold nhiều. FrontierCode kỳ vọng agent tự infer ý của maintainer, với cùng lượng context như một human contributor.
Prompt gồm 2 phần: (1) task description, (2) codebase guideline cho testing/lint/style — giống AGENTS.md. Task description rất gọn, chỉ bằng 1/3 độ dài của SWE-Bench Pro.
Scale difficulty bằng rubric, không bằng patch size
Một insight: dù patch size nhỏ hơn benchmark như DeepSWE, FrontierCode lại khó hơn cho agent. Difficulty đến từ chất lượng yêu cầu, không phải số dòng phải sửa.
Cách Cognition xây
Team open-source maintainer
FrontierCode hợp tác trực tiếp với maintainer của 36 flagship open-source repo. Team này đã review và merge hàng nghìn commit, áp dụng kiến thức về style/design sâu sắc lên mỗi PR họ thấy.
Mỗi maintainer dành >40 giờ/task, nhiều round iterate với eval engineer khác và Cognition researcher. Họ chắt ra judgment thành concrete evaluation criteria — bất kỳ PR nào đáp ứng tiêu chuẩn này sẽ thực sự được approve.
Một số repo lớn tham gia: Celery (28.6k sao), Budibase (28k sao), uppy (30.8k sao), Mattermost (37k sao).
Đo ngoài unit test
Mergeability được đo theo 6 trục:
- Behavioral correctness: patch có giải quyết được vấn đề không?
- Regression safety: có break code đang chạy không?
- Mechanical cleanliness: pass build/lint/style check của project không?
- Test correctness: test do agent viết có thật sự capture được desired behavior không?
- Scope: patch có chỉ touch những gì cần touch không? (Đây là một trong những điểm model hay fail nhất.)
- Code quality: code có tuân theo convention của codebase, design pattern, và còn readable cho collaborator không?
Dev nên quan tâm vì
- Đây là benchmark gần thực tế PR review nhất hiện có. Nếu bạn đang evaluate AI coding agent cho team — Devin, Claude Code, Codex, Cursor, Cline — score FrontierCode sẽ predict tốt hơn rất nhiều việc PR có pass review hay không, so với SWE-Bench Pro.
- Khoảng cách open-source/closed-source vẫn 10× trên task khó. Nếu bạn đang cân nhắc serve self-hosted Kimi/Qwen/DeepSeek cho dev tooling nội bộ, phải tính cả phần này — không chỉ giá API.
- GPT-5.5 token efficient hơn 4× với chỉ kém Opus 4.8 nửa số điểm. Trong production agent loop tốn nhiều token (planning, exploration, retries), tradeoff này có khi đảo ngược kết luận “Claude là tốt nhất”.
- Quality, scope, regression safety là các trục model fail nhiều nhất — đó cũng là chỗ human reviewer mất công nhất. Nếu xây internal agent, đầu tư vào rubric/checklist tự động cho các trục này trước khi nâng correctness có thể cho ROI cao hơn.