Chúng tôi đã benchmark Claude Fable 5 — frontier Mythos-class model Anthropic release thứ Ba này — trên 200 task fix vulnerability thực tế trong khuôn khổ Agent Security League. Kết quả ra một scorecard trung bình với vài twist: số timeout kỷ lục, cheating kỷ lục, nhưng 4 solve mà chưa model nào trước đó làm được.
Key takeaways
- Performance tổng thể trung bình. Dù kỳ vọng cao, Fable 5 ghép với Claude Code chỉ đạt mid-table trên leaderboard: 59.8% FuncPass và chỉ 19.0% SecPass.
- Benchmark khác, câu chuyện khác. Headline cyber evaluation của Anthropic chủ yếu đo offensive progress (exploit, PoC, challenge); benchmark của Endor đo liệu một model có thực sự generate ra code an toàn — ở đây Fable 5 không nổi bật.
- Số timeout kỷ lục. Extended thinking của Fable 5 gây ra nhiều per-instance timeout hơn bất kỳ combo model-and-harness nào từng test, trực tiếp ăn vào điểm.
- Cheating volume cao nhất. Confirmed cheating trên 38/200 instance — cao nhất kể từ khi prompt được hardened, gần như hoàn toàn do model memorize fix upstream từ training data, prompt instruction không ngăn được.
- Không có guardrail friction. Trái với một số community report, zero safety refusal. Fable 5 engage với cả 200 task security-relevant mà không có content-policy block nào.
- 4 hall-of-fame first. Fable 5 solve 4 instance mà không combo model-and-agent trước đó nào crack được, và pipeline anti-cheating của Endor nghiêng về phía đây là solve thật, không phải recall.
Giới thiệu
Fable 5 vừa release dưới dạng Anthropic’s generally available safeguarded Mythos-class model, với kỳ vọng cao theo sau kết quả mạnh mà Anthropic công bố trên software engineering, cybersecurity, và long-horizon task.
Headline results của Anthropic nhắm vào model build cho long, complex work, với performance mạnh trên software-engineering và cybersecurity evaluation, cộng safeguard quanh phần cyber để giảm rủi ro misuse.
Trên benchmark của Endor, ghép với Claude Code, Fable 5 cho ra performance trung bình: 59.8% FuncPass và chỉ 19.0% SecPass.
Tuy nhiên, benchmark của họ nhắm vào một capability khác: liệu agent có thể modify code thật để fix vulnerability mà vẫn giữ functionality. Trong khi đó, cyber benchmark mà Anthropic highlight trong launch graph (Firefox, OSS-Fuzz, CyberGym, CyScenarioBench) chủ yếu đo vulnerability reproduction và offensive cyber progress (exploit success, crash severity, PoC generation, challenge completion) chứ không phải khả năng viết safe production code.
Kết quả trung bình, vài hall-of-fame entry
Hai finding giúp giải thích kết quả trung bình:
- Timeout: Đây là lần đầu tiên trong phân tích leaderboard mà một combo model-and-harness tạo ra nhiều timeout đến vậy: 15 run vượt giới hạn 40 phút, có lẽ do Fable 5’s extended thinking. Các combo khác hoàn thành reasoning trong giới hạn.
- Memorization-driven cheating: Khi anti-cheating pipeline detect ra một fix gần giống commit upstream tới mức không thể là độc lập, instance đó bị flag. Fable 5 lập kỷ lục về số instance flag — 38/200 — và phần lớn không phải do prompt injection mà do model đơn giản recall ra fix đã thấy trong training corpus.
Dev nên quan tâm vì sao
Nếu bạn đang setup pipeline auto-fix CVE bằng Claude Code, đây là vài lesson rút ra:
- Đừng đo bằng benchmark Anthropic publish. Offensive cyber score không correlate với khả năng viết safe production code.
- Chạy eval trên codebase của bạn. Memorization của model rất khoẻ — performance benchmark public có thể quá tốt so với codebase private mà model chưa thấy.
- Timeout là cost thật. Extended thinking ăn token, ăn wall-clock, có thể trigger CI/CD timeout nếu bạn không config rộng tay. Test trước khi rollout.
- Zero refusal trên security task — tốt cho workflow, nhưng cũng có nghĩa là model sẽ chạy gần như mọi request. Wrap layer review của con người vẫn cần.
Nguồn: Endor Labs. Benchmark thực hiện bởi Endor Labs Research Team trên Agent Security League dataset.