Tóm tắt
LLM agent thể hiện perf mạnh trong code generation autonomous dưới spec lỏng. Tuy nhiên production-grade software đòi adherence chặt với structural constraint: architectural pattern, database, ORM. Benchmark hiện tại thường bỏ qua non-functional requirement này, reward solution functionally correct nhưng structurally arbitrary.
Paper present systematic study đánh giá agent xử lý structural constraint thế nào trong multi-file backend generation. Fix unified API contract qua 80 task greenfield generation và 20 task feature-implementation, span 8 web framework, isolate effect của structural complexity bằng dual evaluation: end-to-end behavioral test + static verifier.
Phát hiện chính
- Constraint decay: khi structural requirement tích lũy, performance agent giảm rõ rệt
- Config mạnh mất trung bình 30 điểm assertion pass rate từ baseline đến fully-specified task
- Một số config yếu xuống gần 0
- Framework sensitivity: agent thành công trên framework minimal/explicit (Flask), nhưng tệ hẳn trên convention-heavy environment (FastAPI, Django)
- Root cause hàng đầu: data-layer defect — query composition sai, ORM runtime violation
Ý nghĩa với Dev
Nếu agent của bạn fail nhiều trên repo lớn, không phải do model dở — đó là constraint decay. Cách rẻ nhất để claim lại 30 điểm pass rate đó:
- Inject explicit context về DB schema, ORM convention, architectural pattern trước khi spawn agent
- Ưu tiên framework minimal/explicit (như Flask) cho task agent tự chủ; convention-heavy framework cần human-in-the-loop
- Static verify data-layer trước: query composition và ORM violation là silent killer
- Đo agent của bạn bằng dual evaluation (behavioral + static), không chỉ functional pass
Citation
From: Paolo Papotti. [v1] Thu, 7 May 2026. arXiv:2605.06445 [cs.SE]. DOI: 10.48550/arXiv.2605.06445