Tóm tắt
LLM agent thể hiện rất tốt khi sinh code autonomous dưới spec lỏng. Nhưng production code yêu cầu tuân thủ nghiêm structural constraint — architectural pattern, database, ORM. Benchmark hiện tại bỏ qua các non-functional requirement này, thưởng cho lời giải đúng chức năng nhưng tùy ý về cấu trúc.
Nhóm tác giả công bố nghiên cứu hệ thống đo cách agent xử lý structural constraint trong multi-file backend generation. Họ cố định một API contract chung trên 80 task greenfield và 20 task feature-implementation, trải đều 8 web framework, dùng dual evaluation: behavioral end-to-end test + static verifier. Mục tiêu: cô lập tác động của structural complexity.
Phát hiện chính
Hiện tượng “constraint decay”: khi structural requirement tích lũy, performance agent suy giảm rõ rệt.
- Cấu hình mạnh nhất mất trung bình 30 điểm assertion pass rate từ baseline đến fully specified task.
- Một số cấu hình yếu hơn rớt gần về 0.
Framework sensitivity: chênh lệch performance theo framework rất lớn.
- Agent thành công với framework minimal, explicit như Flask.
- Performance tụt sâu trên framework convention-heavy như FastAPI và Django.
Error analysis chỉ ra data-layer defect là root cause hàng đầu:
- Query composition sai
- ORM runtime violation
Ý nghĩa với Dev
- Đừng tin benchmark “vibes coding”: một agent xếp top trên loose-spec benchmark không nghĩa là dùng được cho production code-gen.
- Pick framework càng explicit càng tốt khi cho agent sinh code — Flask-style “không có magic” thắng convention-heavy framework.
- Test ORM layer trước: đó là nơi agent fail nhiều nhất, không phải business logic.
- Assume failure khi structural constraint chồng lên nhau: mỗi constraint mới tăng xác suất regression — design system với constraint càng ít càng tốt nếu pipeline có agent.
- Joint satisfaction của functional + structural requirement vẫn là open challenge — đừng coi là solved.
Chi tiết kỹ thuật
- Setup: 80 task greenfield generation + 20 task feature-implementation, API contract thống nhất, 8 web framework.
- Evaluation: dual evaluation kết hợp end-to-end behavioral test (xác nhận hành vi đúng) và static verifier (xác nhận tuân thủ cấu trúc).
- Metric chính: assertion pass rate — đo cả tính đúng chức năng và tuân thủ ràng buộc.
Paper xếp loại: Software Engineering (cs.SE) + Artificial Intelligence (cs.AI). Submitted: 7 May 2026.