Tóm tắt
GeneBench-Pro là benchmark mới của OpenAI để đo khả năng của AI agent trong computational biology, genomics và translational medicine. Benchmark này không chỉ hỏi kiến thức sinh học; nó kiểm tra khả năng đưa ra judgment trong workflow nghiên cứu: chọn hướng phân tích, xử lý dữ liệu mơ hồ, sửa giả định và biết khi nào kết quả đủ tin để ra quyết định.
OpenAI cho biết GPT-5.6 Sol đạt 28,7% pass rate ở reasoning level cao nhất, hoặc 31,5% với Pro mode. Con số này vẫn thấp, nhưng tăng mạnh so với GPT-5 dưới 5% khi họ bắt đầu xây GeneBench.
GeneBench-Pro là gì?
Dữ liệu khoa học hiếm khi “tự giải thích”. Nhà nghiên cứu phải phân biệt tín hiệu sinh học với noise, xác định dữ liệu có đủ để trả lời câu hỏi không, và quyết định kết quả nên thay đổi bước tiếp theo như thế nào.
GeneBench-Pro được thiết kế để đo chính nhóm năng lực đó. OpenAI gọi đây là “research taste”: chuỗi quyết định định hình một phân tích, từ câu hỏi nào dữ liệu có thể hỗ trợ, diagnostic ban đầu nên làm đổi model hay estimand ra sao, đến lúc nào phải bỏ kế hoạch cũ.
Mỗi bài trong GeneBench-Pro cung cấp cho model:
- Một dataset thực tế nhưng được synthetic hóa.
- Bối cảnh thí nghiệm ngắn.
- Một target estimand gắn với quyết định downstream.
- Workspace cô lập với Python, scientific computing libraries và một số package genomics cơ bản như PLINK 2.0.
Model phải khám phá dữ liệu, chọn phương pháp phù hợp, thử nghiệm lặp lại, rồi đưa ra câu trả lời cuối.
Dataset
GeneBench-Pro có 129 câu hỏi, phủ nhiều setting trong computational biology. OpenAI lập luận rằng chi phí tạo dữ liệu biology, ví dụ genome sequencing, đã giảm mạnh; bottleneck ngày càng chuyển sang computation và analysis.
Điểm quan trọng là benchmark được xây synthetic. Vì OpenAI kiểm soát data-generating process, họ biết causal structure đầy đủ và có thể chấm deterministic theo target đã biết. Cách này giúp tránh hai lỗi phổ biến của benchmark dài hơi:
- Câu hỏi quá mơ hồ, nhiều lựa chọn phân tích đều hợp lý nên chấm điểm phản ánh preference của người tạo đề hơn là năng lực model.
- Câu hỏi quá dễ về mặt số học, model phân tích sai nhưng vẫn ra đáp án đủ gần để pass.
OpenAI cũng audit từng problem bằng trace analysis để kiểm tra leakage và shortcut không mong muốn. 82 trong 129 câu hỏi được gửi cho domain expert như graduate student, postdoc, industry scientist và professor để review tính thực tế, khả năng định danh target answer, và sự phù hợp của method.
Đánh giá và kết quả
Vì kiểm soát toàn bộ data-generation process, GeneBench-Pro có thể chấm deterministic thay vì dựa vào rubric văn bản dễ bị ảnh hưởng bởi độ dài câu trả lời hoặc style của model.
OpenAI open-source 10 câu hỏi đại diện trên Hugging Face và có interactive web interface để xem case study. Họ cũng dự định cung cấp subset 50 câu cho Artificial Analysis để benchmark độc lập.
Kết quả chính:
- GPT-5.6 Sol đạt 28,7% pass rate ở reasoning level cao nhất.
- Với Pro mode, pass rate lên 31,5%.
- Khi bắt đầu xây GeneBench, model frontier tốt nhất của OpenAI là GPT-5 đạt dưới 5%.
- Ở reasoning level thấp nhất, GPT-5.6 Sol chỉ đạt single-digit pass rate.
- Ở reasoning level cao nhất, GPT-5.6 Sol giải được gần gấp 6 lần GPT-5.2 và dùng khoảng hai phần ba số token.
OpenAI cũng nói khoảng cách giữa GPT-5.6/GPT-5.5 và các open-source model như GLM 5.2 lớn hơn nhiều so với extrapolation từ coding benchmark. Cách hiểu thận trọng: một model mạnh về coding chưa chắc mạnh về scientific reasoning dưới uncertainty.
Vì sao benchmark này khó?
Reviewer ước tính một problem điển hình trong GeneBench-Pro có thể cần 20-40 giờ làm việc của human expert. Với mức 200 USD/giờ, chi phí lao động cho một problem có thể lên tới hàng nghìn USD.
Inference cost của AI agent chỉ ở mức vài USD cho mỗi problem, nên ngay cả automation một phần cũng có giá trị kinh tế và khoa học. Nhưng pass rate dưới một phần ba cho thấy model hiện tại vẫn chưa đủ tin cậy để thay chuyên gia.
Failure pattern cũng quen thuộc: model có thể tiến được vài bước, nhưng khó khép kín vòng suy luận. Nó nhìn thấy tín hiệu rời rạc nhưng không luôn biết cách tích hợp vào bối cảnh lớn hơn, giống khác biệt giữa novice và expert.
Ý nghĩa với Dev
Nếu bạn đang build agent cho science, healthcare, bioinformatics hoặc domain có dữ liệu messy, GeneBench-Pro là lời nhắc rằng benchmark “trả lời đúng câu hỏi” chưa đủ. Agent thật cần biết khi nào dữ liệu không hỗ trợ câu hỏi, khi nào giả định sai, và khi nào phải đổi strategy.
Về mặt engineering, benchmark này gợi ý vài nguyên tắc:
- Eval nên kiểm tra workflow đầu cuối, không chỉ single prompt.
- Dataset synthetic có kiểm soát causal structure có thể giúp chấm điểm rõ ràng hơn.
- Test-time compute tạo khác biệt lớn, nên phải đo cả accuracy, token cost và latency.
- Domain expert review vẫn cần thiết để tránh benchmark hợp lý về số nhưng vô nghĩa trong thực tế.
GeneBench-Pro chưa nói rằng scientific agent đã sẵn sàng tự chạy lab. Nó nói rõ hơn vấn đề cần đo: judgment trong điều kiện dữ liệu mơ hồ, nơi model phải tự chọn đường đi thay vì chỉ làm theo recipe.