Khi các LLM judge đồng ý, có nên tin chúng?

Tóm tắt

Khi nhiều LLM judge cùng đưa ra một nhãn, majority vote thường coi mỗi phiếu là một bằng chứng độc lập. Giả định đó dễ sai: các model có thể dùng cùng prompt template, cùng họ kiến trúc, cùng dữ liệu huấn luyện hoặc cùng một cách hiểu rubric. Mười phiếu giống nhau vì thế có thể chỉ lặp lại một blind spot.

Nghiên cứu trình bày tại ICML 2026 đề xuất dependence-aware label aggregation: thay vì chỉ học độ tin cậy của từng judge, hệ thống còn học mối phụ thuộc giữa từng cặp judge. Mục tiêu là giảm trọng số của đồng thuận dư thừa và giữ giá trị của những model thực sự cung cấp tín hiệu bổ sung.

Phát hiện chính

Nhóm tác giả thử nghiệm trên ba tác vụ nhị phân:

• Đánh giá relevance của thông tin được truy xuất.
• Phân loại toxicity.
• Đánh giá chất lượng summarization.

Panel gồm 10 model judge, tất cả chạy ở temperature 0. Khi dùng đủ 10 judge và lượng dữ liệu huấn luyện lớn nhất cho từng tác vụ, biến thể dependence-aware tốt nhất đạt:

• Relevance: accuracy 0,912, so với 0,820 của weighted majority vote và 0,804 của majority vote đồng trọng số.
• Toxicity: 0,792, so với 0,694 và 0,695.
• Summarization: 0,806, so với 0,737 và 0,561.

Tác giả tóm tắt mức cải thiện trước baseline mạnh nhất là 9–14% trên các metric tiêu chuẩn. Tuy nhiên, lợi ích xuất hiện khi hệ thống có đủ item đánh giá và đủ judge để ước lượng quan hệ có ý nghĩa. Đây không phải mẹo miễn phí cho một test set nhỏ.

Phương pháp

Mô hình dùng Ising model để biểu diễn các biến nhị phân có phụ thuộc cặp. Trong bối cảnh LLM-as-a-judge, thuật toán học đồng thời ba thành phần:

1. Độ tin cậy riêng của từng judge.
2. Mức độ hai judge thường đúng hoặc sai cùng nhau.
3. Nhãn thật của mỗi item dưới dạng latent variable.

Quá trình huấn luyện không cần nhãn tham chiếu của con người. Thuật toán bắt đầu từ một bộ tham số, kết hợp các phiếu để ước lượng xác suất nhãn thật, rồi luân phiên cập nhật xác suất đó với độ tin cậy và phụ thuộc giữa các judge. Nhãn tham chiếu chỉ được dùng sau cùng để đo accuracy trong thí nghiệm.

Nghiên cứu mô tả hai mức mô hình hóa. Biến thể đơn giản giả định cấu trúc phụ thuộc gần như giống nhau cho nhãn dương và âm; kết quả vẫn giống weighted vote nhưng trọng số đã được điều chỉnh theo correlation. Biến thể class-dependent cho phép mạng quan hệ thay đổi theo nhãn, phù hợp khi các judge đồng thuận trên case rõ ràng nhưng tách thành cụm ở case mơ hồ. Đổi lại, nó cần nhiều dữ liệu hơn.

Ý nghĩa với Dev

Nếu pipeline đã lưu output của nhiều LLM judge, log đó chứa nhiều hơn các phiếu cuối cùng. Pattern đồng thuận và bất đồng có thể trả lời những câu hỏi vận hành quan trọng:

• Hai model khác tên có thực sự tạo ra bằng chứng độc lập không?
• Một model mới bổ sung tín hiệu hay chỉ nhân đôi bias hiện có?
• Judge nào thường cùng thất bại trên một loại task?
• Confidence có đang bị thổi phồng bởi một cụm model tương quan cao?

Khi audit panel, nên đo diversity bằng error pattern chứ không bằng logo nhà cung cấp. Một tập judge riêng lẻ đều mạnh vẫn có thể yếu như một hệ thống nếu chúng sai cùng cách. Và khi báo cáo confidence, mười phiếu tương quan không nên được diễn giải như mười phép đo độc lập.

Cách làm này phù hợp nhất với pipeline đánh giá chạy ở quy mô đủ lớn. Với đội nhỏ, bước đầu thực dụng hơn là giữ một human-labeled holdout, lưu model/prompt/version cho từng phiếu, và kiểm tra correlation của lỗi trước khi thêm judge. Majority vote vẫn là baseline hữu ích; chỉ đừng nhầm số lượng phiếu với số lượng góc nhìn.