Tóm tắt
Khi AI được dùng phổ biến, LLM ngày càng tham gia vào cả hai phía của các quyết định — từ tuyển dụng đến content moderation. Câu hỏi quan trọng: LLM có hệ thống ưu ái nội dung giống output của chính nó không?
Nghiên cứu trước đó trong computer science đã xác định self-preference bias — xu hướng LLM ưu ái nội dung do chính nó sinh ra — nhưng tác động thực tế chưa được kiểm chứng empirical. Bài này tập trung vào hiring, nơi job applicant thường dùng LLM để refine resume, còn employer triển khai LLM để screen chính những resume đó.
Phát hiện chính
Tác giả chạy correspondence experiment quy mô lớn và phát hiện:
- LLM consistently prefer resume do chính nó sinh ra hơn resume người viết hoặc resume từ model khác, kể cả khi content quality được control.
- Bias chống lại resume do người viết đặc biệt mạnh: tỷ lệ self-preference dao động 67% đến 82% trên cả commercial lẫn open-source models lớn.
- Trong simulation hiring pipeline qua 24 nghề: candidate dùng cùng LLM với evaluator có chance được shortlist cao hơn 23% đến 60% so với applicant tương đương dùng resume người viết.
- Lệch lớn nhất ở các nghề business như sales và accounting.
- Bias có thể giảm hơn 50% thông qua intervention đơn giản nhắm vào khả năng self-recognition của LLM.
Ý nghĩa với Dev
Nếu bạn đang build công cụ liên quan đến hiring — dù là screening tool cho HR hay resume builder cho candidate — đây là vector bias mới cần đo đạc và mitigate:
- Treat self-preference như demographic bias: thêm vào fairness audit, đo bias rate trên test set có cả resume LLM-generated và human-written.
- Hiển thị tín hiệu: cảnh báo recruiter khi resume có dấu hiệu được LLM refine, hoặc cho phép họ disable self-recognition.
- Đa dạng hóa model: dùng model khác để screen so với model phổ biến mà candidate dùng (ChatGPT/Claude), giảm overlap.
- Apply mitigation: paper chỉ ra intervention nhắm self-recognition giảm bias hơn 50% — implement trong system prompt khi build hiring tool.
Với trend AI tham gia cả hai phía của decision pipeline (resume review, content moderation, code review, paper review…), đây là dấu hiệu sớm của một loại bias mới mà framework AI fairness hiện tại chưa cover. Đáng theo dõi và đo đạc trong production.