Tóm tắt
“CAPTCHA giờ đã broken” — AI giải CAPTCHA dễ dàng, đúng không? Đúng, nhưng không đầy đủ. Vision language model (Claude, GPT, Gemini) recognize ảnh đèn giao thông, vòi cứu hỏa tốt — deep learning solved task này từ đầu 2010s. Nhưng AI không giải CAPTCHA giống con người. Nếu nhìn data của humans và AI cùng giải CAPTCHA, có sự khác biệt statistically significant ở error pattern, sequential click pattern, direction change, overselection.
Dev nên quan tâm vì: nếu bạn build anti-bot, đo behavioral signal (mouse trajectory, dwell time, error pattern) sẽ bền hơn rất nhiều so với đo answer correctness.
Phát hiện chính
1. Output equivalence ≠ process equivalence
Trên classic CAPTCHA, humans và Claude/GPT/Gemini đạt performance tương đương (output), nhưng có process difference statistically significant trên:
- Sequential score — thứ tự click ảnh
- Direction change — số lần đổi hướng cursor
- Overselection — chọn nhiều hơn cần thiết
Nghĩa là: AI có thể tìm đúng tất cả traffic light, nhưng cách di chuyển cursor và thứ tự click khác với human pattern.
2. Process Turing Test — extend Turing Test xuống level sâu hơn
Turing Test gốc đo whether machine output indistinguishable from human output. Roundtable đề xuất Process Turing Test đo whether machine produces a process indistinguishable from humans.
Để test thực nghiệm, họ thiết kế CogCAPTCHA30: 1 CAPTCHA gốc + 29 task psychology cổ điển (decision-making, memory, perception, reasoning).
3. Frontier model ít giống human nhất
Khi đo distance giữa human process features và các model:
- Frontier models (Claude, GPT, Gemini) — process xa human nhất
- Qwen 1.5B (open-source) — gần human hơn
- Centaur 70B (foundation model of human cognition) — gần human nhất
Take-away: AI progress hiện tại độc lập với human simulation. Model càng mạnh không có nghĩa càng giống người. Centaur win vì được fine-tune với 10M+ human choice trên 160 cognitive experiment.
4. Process gap adversarially robust
Câu hỏi quan trọng: nếu agent biết feature nào sẽ bị đo, nó có optimize để qua mặt được không?
Kết quả khi P-SFT (fine-tune Qwen2.5 Instruct trên process-level data):
- Full information (biết feature + discriminator objective): gap biến mất
- Partial information (một số feature bị ẩn): gap quay lại
- Cross-task generalization (test trên task chưa từng train): gap full return
Nghĩa là: nếu defender không expose toàn bộ feature space và discriminator, Process Turing Test rất robust.
Ý nghĩa với Dev
Anti-bot strategy phải shift từ output checking sang process checking:
- Đo correctness của answer → không đủ
- Đo behavioral signal: mouse trajectory, click sequence, dwell time, scroll pattern, error rate, hesitation → bền hơn
- Đừng public hóa feature đang dùng để discriminate — privacy của detection logic là phần quan trọng của security
So với one-time check (password, document ID, device fingerprint), Process Turing Test là step-up function:
- Replicate human cognitive psychology là task khó hơn exponentially so với generate correct text
- Mỗi lần thêm cognitive task mới, AI phải learn lại từ đầu trên distribution thực
- Adversary phải có full access vào discriminator để qua mặt — thông tin asymmetric về phía defender
Hệ quả cho agent-as-user use case (Robinhood AI trade stock, browser agent, v.v.): nếu site target dùng process-level detection, off-the-shelf agent sẽ bị block. Builder cần đầu tư vào human-like browsing behavior — không chỉ là solve task đúng.
Tham khảo
- Preprint trên arXiv
- AI Capability isn’t Humanness — bài liên quan từ Roundtable về sự độc lập giữa AI capability và humanness