Tóm tắt
Tác giả huấn luyện một transformer nhỏ từ đầu trong khoảng 1,5 giờ trên RTX 5090 và đạt 44% trên ARC-1 public eval. Tổng chi phí compute được báo cáo là 67 xu; cùng hệ thống đạt 7% trên ARC-2. Mục tiêu của thử nghiệm không phải tạo LLM tổng quát mà là đo xem deep learning có thể học hiệu quả đến đâu với rất ít mẫu.
Kết quả đáng chú ý vì kiến trúc tương đối quen thuộc đạt điểm cao bằng cách biểu diễn grid tốt hơn và huấn luyện ngay ở test time. Nó không chứng minh một model nhỏ có năng lực tổng quát hơn frontier LLM.
Phương pháp
Mỗi cặp input-output của ARC được chuyển thành chuỗi token. Một autoregressive transformer nhỏ được train từ đầu trên các puzzle huấn luyện và phần input của puzzle đánh giá; nhãn output cần dự đoán vẫn bị ẩn.
Các thành phần chính gồm:
- Mỗi puzzle có một embedding cộng riêng để model học thông tin theo task.
- Hai grid hai chiều trong mỗi sequence được mã hóa bằng 3D RoPE.
- Dữ liệu được tăng cường bằng hoán vị màu và các phép biến đổi dihedral.
- Khi inference, model chạy trên nhiều biến thể input, đảo phép biến đổi trên output rồi chọn hai đáp án phổ biến nhất.
- Objective mới chỉ tính loss trên output token thay vì cả input và output.
- Kiến trúc dùng SwiGLU, RMSNorm, tám layer và optimizer NorMuon kết hợp AdamW.
- Training dùng packed token stream, flash attention cho sequence độ dài khác nhau và flex attention khi decode.
Tác giả bổ sung các task ARC-2 không trùng với ARC-1. Đây là điểm cần xử lý cẩn thận vì ARC-2 chứa 773 puzzle ARC-1; nếu không lọc phần lặp, model có thể rò dữ liệu và đạt điểm giả. Sau khi bỏ task trùng, tác giả nói cấu hình chỉ dùng ARC-1 và ConceptARC vẫn đạt khoảng 40%, nhưng cần gần gấp đôi compute.
Phát hiện chính
Ablation cho thấy phần lớn mức tăng đến từ cách biểu diễn:
- Bỏ 3D RoPE hoặc embedding theo task làm điểm giảm từ 44% xuống khoảng 24–25%.
- Tính loss trên cả input và output đạt khoảng 39%, thấp hơn objective chỉ dùng output.
- Train riêng từng task theo kiểu CompressARC đạt khoảng 18% khi unsupervised và 15% khi supervised.
- Không dùng phần task mới từ ARC-2 vẫn giữ khoảng 40%.
Tác giả cũng nhận thấy test loss tệ hơn nhưng điểm ARC tốt hơn sau khi chuyển sang objective supervised. Đây là ví dụ cho thấy tối ưu validation loss trên tập nhỏ không nhất thiết tối ưu đúng hành vi cuối cùng.
Chi phí giảm nhờ ít augmentation hơn, NorMuon thay cho AdamW thuần, packed training và kernel attention phù hợp hơn. Tác giả cho rằng handwritten GPU kernel có thể giảm chi phí thêm, nhưng đó là hướng thử tiếp chứ chưa phải kết quả đã đo.
Tranh luận về cách đánh giá
Model nhìn thấy input của eval puzzle khi train ở test time nhưng không nhìn thấy output label bị ẩn. Tác giả gọi đây là transductive reasoning và cho rằng nó phù hợp với một benchmark meta-learning. Phê bình hợp lý hơn nằm ở phạm vi kết luận: hệ thống được thiết kế riêng cho ARC và score dùng public eval, nên không thể dùng nó để nói model có reasoning tổng quát hoặc đánh bại LLM trên nhiều loại tác vụ.
Con số 67 xu là lifetime compute cho lần train và inference được mô tả, không bao gồm giá mua GPU. Nó cũng được phân bổ trên toàn bộ bộ task chạy cùng nhau. Vì vậy, so sánh cost-per-task với hệ thống xử lý từng task riêng lẻ có thể gây hiểu nhầm.
Tác giả hiện chỉ so trực tiếp với các phương pháp test-time training tương tự như TRM, HRM và CompressARC. Cách thu hẹp đó hợp lý hơn so với đặt model chuyên ARC cạnh LLM đã pretrain với chi phí không được tính vào cùng trục.
Ý nghĩa với dev
Điểm thực dụng của dự án là code mở và vòng lặp thử nghiệm rẻ hơn:
- Representation có thể quan trọng hơn việc thêm kiến trúc phức tạp.
- Ablation nhỏ, chạy nhanh giúp tách đóng góp thực của optimizer, objective và positional encoding.
- Benchmark công khai cần kiểm tra rò dữ liệu, đặc biệt khi dữ liệu của phiên bản sau chứa lại task cũ.
- Score trên một benchmark chuyên biệt nên được báo kèm phạm vi áp dụng và tổng compute, không quảng cáo thành năng lực tổng quát.
Nếu muốn tái hiện, hãy bắt đầu từ repository của tác giả, khóa dataset và seed, xác nhận danh sách task trùng đã bị loại, rồi chạy cả ablation chứ không chỉ cấu hình tốt nhất. Giá trị của bài viết nằm ở một giả thuyết có thể kiểm tra về sample efficiency, không nằm ở câu nói một transformer nhỏ đã vượt qua nhiều LLM.