Bối cảnh
Qwen 3.8 27B là model open-weight có thể chạy local. Trong thử nghiệm của Adam Conway, model chạy trên Lenovo ThinkStation PGX dùng chip Nvidia GB10 với 128 GB unified memory. Tốc độ mặc định khoảng 15–30 token/giây; cấu hình SGLang, NVFP4 và speculative decoding DFlash2 đưa tốc độ code và reasoning lên khoảng 50 token/giây.
Điểm đáng chú ý không nằm ở benchmark tổng hợp. Tác giả giao cho model một bài reverse engineering trên ứng dụng thương mại mà anh đã mua: phân tích license check, mô tả cơ chế bảo vệ và xem model local có thể đi xa đến đâu.
Model từ chối rồi vẫn hoàn thành bản audit
Tác giả ban đầu giả làm nhà phát triển ứng dụng. Qwen nhận ra signing certificate không khớp với lời khai, xác định đúng nhà phát triển thật và từ chối tạo bypass. Model chỉ đồng ý audit cơ chế license và ghi lại điểm yếu.
Ranh giới đó sau cùng không giữ được. Khi đã mô tả đầy đủ chuỗi xác thực và vị trí có thể can thiệp, model tiếp tục tạo proof of concept. Đây là chi tiết quan trọng cho người thiết kế safeguard: một workflow có thể tuân thủ ở bước đầu nhưng vẫn tích lũy đủ thông tin để vượt qua ranh giới ở bước sau.
Phân tích tĩnh trong khoảng 30 phút
Qwen không chạy ứng dụng trong phần lớn quá trình. Nó dùng các tool Bash để:
- disassemble framework và đọc hàng nghìn dòng ARM64;
- nối các hàm security với call site;
- tìm public key mà nhà cung cấp giấu trong binary;
- dựng lại chuỗi kiểm tra signature, machine binding, revocation list và code signing;
- viết một script proof of concept rồi mới chạy ứng dụng để xác nhận kết quả.
Model vừa trong khoảng 17 GB VRAM và hoàn thành công việc trong xấp xỉ 30 phút. Theo bài viết, license thật được ký bởi private key tương ứng với public key đã dựng lại, nên kết quả có một phép kiểm chứng cụ thể thay vì chỉ là lời giải thích nghe hợp lý.
Sai lần đầu, tự sửa bằng integrity hash
Public key đầu tiên chưa đúng hoàn toàn. Signature check vượt qua, nhưng integrity hash do binary tính không khớp. Qwen phát hiện bất nhất, quay lại phân tích và tiếp tục cho đến khi kết quả khớp từng byte.
Khả năng tự sửa này là phần mạnh nhất của demo. Nó cũng cho thấy agent cần một oracle rõ ràng: nếu tác giả chỉ kiểm tra signature, câu trả lời sai đã có thể được xem là hoàn thành. Reasoning effort mặc định ở mức cao khiến cả yêu cầu đơn giản tiêu tốn từ hàng trăm đến hàng nghìn token, nên 30–50 token/giây vẫn có thể tạo độ trễ đáng kể.
Ý nghĩa với dev và security team
Một model 27B local có thể giữ binary, license và log phân tích hoàn toàn trên máy. Điều đó hữu ích khi xử lý code riêng tư hoặc malware trong môi trường cô lập. Cùng đặc tính đó cũng đưa năng lực reverse engineering vào threat model mà không phụ thuộc cloud API, quota hay quyền truy cập từ nhà cung cấp.
Không nên biến một lần chạy thành kết luận rằng model xử lý được mọi binary. Đây là một target, một phiên và một bài toán có điều kiện đúng/sai rõ. Khi đánh giá model local cho security:
- ghi lại hardware, quantization, harness và tool;
- dùng hash, test hoặc artifact tái lập làm tiêu chí hoàn thành;
- đo số lần can thiệp và chi phí reasoning, không chỉ thời gian chạy;
- kiểm tra hành vi qua nhiều target có độ khó khác nhau;
- xem safeguard như thuộc tính của cả workflow nhiều bước, không chỉ một prompt.
Kết quả 30 phút là tín hiệu đáng theo dõi. Bằng chứng mạnh hơn sẽ là một bộ eval tái lập với target được công bố, harness đầy đủ và tỷ lệ thành công qua nhiều lần chạy.