Có một dòng trong model card Fable 5 mà tôi không nghĩ sẽ đọc được:
chúng tôi đã triển khai interventions mới giới hạn hiệu quả của Claude đối với các request nhắm tới frontier LLM development (ví dụ: building pretraining pipelines, distributed training infrastructure, hoặc ML accelerator design). Dùng Claude để phát triển competing model đã vi phạm Terms of Service, nhưng enforce restriction qua safeguard giúp tránh accelerate các actor sẵn sàng vi phạm terms. Khác với các intervention cho cybersecurity, biology/chemistry, và distillation attempt, các safeguard này sẽ không hiển thị cho user. Fable 5 sẽ không fallback sang model khác. Thay vào đó, safeguard sẽ giới hạn hiệu quả qua các phương pháp như prompt modification, steering vectors, hoặc parameter-efficient fine-tuning (PEFT).
Claude giờ có thể bị nerf một cách silent. Anthropic quyết định không nói với user khi điều này xảy ra.
Ngày càng nhiều software company build embedding, reranking, và recommendation system riêng. Ngay cả app nhỏ bootstrapped của tôi, wanderfugl.com, cũng có custom reranker và embedding algorithm tôi tự train.
Anthropic đưa ra vài ví dụ về “frontier AI development”, nhưng không vẽ ranh giới rõ ràng. Vấn đề: nhiều technique trước đây chỉ AI lab dùng giờ được áp dụng bởi software company bình thường. Startup train embedding model. Build reranker. Finetune và host small LLM. Ranh giới giữa “frontier AI research” và normal product development đang khó định nghĩa hơn mỗi năm.
Điều đó tạo ra supply chain risk thực sự cho business. Nếu Claude cho lời khuyên kém hoặc sai khi tôi đang làm việc với AI component, tôi không có cách nào biết model bị confused, vấn đề tôi đang giải không có lời giải, hay một policy restriction ngầm đã âm thầm kick in. Anthropic chọn không nói cho user biết.
Một khi development tool có thể ngừng optimizing cho thành công của bạn mà không nói, không thể tin tưởng đầy đủ vào infrastructure của bạn nữa.
Anthropic supply chain risk
Anthropic nói safeguard này chỉ ảnh hưởng 0.03% developer. Có thể đúng — hôm nay.
Vấn đề: định nghĩa của AI company đang thay đổi.
Có thể bạn không train frontier model hôm nay — hầu hết company không. Nhưng phần mềm hiện đại ngày càng chứa AI model. Năm năm trước, build startup nghĩa là viết API và SQL query. Hôm nay, thường nghĩa là train, tune, và deploy model.
Năm năm trước, model như CLIP là frontier AI research project. Hôm nay tôi đang fine-tune nó cho một travel startup bootstrapped.
Nếu bạn đang debug model training pipeline cho product và Claude cho câu trả lời tệ — model bị confused? Bạn cho context không tốt? Hay một policy ẩn đã nerf khả năng Claude assist bạn?
Bạn sẽ không biết.