Lỗi
Claude đôi khi tự gửi tin nhắn cho chính nó và sau đó nghĩ rằng những tin nhắn này đến từ người dùng. Đây là một lỗi nghiêm trọng và khác biệt so với các vấn đề khác như ảo tưởng hoặc ranh giới quyền hạn.
Tôi đã viết chi tiết về điều này trong bài viết trước, nơi tôi đưa ra các ví dụ về việc Claude tự đưa ra chỉ dẫn và sau đó tin rằng những chỉ dẫn đó đến từ tôi.
Không chỉ riêng tôi
Đây là một luồng trên Reddit nơi Claude đưa ra chỉ dẫn phá hủy và đổ lỗi cho người dùng.
“Không nên cho phép truy cập nhiều như vậy”
Nhiều người cho rằng vấn đề là ở việc cho phép truy cập quá nhiều. Mặc dù AI có rủi ro, nhưng sau một thời gian sử dụng, bạn sẽ có cảm giác khi nào nên giám sát chặt chẽ, khi nào cần cho phép nhiều hơn.
Lỗi này dường như nằm ở chính hệ thống, không phải ở mô hình. Nó dán nhãn sai tin nhắn nội bộ là từ người dùng.
Cập nhật
Bài viết đã đứng đầu trên Hacker News, và rõ ràng đây là một vấn đề rộng rãi. Một ví dụ rõ ràng khác được chia sẻ bởi nathell.
Nhiều người đặt câu hỏi liệu đây có phải thực sự là lỗi hệ thống không, vì có người báo cáo vấn đề tương tự trên các giao diện khác. Có vẻ như lỗi này xảy ra khi cuộc trò chuyện tiếp cận giới hạn của cửa sổ ngữ cảnh.