Trang bị AI Địa Phương
Edouard Godfrey đã chia sẻ những kinh nghiệm về cách mà các tác nhân AI chạy trên máy tính cá nhân của mình vượt trội so với các dịch vụ đám mây khi nói đến ngữ cảnh.
Sự khác biệt giữa AI địa phương và AI đám mây
- Chạy trên máy cá nhân giúp tác nhân AI thấy toàn bộ hệ thống:
- Thay vì chỉ thấy những gì được cung cấp qua việc copy-paste, AI địa phương có thể nhìn thấy toàn bộ file hệ thống và trình duyệt.
- Điều này giúp loại bỏ nhu cầu phải tải lên dữ liệu hay miêu tả ngữ cảnh trong prompt.
- Ngữ cảnh cục bộ giúp giảm ma sát:
- AI ngừng phải hỏi về framework hay đường dẫn import sai, nhờ có khả năng nhìn thấy trực tiếp mã nguồn.
Kiến trúc của tác nhân AI
- Chạy trong VM (Máy ảo):
- Sử dụng một hệ điều hành Linux nhẹ nằm trong framework ảo hóa của macOS.
- Tách biệt hoàn toàn với máy chủ để đảm bảo an toàn.
- Mount có kiểm soát:
- Tác nhân chỉ có quyền truy cập hạn chế vào hệ thống file qua các mount cụ thể.
- Mô hình “từ chối mặc định, cho phép cụ thể” giúp kiểm soát an toàn.
Mô hình thực nghiệm
-
Sử dụng Playwright để điều khiển trình duyệt
- Tác nhân có thể điều hướng web và thực hiện các hành động như con người.
-
Nhiệm vụ đơn giản như tạo file markdown từ Google News
- AI có thể thực hiện nhiều nhiệm vụ tự động hóa khác nhau chỉ cần thông qua trình duyệt và file hệ thống.
Thách thức và Hướng phát triển
-
Mount động:
- Cần khả năng điều chỉnh mount trong khi hoạt động để phù hợp với luồng công việc thực tế.
-
Quản lý lưu lượng mạng:
- Cần có lớp proxy để giám sát và kiểm soát dữ liệu mạng.
-
Kiểm soát máy tính để bàn và ứng dụng khác:
- Khả năng mở rộng việc kiểm soát thông qua VNC là một mục tiêu dài hạn.
Godfrey khẳng định rằng việc chuyển động lực lượng thực thi AI xuống máy cục bộ sẽ giải quyết nhiều vấn đề về ngữ cảnh và tích hợp, vốn là những thách thức lớn trong môi trường đám mây.