Giới thiệu
claude-real-video là tool local biến video thành bộ frame quan trọng, transcript và manifest để LLM có thể phân tích nội dung. Ý tưởng chính: nhiều LLM không thật sự “xem” video khi bạn đưa link, mà chỉ đọc transcript hoặc lấy frame theo khoảng thời gian cố định.
Tool này xử lý video trước, rồi đưa ra một gói input gọn hơn cho Claude, ChatGPT, Gemini hoặc model khác.
Tính năng chính
- Nhận URL hoặc file video local.
- Phát hiện scene change để chọn frame theo thay đổi hình ảnh, thay vì lấy 1 frame mỗi N giây.
- Dedup các frame gần giống nhau để tránh gửi quá nhiều ảnh lặp.
- Tạo transcript audio bằng Whisper.
- Xuất thư mục gồm frame, transcript và
MANIFEST.txt. - Chạy local, hạn chế việc upload video gốc lên dịch vụ cloud chỉ để trích frame.
Cách này hợp với video có nhiều thay đổi hình ảnh, demo sản phẩm, bug recording, lecture kỹ thuật hoặc screencast cần cả hình lẫn lời.
Cách sử dụng
Ví dụ với YouTube hoặc URL video:
crv "https://www.youtube.com/watch?v=..."Output thường gồm:
crv-out/frames/*.jpg
crv-out/transcript.txt
crv-out/MANIFEST.txtSau đó bạn đưa frame và manifest vào LLM rồi hỏi về nội dung video. Với video dài, hãy kiểm tra số frame được xuất để tránh vượt context hoặc quota ảnh của model.
Ý nghĩa với Dev
Dev nên quan tâm vì nhiều workflow debugging và review hiện nay nằm trong video: Loom, screen recording, demo bug, call walkthrough. Thay vì bắt model đoán từ transcript, tool này giúp bạn đưa phần hình ảnh quan trọng vào context.
Giới hạn vẫn còn rõ: đây là preprocessing, không phải video understanding native. Kết quả phụ thuộc vào chất lượng scene detection, transcript và khả năng xử lý ảnh của model bạn dùng.