NVIDIA Cosmos 3: Frontier model cho physical AI gói reasoning + world + action vào một kiến trúc duy nhất

Physical AI cần hiểu thế giới thật trước khi có thể hành động trong đó. Robot, xe tự lái và smart space cần nhận biết môi trường, dự đoán điều sắp xảy ra và sinh action phù hợp cho từng môi trường, embodiment và task cụ thể.

NVIDIA Cosmos 3 là frontier foundation model cho physical AI, kết hợp physical reasoning, world generation và action generation trong một model mở duy nhất. NVIDIA open source toàn bộ Cosmos 3: model checkpoints, training scripts, deployment tools và datasets.

Những điểm chính của bản release:

• Cosmos 3 Nano và Cosmos 3 Super checkpoints trên Hugging Face, code trên GitHub
• Open datasets cho robotics và autonomous driving
• Open post-training scripts để adapt Cosmos 3 vào domain riêng
• Cosmos NIM microservices cho deployment dễ dàng trên NVIDIA GPU

Có gì mới trong Cosmos 3

Các phiên bản Cosmos trước tách world generation, physical understanding và controlled scene generation thành các model và workflow riêng. Bản này gộp chung qua kiến trúc Mixture-of-Transformers (MoT) hai tháp:

• Reasoner tower: vision-language model (VLM) đọc input multimodal (image, video, text) dùng kiến trúc autoregressive để hiểu motion, object interaction và physical context. Đây là “não” reasoning trước khi sinh.
• Generator tower: sinh future observations và action sequences. Dùng diffusion để sinh video và action có physics, được điều kiện bởi Reasoner. Reasoner có thể gọi độc lập, nhưng Generator luôn kích hoạt cả hai tower.

Kiến trúc này cho phép một model duy nhất làm cả reasoning lẫn generation, bỏ được orchestration giữa nhiều model và pipeline inference.

Chọn size phù hợp

Hiện có hai model:

• Cosmos 3 Nano: 16B params, tối ưu cho inference hiệu quả. Chạy được trên workstation như NVIDIA RTX PRO 6000 cho real-time robotics inference.
• Cosmos 3 Super: 64B params, tối đa quality và capability. Đạt benchmark cao nhất, target datacenter trên NVIDIA Hopper và Blackwell — dùng cho synthetic data generation quy mô lớn và physical reasoning nâng cao.

Modalities hỗ trợ

Open datasets cho physical AI

NVIDIA mở 6 synthetic data generation (SDG) datasets trên Hugging Face — cover robotics, physics simulation, spatial reasoning, human motion, driving, warehouse:

• Embodied robot scenes
• Physical interaction scenes
• Spatial reasoning
• Digital human scenes
• Autonomous driving scenarios
• Warehouse operations scenes

Benchmark results

Cosmos 3 Super và Nano dẫn VANTAGE-Bench ở tier 32B và 8B. Trên các generator benchmark, Cosmos 3 là open-source SOTA và đang dẫn:

• PAI-Bench: physical AI cho video understanding và generation
• R-Bench Physics-IQ: video-based world model cho robotic
• RoboLab: task-generalist robot policy
• Artificial Analysis: dẫn đầu open source trên Text to Image và Image to Video leaderboard

NVIDIA cũng mở Cosmos Human Evaluation (HUE) framework, đánh giá generator quality qua atomic binary verification — mỗi video sinh ra được chia thành câu hỏi yes/no đơn lẻ qua 4 chiều (semantic alignment, physical laws, geometric reasoning, visual integrity).

Training recipes

Ngoài checkpoint, bản release mở luôn toàn bộ training recipes:

• Supervised Fine-Tuning (SFT): adapt Cosmos 3 vào data riêng — vision generation post-training cho video dataset custom, action-oriented recipes cho robotics. Code và config trên GitHub.
• Action post-training: adapt cho action-aware Physical AI — forward dynamics, inverse dynamics, policy generation. Cho robotics: sinh future observation từ robot action, infer action từ demonstration, predict action sequence từ observation hiện tại + task prompt.

Deploy với NVIDIA NIM Microservices

Cosmos 3 có sẵn dạng NVIDIA NIM microservices cho production-ready deployment. NIM gói model với optimized inference runtime, không cần tự tune serving infrastructure. Reasoner NIM đã ra, Generator NIM sắp tới.

Optimizations:

• Quantization: support BF16, FP8, NVFP4 — NVFP4 giảm precision từ BF16 xuống 4-bit float, tăng tốc inference tới 2x
• vLLM: Cosmos 3 Reasoner NIM dùng vLLM với continuous batching, paged attention, tensor parallelism. Nano sẵn sàng với vLLM-omni và NVIDIA Dynamo
• Efficient Video Sampling (EVS): giảm số video token feed vào VLM, đặc biệt hiệu quả trên GPU nhỏ

Cách bắt đầu

Chạy Cosmos 3 Nano Reasoner NIM (cần NGC API key):

docker run --gpus=all \
  -e NGC_API_KEY=$NGC_API_KEY \
  -e NIM_MODEL_SIZE=nano \
  -p 8000:8000 \
  nvcr.io/nim/nvidia/cosmos3-reasoner:latest

Đổi NIM_MODEL_SIZE=super để chạy Cosmos 3 Super Reasoner NIM.

Links:

• Checkpoints: Hugging Face
• Code và examples: Cosmos 3 GitHub
• Thử model: Cosmos 3 Nano Reasoner | Cosmos 3 Nano
• Community: GitHub Issues hoặc Discord