Giới thiệu
Nativ là app open source chạy open models local trên Mac, nhắm vào Apple Silicon từ M1 trở lên. Mục tiêu là dùng model ngay trên máy: không account, không subscription, không cloud và không credit.
Sản phẩm tập trung vào hai lớp:
- Một app chat local với streaming response, markdown, code highlighting và input ảnh.
- Một local endpoint để các coding agent quen thuộc kết nối vào model chạy trên Mac.
Với dev, điểm đáng quan tâm không phải câu “frontier intelligence on your desk” trong landing page. Phần đáng thử là telemetry và integration: bạn biết model local đang chạy nhanh/chậm ra sao, ăn memory thế nào, nóng máy tới đâu, rồi đưa endpoint đó vào workflow agent hiện có.
Tính năng chính
Model library được curate
Nativ cho phép chạy open models từ Google, Cohere và Liquid AI. App gợi ý model phù hợp với phần cứng Mac của bạn, thay vì bắt người dùng tự mò từng model trên Hugging Face.
Chat local
App hỗ trợ streaming response, markdown, code highlighting và image input. Mỗi response được sinh local, nên dữ liệu không phải đi qua cloud provider.
Telemetry cho dev
Nativ hiển thị các chỉ số mà app chat thường giấu:
- tokens/sec
- memory pressure
- thermal state
- time-to-first-token
- response performance theo từng message
Đây là phần quan trọng nếu bạn định dùng local model cho công việc thật. Chất lượng model chỉ là một nửa; latency, memory và thermal throttling mới quyết định workflow có chịu nổi hay không.
Tối ưu cho Apple Silicon
Nativ được build trên MLX-VLM và tối ưu cho unified memory + Metal của M-series. Bài giới thiệu nói rõ đây không phải wrapper hay translation layer.
Nhiều modality
Landing page nêu các nhóm tác vụ:
- language/chat
- vision và image captioning
- video summarization
- code autocomplete
- audio transcription và speech generation
Mức độ tốt của từng modality còn phải thử thực tế theo model cụ thể, nhưng hướng đi là biến Mac thành runtime local cho nhiều kiểu model, không chỉ text chat.
Tích hợp với coding agent
Nativ có phần integration cho các agent/tool như:
- Pi
- Codex
- Claude Code
- Hermes
- OpenCode
Ý tưởng là Nativ chạy model server local, còn tool phía trên vẫn giữ workflow cũ. Nếu tool của bạn nói chuyện được với endpoint tương thích, bạn có thể chuyển một phần workload sang model local.
Use case hợp lý:
- chạy task phụ ít rủi ro như summarize log, draft test case, giải thích code nội bộ;
- thử prompt riêng tư mà bạn không muốn gửi lên cloud;
- benchmark model local trên repo thật;
- fallback khi API cloud đắt hoặc rate limit;
- chạy agent nhẹ cho việc lặp lại nhiều lần.
Use case chưa nên kỳ vọng quá mức:
- thay frontier model cho planning khó;
- refactor lớn cần reasoning dài;
- task cần tool ecosystem cloud hoàn chỉnh;
- workload dài khiến Mac throttling hoặc hết memory.
Vì sao open source
Nativ nhấn mạnh app desktop, model loader và telemetry chart đều open source. Lập luận của họ là nhiều app “local AI” khác chỉ là shell đóng trên engine open source, thêm paywall và giấu phần UI.
Thông điệp sản phẩm:
- không SaaS;
- không subscription;
- không account;
- không credit;
- không bán dữ liệu prompt;
- license MIT.
Cách sử dụng
Quy trình thử hợp lý cho dev:
- Cài Nativ trên Mac Apple Silicon.
- Chọn model từ curated library theo dung lượng RAM và nhu cầu.
- Chạy chat thử để đo tokens/sec, memory pressure và time-to-first-token.
- Bật local endpoint.
- Trỏ coding agent hoặc tool tương thích vào endpoint đó.
- Chạy một task nhỏ, so kết quả với model cloud đang dùng.
- Ghi lại task nào đủ tốt để chuyển sang local, task nào vẫn cần frontier model.
Đừng đánh giá chỉ bằng một prompt demo. Local model có thể ổn cho task lặp lại, riêng tư hoặc rẻ tiền, nhưng vẫn yếu hơn frontier model ở planning phức tạp. Giá trị của Nativ nằm ở việc làm cho thử nghiệm đó đủ dễ và đủ đo được.