HART OS: runtime agent local-first tương thích OpenAI API

Giới thiệu

HART OS là một runtime agent local-first, federated và tương thích OpenAI API. Phần lõi là HART, cài bằng pip install hart-backend và chạy trên cổng :6777; HART OS là bộ đầy đủ hơn gồm Liquid Shell, Model Bus, model catalog, channel pairing, agent dashboard và hive view.

Ý tưởng chính: mỗi thiết bị tự dò khả năng phần cứng, rồi phục vụ LLM, vision và speech cho app thông qua Model Bus. Cùng một runtime có thể chạy trên laptop, server, edge node, điện thoại hoặc môi trường embodied AI. Repo đang ở trạng thái public alpha, runtime và adapter đã được dùng hằng ngày nhưng APIs còn thay đổi.

Tính năng chính

• OpenAI-compatible endpoint: expose /v1/chat/completions, nên các client như OpenAI SDK, LangChain, LiteLLM, Aider hoặc Continue có thể gọi vào tương đối dễ.
• Local-first multimodal: hỗ trợ local llama.cpp, Whisper, TTS và VLM bên cạnh provider cloud.
• Model Bus: gom nhiều loại model thành service dùng chung cho app trên thiết bị.
• PeerLink: federation ngang hàng bằng WebSocket trực tiếp, không cần broker trung tâm trong thiết kế gốc.
• Nhiều provider: README liệt kê OpenAI, Anthropic, Google Gemini, Groq, Mistral, DeepSeek, OpenRouter, Together, Fireworks, Cohere, Perplexity, Hugging Face, Ollama và endpoint OpenAI-compatible tùy chỉnh.
• Guardrails: hash guardrail được kiểm tra khi boot và định kỳ 300 giây; peer có hash lệch sẽ bị từ chối kết nối.

README cũng nói tới self-improvement loop, baseline service, benchmark adapters, PR review service và recipe replay. Đây là các phần nên được đọc như public-alpha architecture, không nên mặc định xem là production-grade cho tới khi bạn tự review code và threat model.

Cách sử dụng

Quickstart trong README:

git clone https://github.com/hertz-ai/HARTOS.git
cd HARTOS
python3.10 -m venv venv
source venv/Scripts/activate
pip install -r requirements.txt
echo "OPENAI_API_KEY=sk-..." > .env
python hart_intelligence_entry.py

Sau đó gọi endpoint tương thích OpenAI:

curl -X POST http://localhost:6777/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model": "hevolve", "messages": [{"role": "user", "content": "Hello"}]}'

Ý nghĩa với Dev

Điểm đáng thử nhất là khả năng đặt một runtime agent local sau interface OpenAI-compatible. Nếu bạn đang có tooling đã nói chuyện với OpenAI API, HART OS cho phép thử hướng “đổi backend, giữ client”.

Phần cần cẩn trọng là scope quá rộng: OS, federation, self-improvement, guardrails, desktop app và embodied AI cùng nằm trong một câu chuyện. Dev nên bắt đầu bằng một đường hẹp: chạy endpoint local, nối một client quen thuộc, kiểm tra latency, logging, model routing và failure mode trước khi đụng tới federation hoặc auto-evolve.