🌐 LLMNet: Mạng Internet Ngoại tuyến
Một trải nghiệm tìm kiếm ưu việt, riêng tư và dùng AI hoàn toàn trên máy của bạn.
LLMNet biến đổi LLM cục bộ của bạn thành một công cụ tìm kiếm cấu trúc. Nó kết hợp sức mạnh của AI tạo cục bộ với một Database Vector hiệu năng cao (RAG) để cung cấp câu trả lời nhanh chóng, offline từ cơ sở kiến thức của bạn.
✨ Tính Năng Chính
- 🔒 100% Riêng Tư: Truy vấn và dữ liệu của bạn không rời khỏi mạng cục bộ.
- 🧠 Local RAG: Chỉ số hóa bất kỳ website hay wiki nào vào một Postgres Vector DB kiên cố.
- ⚡ Kết Quả Tức Thì: Tìm kiếm ngữ nghĩa dưới 1 giây bằng pgvector & HNSW indexing.
- 🎨 Giao Diện Cao Cấp: Giao diện kiểu kính mờ, chế độ tối lấy cảm hứng từ các công cụ tìm kiếm hiện đại.
- 🌐 Không Cần Internet: Sau khi được chỉ số hóa, kiến thức của bạn luôn sẵn có offline.
🛠️ Công Nghệ Sử Dụng
- Frontend: Next.js, Tailwind CSS
- Trí Tuệ: Local LLMs (thông qua các API tương thích OpenAI)
- Database: PostgreSQL với
pgvector - Điều Hành: Bun, Cheerio (Crawl), Turndown (Markdown)
🚀 Bắt Đầu Nhanh
1. Yêu Cầu
Hãy chắc chắn bạn có các thành phần sau đang chạy cục bộ:
- Máy Chủ LLM: Cổng cấu hình trong
.env(ví dụ: Llama.cpp, Ollama) - Máy Chủ Embedding: Cổng cấu hình trong
.env - Database: Postgres với extension
vector(xempostgres-pgvector/)
2. Cấu Hình
Cấu hình biến môi trường trong .env:
# Cấu hình ví dụ
API_BASE_URL=http://localhost:8888/v1
EMBEDDING_URL=http://localhost:8889/v1/embeddings3. Thiết Lập & Chạy
# Cài đặt các dependencies
bun install
# Khởi tạo Database
bun postgres-pgvector/migrate.ts
# Khởi động engine
bun devTruy cập localhost:3000 để bắt đầu tìm kiếm.
⊕ Thêm Kiến Thức
LLMNet có một pipeline nhập liệu đệ quy. Chỉ cần dán một URL tài liệu hoặc liên kết Wiki GitHub vào Indexer, và hệ thống sẽ:
- Duyệt trang web (DFS đệ quy).
- Chuyển đổi nội dung sang Markdown sạch.
- Cắt văn bản bằng Bộ Chia Ký Tự Đệ Quy.
- Nhúng & Lưu Trữ vectors cho phép tìm kiếm ngữ nghĩa.
Xây dựng cho những ai coi trọng quyền riêng tư và chủ quyền dữ liệu.