apfel

Trí tuệ nhân tạo miễn phí đã có sẵn trên máy Mac của bạn.

Mọi máy Mac sử dụng Apple Silicon đã có sẵn một LLM. Apple giấu nó sau Siri, nhưng apfel giúp bạn sử dụng chúng - như một công cụ CLI, một server tương thích với OpenAI, và một chat.

100% Trên Thiết Bị
Zero Cost
OpenAI Compatible

$ brew install Arthur-Ficial/tap/apfel

Liên kết GitHub

Cách thức hoạt động

AI đã được cài sẵn trên máy Mac của bạn. Apple phát hành nó cùng macOS. apfel chỉ cung cấp cách để bạn tương tác - từ terminal, từ mã lệnh của bạn, từ bất cứ đâu.

$0 Token Cost: Không cần API keys, không có phí đăng ký, không tính phí theo token. Đó là phần cứng của bạn - sử dụng nó.
4,096 Tokens: Chất lượng đầu vào và đầu ra đủ cho hầu hết các tác vụ đơn lượt và các cuộc trò chuyện ngắn.

Mô hình phía sau

Apple ML Research
~3B Parameters
~3.5 bpw Quantization
Ngôn ngữ: en, de, es, fr, it, ja, ko, pt, zh

Ba cách sử dụng.

Công cụ UNIX

Pipe-friendly và có khả năng kết hợp. Hoạt động với jq, xargs, và các shell scripts.

$ apfel "What is the capital of Austria?"

Server OpenAI

Thay thế trực tiếp tại localhost:11434. Có thể trỏ bất kỳ SDK OpenAI nào vào đó.

$ apfel --serve

Chat Tương Tác

Cuộc trò chuyện đa lượt với quản lý ngữ cảnh tự động.

$ apfel --chat -s "You are a coding assistant"

Cách hoạt động

Apple đã tích hợp một LLM trên thiết bị của bạn. apfel là cách để bạn khai thác nó.

Apple ships an on-device LLM: Được phát hành cùng macOS bắt đầu từ phiên bản 26 (Tahoe).
Nhưng chỉ sử dụng cho Siri: apfel mở cửa giúp bạn sử dụng từ đầu cuối.

apfel bổ sung gì

apfel là một binary Swift 6.3 đóng gói LanguageModelSession và mở rộng thành ba cách thức: công cụ dòng lệnh UNIX, server HTTP tương thích với OpenAI, và chat tương tác.

Công cụ hỗ trợ đi kèm

cmd

Ngôn ngữ tự nhiên đến lệnh shell.

$ cmd "find all .log files modified today"

oneliner

Tạo chuỗi pipe từ ngôn ngữ đơn giản.

$ oneliner "count unique IPs in access.log"

explain

Giải thích bất kỳ lệnh nào, thông báo lỗi, hoặc đoạn mã.

$ explain "awk '{print $1}' file | sort -u"

gitsum

Tóm tắt các bản commit gần đây trong git.

$ gitsum

Tương thích với OpenAI.

Thay thế dễ dàng

apfel nói chuyện với API OpenAI. Thay đổi duy nhất là URL căn bản.

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:11434/v1",
    api_key="unused"
)

resp = client.chat.completions.create(
    model="apple-foundationmodel",
    messages=[{
        "role": "user",
        "content": "What is 1+1?"
    }],
)
print(resp.choices[0].message.content)

Bắt đầu dễ dàng.

Homebrew

$ brew install Arthur-Ficial/tap/apfel
$ apfel "Hello, Mac!"

Build từ source

$ git clone https://github.com/Arthur-Ficial/apfel.git
$ cd apfel && make install

View on GitHub

Gia đình apfel.

apfel-gui

GUI Native macOS SwiftUI cho phép chat với Apple Intelligence.

apfel-gui screenshot

apfel-clip

Các hành động clipboard được quyền năng bởi AI từ menu bar.

apfel - Trí tuệ nhân tạo miễn phí trên máy Mac của bạn

TL;DR