Có gì mới
Hugging Face gần như thiết kế lại dự án Kernels, hướng tới việc đóng gói, phân phối và sử dụng custom kernels theo cách dễ tìm, dễ kiểm tra và an toàn hơn. Thay đổi lớn nhất là Hub có thêm repo type mới: kernel.
Repo type này giúp người dùng xem kernel hỗ trợ accelerator nào, hệ điều hành nào, backend version nào, và những ứng dụng/model nào đang dùng nó. Danh sách kernel có thể duyệt tại https://huggingface.co/kernels.
Mục tiêu không chỉ là discoverability. Custom kernels chạy native code với quyền của Python process, nên phân phối kernel giống phân phối executable. Vì vậy Hugging Face bổ sung nhiều lớp bảo vệ quanh publisher, provenance và signing.
Thay đổi quan trọng
Trusted kernel publishers
Theo mặc định, package kernels chỉ load kernel từ trusted publishers. Đây là các tổ chức được cộng đồng tin tưởng và được cấp quyền publish kernel.
Nếu muốn load kernel từ publisher chưa được trusted, người dùng phải opt-in rõ ràng bằng trust_remote_code=True:
from kernels import get_kernel
kernel_module = get_kernel(
"Atlas-Inference/gdn",
version=1,
trust_remote_code=True,
)Điểm này quan trọng vì một kernel độc hại có thể compromise máy chạy inference hoặc training. Không nên xem kernel như model weights vô hại.
Kernel signing
Hugging Face cũng thêm hỗ trợ code signing để giảm rủi ro khi tài khoản của trusted publisher bị chiếm. Kernel được ký bằng private key và xác thực bằng public key.
Dự án dùng Sigstore cosign với ephemeral private keys. Họ cũng kiểm tra kernel được ký bởi GitHub workflow đáng tin cậy từ GitHub repository đáng tin cậy.
kernel-builder đã hỗ trợ signing, và CLI có lệnh kiểm tra chữ ký:
kernels verify-signatureHiện package chưa verify signature tự động khi load kernel; nhóm muốn test kỹ hơn trước khi bật mặc định.
CLI tách rõ trách nhiệm
Trước đây nhiều tiện ích bị trộn giữa kernels và kernel-builder. Bản mới tách mental model rõ hơn:
kernels: load và chuẩn bị kernel để dùng.kernel-builder: build kernel.
Việc tách này làm CLI gọn hơn và dễ compose hơn trong workflow tự động.
Hỗ trợ framework và backend rộng hơn
Một số thay đổi kỹ thuật đáng lưu ý:
- Hỗ trợ Torch Stable ABI, giúp kernel target một Torch version và tương thích với các version phát hành sau đó trong khoảng hai năm.
- Thêm Apache TVM FFI ngoài Torch. TVM FFI là ABI tiêu chuẩn cho kernels có thể interoperates với PyTorch, JAX và CuPy.
Nền tảng cho agentic kernel development
Hugging Face nói rõ họ đang chuẩn bị cho workflow nơi agent tự scaffold, build, benchmark và tối ưu kernel.
kernel-builder cung cấp project layout và build workflow lặp lại được. CLI được thiết kế để agent dễ dùng: command không cần tương tác và output dễ parse. Dự án còn có backend-specific skills để hướng dẫn agent qua toolchain, compile path và điểm cần tối ưu của từng backend.
Build pass chỉ là bước đầu. Kernel phải chứng minh speedup trên phần cứng mục tiêu. Tích hợp với HF Jobs cho phép agent chạy benchmark suite trên nhiều cấu hình phần cứng, thu kết quả, so với baseline, rồi dùng feedback đó cho vòng tối ưu tiếp theo.
Cách sử dụng nhanh
Kiểm tra kernel có tương thích với máy hiện tại hay không:
from kernels import has_kernel
print(has_kernel("kernels-community/activation", version=1))Nếu cần biết vì sao một variant bị reject, dùng get_kernel_variants():
from kernels import get_kernel_variants, VariantAccepted
for decision in get_kernel_variants("kernels-community/activation", version=1):
name = decision.variant.variant_str
if isinstance(decision, VariantAccepted):
print(f"{name}: compatible")
else:
print(f"{name}: rejected ({decision.reason})")Dev nên quan tâm vì sao
Custom kernels là lớp rất gần phần cứng và rất gần quyền thực thi native code. Nếu bạn load kernel từ Hub trong production, provenance và signing không phải chuyện trang trí.
Phần agentic workflow cũng đáng theo dõi. Khi coding agents bắt đầu viết CUDA/Triton/TVM kernels, vấn đề chính không phải chỉ sinh được code, mà là có vòng build-benchmark-verify đủ chắc trên phần cứng thật. Bản cập nhật này đưa Hugging Face Kernels gần hơn với một registry và toolchain có thể dùng trong vòng lặp đó.