Tóm tắt
Decision tree và diffusion model nhìn bề ngoài là hai họ model hoàn toàn khác biệt — một bên rời rạc và phân cấp, một bên liên tục và động. Paper này (ICML 2026) chứng minh rằng trong limiting regime phù hợp, có một tương ứng toán học chặt chẽ giữa decision tree phân cấp và diffusion process.
Thống nhất đó cho thấy hai model class share cùng một optimization principle gọi là Global Trajectory Score Matching (GTSM), và idealized gradient boosting là asymptotically optimal trong framework đó.
Phát hiện chính
Tương ứng toán học giữa tree và diffusion
Khi xét decision tree ở limit phù hợp, quá trình routing input qua các node có thể được mô tả bằng cùng dạng phương trình mô tả diffusion process. Cả hai đều có thể được formulate như một bài toán optimal transport trên trajectory.
Global Trajectory Score Matching
Objective dùng chung cho cả hai họ model. Trong framework này:
- Tree training tối ưu một score function trên hierarchical trajectory
- Diffusion training tối ưu cùng dạng score function trên continuous trajectory
- Gradient boosting trong idealized version đạt asymptotic optimum
Ứng dụng thực tế
TreeFlow — generate tabular data
Dùng tree để generate tabular data với:
- 2x computational speedup so với baseline diffusion
- Generation quality cạnh tranh với phương pháp diffusion-based
- Phù hợp cho synthetic tabular data, oversampling, privacy-preserving generation
DSMTree — distill tree vào neural network
Phương pháp distillation mới chuyển hierarchical decision logic từ tree sang neural net:
- Match teacher (tree) performance trong vòng 2% trên nhiều benchmark
- Cho phép deploy neural net với knowledge từ ensemble tree đã train sẵn
- Bridge giữa interpretability của tree và efficiency inference của neural net
Ý nghĩa với Dev và ML practitioner
Tabular data: lĩnh vực mà tree-based model (XGBoost, LightGBM, CatBoost) vẫn outperform deep learning, giờ có cầu nối kỹ thuật để kết hợp ưu điểm của diffusion (modeling distribution phức tạp) với efficiency của tree.
Distillation pipeline: nếu bạn đang train ensemble tree lớn cho production, DSMTree cho path đưa logic đó vào neural net deployable hơn — không cần retrain từ đầu.
Hướng nghiên cứu mới: thống nhất hai paradigm gợi ý các phương pháp lai (hybrid) có thể outperform pure-tree hoặc pure-diffusion trên các bài toán có cả hierarchical structure lẫn continuous nature.
Chi tiết kỹ thuật
- 12 trang main, 68 trang gồm appendix
- Submitted v1: 1/5/2026, revised v2: 21/5/2026
- Categories: cs.LG, cond-mat.stat-mech, cs.AI
- License: CC BY 4.0
- Đã accepted vào ICML 2026