Tóm tắt
Max Woolf check OpenRouter rankings và thấy điều lạ: Tencent Hy3 preview đang vượt Claude với token usage hơn 50%. Nhưng Hy3 không nổi tiếng, Google chỉ ra một announcement Hy3 từ Tencent, model page trên Hugging Face thừa nhận benchmark không favorable. Hacker News chỉ có 1 submission về Hy3.
Điều tra sâu hơn, Max phát hiện một bài học quan trọng hơn cả mystery Hy3: giá list của LLM không nói thật.
Phát hiện chính
LLM economics 2026: 98% là input token
LLM call vẫn stateless — mỗi turn, toàn bộ token trong conversation thread bị reprocess. Với agent, input token grow cumulatively mỗi message.
Result: trong aggregate, 98% LLM API spend giờ là input token, chỉ 2% là output.
Prompt caching changes the game
Hầu hết LLM provider implement prompt caching để reuse input token đã processed. Cache read cost thường ~10% input cost (OpenAI, Anthropic, Google Gemini mặc định 10%).
Đối với 13 provider serve DeepSeek V4 Flash trên OpenRouter, cache read cost từ 20% đến 50% input cost (economies of scale yếu hơn).
DeepSeek’s secret: 2% cache read cost
DeepSeek implement new approach to KV caching từ V4 — và pass benefit sang customer:
- DeepSeek V4 Flash từ chính DeepSeek: cache read cost = 2% input cost
- DeepSeek V4 Pro từ DeepSeek: cache read cost = 0.83%!
Effective price (cache-adjusted) cho DeepSeek V4 Flash từ DeepSeek: $0.018/M input token.
So sánh với Hy3 preview (từ SiliconFlow, cache read = 44% input cost): effective price $0.034/M token — gần gấp đôi DeepSeek V4 Flash.
OpenRouter giờ có effective price table
Để counter sự misleading của sticker price, OpenRouter đã add table effective price riêng trên model page, account cho cache hit cost. Khác nhau giữa các provider vì cache read cost và cache hit rate khác nhau.
Ý nghĩa với Dev
-
Đừng nhìn sticker price khi so sánh LLM provider. Nhìn effective price (cache-adjusted) — đặc biệt khi run agent.
-
Dùng OpenRouter effective price table thay vì compare trên pricing page raw.
-
DeepSeek V4 Flash từ DeepSeek đang là deal rẻ nhất trong các well-performing LLM hiện tại (caveat: data residency — DeepSeek là China-based và set prompt training = true trong data policy).
-
Subscription LLM service như Claude Code, Codex vẫn là best bang-for-buck nếu bạn consistently exhaust limit. Nhưng DeepSeek V4 Flash API rẻ hơn extra usage nếu bạn cần burst compute.
-
Khi quote LLM cost cho stakeholder, luôn dùng effective price — sticker price overestimate cost của bạn nhiều lần.
Vì sao Hy3 lại đứng đầu
Max không có câu trả lời chắc chắn. Hy3 không phải cheapest, không phải highest quality. Guess tốt nhất: một large app duy nhất (không thuộc Tencent) đang dùng Hy3 làm data-processing backbone. Top 5 apps chỉ chiếm <1% activity, nên không phải bị một app default tới Hy3.
Max dự đoán: DeepSeek V4 Flash sẽ spike trong vài tuần khi user catch on về pricing thật.