SemiAnalysis：TTFT被高估？大模型推理瓶颈在于权衡交互性与吞吐
SemiAnalysis发文指出，大模型推理中常被引用的“首token延迟”（TTFT, time-to-first-token）可能被市场过度关注，推理系统的核心维度并非“越快越好”，而是在“单用户交互速度（tok/s/user）”与“整体吞吐效率（tok/s/GPU）”之间的权衡。在多数场景中，TTFT对体验影响有限，但生成阶段的Token速度才是关键变量。 SemiAnalysis总结称，仅约10%–20%的推理任务真正受限于延迟，其余大部分场景更依赖吞吐与成本效率优化。