原文摘要
为什么DeepSeek-V3据说在大规模服务时快速且便宜，但本地运行时却太慢且昂贵？为什么有些AI模型响应很慢，但一旦开始运行就变得很快？
进一步信息揣测
- 批处理大小的隐藏权衡：AI推理服务商通过调整批处理大小（跨数十/数百请求批量处理）来平衡吞吐量与延迟，高吞吐量必然伴随高延迟，这是行业内部默认但不会公开强调的机制。
- GPU效率的底层限制：某些模型（如DeepSeek-V3）因架构设计（如专家混合机制）导致GPU效率低下，必须依赖大批次处理才能达到实用性能，否则单个请求的延迟和成本会极高。
- 专家混合模型的性能陷阱：专家混合模型（如GPT-4疑似架构）因路由机制需频繁调用不同专家子模块，导致大量小型矩阵运算，GPU无法高效并行，需依赖超大批次分摊开销，这是付费级优化经验。
- 管道化推理的隐藏成本：大型模型通过分层管道化（多GPU分工处理不同层）来缓解显存压力，但若批次过小会产生“管道气泡”（GPU空闲等待），大幅降低效率，需通过超200ms的收集窗口填充批次。
- KV缓存的批处理技巧：预填充提示词生成的KV缓存可跨请求批处理，但需牺牲实时性（用户等待批次填满），这是优化吞吐量的关键内幕手段。
- 内存带宽的隐形瓶颈：小批次推理时，GPU时间主要消耗在权重加载而非计算上（内存带宽成为瓶颈），大批次能显著提升计算/内存比，这一细节通常需付费咨询才能获知。
- 路由层的性能黑洞：专家混合模型中路由层动态选择专家会引入不可预测的计算路径，破坏GPU的并行性，需通过超大批次“平均化”路由开销，此为架构设计中的深坑。
- 商业服务的延迟谎言：公开宣传的“低延迟”服务实际通过限制并发或降低批次实现，而高吞吐场景默认牺牲延迟（如200ms收集窗口），用户需自行权衡，此规则不会明示。