原文摘要
本文将分享传统后台工程师积累的技术栈和方法论，如何延续并迁移到 AI 系统，并系统性拆解 AI Infra 的硬件、软件、训练和推理挑战。
进一步信息揣测
- GPU服务器的显存配置与房价挂钩：一台高性能GPU服务器（如H20单卡96GB显存）的成本相当于"一套深圳房子"，暗示AI硬件投入的极端高昂，远超传统CPU基础设施。
- GPU算力与带宽的绝对优势：H20 GPU的单精度浮点算力（44TFlops）和显存带宽（4000GB/s）是主流CPU的数十至数百倍，传统CPU多线程架构在AI场景下完全失效，需彻底转向GPU并行计算。
- 模型推理的显存带宽瓶颈：大模型生成每个token必须全量读取参数，显存带宽直接决定延迟（如37B参数模型在H20上需9ms，而CPU需578ms），暴露了硬件选型中带宽比算力更关键。
- CPU角色降级：在AI系统中CPU沦为"数据搬运工"，仅负责预处理和调度，颠覆了传统基础设施以CPU为核心的设计范式。
- 模型参数与硬件的隐藏关系：文中未明说但通过公式可推导出，模型参数量（如37B）与硬件带宽的比值直接决定token生成速度，这是模型部署时选择硬件的重要内部指标。
- 训练全链路的隐性成本：团队落地多个大模型（语音合成/多模态/生成式推荐）的经验暗示，从训练到推理的完整链路存在大量未公开的工程化坑点，如分布式训练中的通信优化、显存碎片管理等。
- 行业硬件选型内幕：H20的详细配置（8卡=768GB显存+2.3TB内存）和性能数据属于厂商非公开资料，此类信息通常需通过商务渠道或内部测试获得，普通开发者难以获取完整对比数据。