一句话解释
AI推理已成为生产级AI部署的新瓶颈，多数企业此前按AI训练的需求规划AI基础设施，但当前推理消耗了约三分之二的AI计算量，且其变化速度极快，18个月前的经验法则已不再适用，本文将讲解如何规划生产AI所需的GPU容量。
通俗理解
可以用生活化类比来理解：训练AI模型就像是“备课”，将大量数据喂给模型让它掌握某项技能；而AI推理就像是“考试答题”，模型用学会的技能处理实际的用户请求。此前企业只考虑“备课”所需的算力（训练用GPU），但如今“答题”的算力消耗占了总AI算力的三分之二，且推理需求变化很快，旧的训练导向算力规划思路已经失效。
适用场景
- 电商客服AI、图像识别安防系统等在线AI服务场景
- 自动驾驶实时感知这类需要即时处理数据的AI应用
- 企业内部AI办公助手等需要实时调用AI模型处理实际请求的场景
相关概念
AI训练、AI推理、GPU算力、生产级AI部署、算力规划