AI Infra 2026年7月29日 · 33 分钟阅读 AI 服务的并发瓶颈与架构设计:从第一性原理到两个真实场景(游戏 AI 并发 / 运营数据问答) 拆解 LLM/VLM 在线服务高并发的本质瓶颈,并落到 8×RTX5090 无 NVLink 集群上的两套真实架构:游戏 GUI Agent 实时并发,与多租户 Text2SQL 运营问答。 #推理优化 #高并发 #多租户 #VLM #Text2SQL #RTX5090 #KV Cache #PD分离 #架构设计