#rope-scaling

共 1 篇文章

AI Engineering · 7 分钟阅读

sglang Qwen3-VL 坐标偏移 Bug:一次系统性排查

找到根因:SGLang 0.5.3 未实现 Qwen3-VL 的 mrope_interleaved 特性,导致 t/h/w 三维 rotary position 用错误的连续分段方式(而非模型要求的交织方式)重组,产生 h(y) 方向系统性位置编码错误。vLLM 正确实现了这一特性对应分支。完整记录 5 轮排除排查历程。