AI 系统工程师,持续记录大模型从结构原理到推理系统的工程脉络。
领域筛选
阅读路径
从模型整体进入 Transformer、Attention 与位置表示。
沿着服务、缓存、调度与优化理解推理系统。
从窗口边界进入位置外推、缓存成本与检索互补。
推理系统 · 基础 · 置信度 88%
别名:Inference Serving
围绕吞吐、延迟、显存和公平性组织模型推理的服务系统。