Tag: GPU
All the articles with the tag "GPU".
-
【转载】推理的下一级：为什么你的单节点 vLLM 需要 Prefill-Decode 分离
AMD 与 Embedded LLM 联合展示：在单台 8-GPU MI300X 节点上通过 MORI-IO 实现 PD 分离，Goodput 提升 2.5 倍，消除 ITL 尖峰。
-
Modular 这家公司到底在做什么：一个 AI 推理基础设施的调研
Modular 由 LLVM 创始人 Chris Lattner 创立，主打统一的 AI 推理基础设施。本文调研其产品逻辑、技术路线、商业模式和当前处境。