标签

大模型推理

探索此标签下的所有文章

3 篇文章 标签归档 全部标签

文章列表

vLLM 从入门到生产部署学习教程

vLLM高性能大语言模型推理引擎完整教程,从PagedAttention核心原理到生产部署实践。覆盖环境安装、离线批量推理、API服务部署、性能优化(显存/吞吐量/延迟)、量化、LoRA、多模态、张量并行等核心功能,以及Docker Compose高可用部署、Prometheus监控告警等生产级方案。

vLLM大模型推理PagedAttentionLLM部署AI引擎
Cosolar AI 40