标签:多平台支持

MLC-LLM: 具有ML编译的通用LLM部署引擎

在大型语言模型和生成式人工智能的时代,MLC LLM引擎(MLCEngine)的引入标志着通用LLM部署引擎的新篇章。MLCEngine旨在实现云端和本地环境中的高吞吐量、低...