标签:系统层优化

万字综述大模型高效推理:无问芯穹与清华、上交最新联合研究全面解析大模型推理优化

近年来,大语言模型(LLMs)在各种语言生成任务上展现出卓越的能力,推动了人工智能应用的发展。然而,其落地应用受到推理开销大、部署资源需求高、用户体验...