标签:模型部署
MLC-LLM: 具有ML编译的通用LLM部署引擎
在大型语言模型和生成式人工智能的时代,MLC LLM引擎(MLCEngine)的引入标志着通用LLM部署引擎的新篇章。MLCEngine旨在实现云端和本地环境中的高吞吐量、低...
Cuda与TensorRT模型部署,优化及实践方案
文章强调,模型部署与优化是自动驾驶公司的重要任务,需要考虑多个关键因素。FLOPS和TOPS是衡量计算性能的重要指标,但实际应用中的性能可能会有所不同。CUDA...
英伟达推出NIM,可优化推理以实现大规模AI模型部署
本文介绍了AIGC领域的专业社区,关注大语言模型(LLM)的发展和应用落地,以及NVIDIA NIM的推出。NVIDIA NIM是一组云原生微服务,旨在简化在不同平台上部署生...