标签:参数初始化

PanGu-π-Pro:重新思考 “小” 的大语言模型的优化和架构

摘要:本文由科技猛兽编辑,探索了如何为端侧设备设计适合的'小'的大语言模型。在端侧设备上,由于算力和显存的限制,需要设计出满足要求且高性能的'小'大语...